“Be My Cheese”多语言大语言模型翻译中文化细微差别的评估

本试点研究旨在探索最先进的多语言人工智能(AD模型在将习语、双关语等比喻性语言从英语翻译成全球多种语言时所具备的本地化能力。现有大语言模型(LLM)翻译研究及行业基准测试注重语法准确性和标记级正确性，而本研究在此基础上进一步拓展，聚焦文化适宜性和整体本地化质量，而后者是市场营销、电子商务等真实应用场景中的关键因素。为探究此类挑战，本项目评估了20种语言的24种地区方言中，由LLM生成的87份电子商务营销邮件翻译样本。精通各目标语言的人类评审员从与原文语气、含义的忠实度以及对目标受众的适配度等方面，提供了定量评分和定性反馈。研究结果表明，尽管领先模型通常能生成语法正确的译文，但在翻译具有文化细微差别的语言时明显仍有待改进，需要大量的人工润色。值得注意的是，即使是行业基准测试排行榜上名列前茅、资源丰富的语言，也出现了许多比喻性表达和文字游戏的翻译错误。