北二外发布大语言模型翻译质量评测报告

中新网北京6月23日电(记者 李京泽)6月23日，北京第二外国语学院发布《大语言模型翻译质量评测报告 BISU-AiTQA(v1.0)》。

据悉，该评测突破国际现有评测以英语为核心的现状，构建了以汉语为核心，覆盖多语种、多领域的大语言模型翻译质量评测体系，具有开创性意义，是促进中外人文交流，提升汉语全球表达力的积极探索。

基于多年的外语学科与教学积淀、结合前期翻译评测研究成果，北二外集中英语、日语、俄语、法语、阿拉伯语五个语种师生力量，面向ChatGPT、Claude、Gemini、Grok、DeepSeek和通义千问六个国内外语言大模型，从当代文学、党政文献和外事新闻三个领域开展翻译质量测评研究。

据了解，BISU-AiTQA(v1.0)以汉语为核心、以中国特色文本为基础，从语言特征维度、神经网络维度构建了包括词汇多样性、句法复杂度、篇章衔接度、语言可接受度等在内的六项指标体系，着重关注译文的语言使用特性，可有效识别模型在词法、句法和篇章衔接方面的能力，同时考察模型对语义的理解与语言表达能力。