推文

@vintcessun · 2026-10-12 17:14

“比人类彼此更一致”，不等于机器翻译评估已经可靠。 https://arxiv.org/abs/2610.10918 论文比较四种大模型与人工在 MQM 多维错误标注、ESA 错误片段定位上的一致性，覆盖 70 个语言对及 WMT23、WMT25 数据，并按语言对和领域分析。许多设置没达到可形成暂定结论的 α=0.667；轻微错误、语言变体和片段定位尤其不稳。低资源语言上，人类也难标准。LLM 可辅助评估，但局部胜出不足以替代人工。

曝光 196 · 评论 3 · 点赞 5 · 书签 0 · 曝光/时 156.03896752369735