推文

@kafkaup · 2026-10-17 11:13

📄 Validity Without Ground Truth: What Stated-Preference Economics Offers the Evaluation of Language Models 概述：本文主张借用陈述性偏好经济学的效度框架来评估大语言模型在没有标准答案问题上的回答，并通过一项水质估值调查对六个模型进行了实证检验。 核心贡献：本文最突出的贡献是将陈述性偏好经济学中的内容效度、构念效度、标准效度、信度、激励兼容性与后果性框架系统地转化为评估语言模型的通用方法，并用经济理论预测作为效度检验标准。 实验结果：实证结果显示效度检验能明显区分模型：两个较旧模型在家庭收入为七万五千美元时未通过最基本的需求递减检验，而两个最新模型通过了所有可评分的理论效度检验，但在收敛效度上出现分歧；作者强调通过效度检验只能说明回答具有一致性，不代表其内容正确。

曝光 55 · 评论 2 · 点赞 0 · 书签 0