Apple发现，原始大模型可能比经过强化学习和推理训练的模型，更清楚自己有多大概率答对。 LLM 经过后训练，可能变得更会回答问题，却更不清楚自己什么时候会… · @mylifcc · TwKit

@mylifcc

Apple发现，原始大模型可能比经过强化学习和推理训练的模型，更清楚自己有多大概率答对。 LLM 经过后训练，可能变得更会回答问题，却更不清楚自己什么时候会答错。 Apple 研究人员发现： • Base Model：天然具备一定程度的语义置信度校准能力 • SFT：相对保留了这种能力 • DPO / RL：可能显著破坏校准，让模型过度自信 • Chain-of-Thought：推理过程也可能降低校准程度 甚至一些 ≤1B 的小模型，在这项指标上也表现得相当好。 这里的「校准」不是准确率，而是模型对答案的置信程度能否匹配真实正确率。研究通过多次采样估计语义置信度，并不等于模型口头声称的把握。 最值得思考的是：我们不断优化模型给出正确答案的能力，却可能同时损害它对自身不确定性的判断。 推理更强，不代表置信度更可靠。

曝光 683 · 评论 5 · 点赞 2 · 书签 2