LLM基础概念 之 温度：很多人把它当准确率旋钮，这个参数从一开始就被用错了。 先看它在干什么。模型写字，是一个 token（文字小块）一个 token 往… · @lukasen_xyz · TwKit

@lukasen_xyz

LLM基础概念 之 温度：很多人把它当准确率旋钮，这个参数从一开始就被用错了。 先看它在干什么。模型写字，是一个 token（文字小块）一个 token 往下接的。每一步先给所有候选算出一组概率，按概率抽一个，接在已有内容后面，再抽下一个。Google 机器学习课程里那张“空格处该填什么”的概率表讲的就是这一步：cook soup 9.4%，warm up a kettle 5.2%，每个候选各占一份。 温度动的是这些份额之间的差距。调低，领先的候选更占优势，输出更集中；调高，分布被压平，原本很难抽到的候选也有机会冒出来。一路降到趋近于 0，就等于每一步都挑概率最高的，也就是贪心解码，Hugging Face 的解码教程里写得很清楚。 麻烦出在“高概率”三个字上。高概率说的是模型觉得这样接下去最顺，跟这句话符合不符合现实没有关系。温度没有往里加一条新事实，也没有多一道查证，模型最顺口的那个错答案，降温后只会被更稳定地抽出来。所以“变化少”和“更正确”是两件事，拿前者去推后者，从根上就推错了。顺带一提，低温不保证每次逐字相同，高温也不保证更有创意，它只调抽取的松紧。 这样一看，它的用处其实很具体：要格式和措辞稳定，往低调；要多几种说法，往高调，调多少由任务定，别习惯性压到最低。事实不对，得补资料、让它去查、加校验，这些才是在给模型新信息。 我的建议是：工具开放了温度参数、采样也开着，就固定同一个模型、同一段提示和其他设置，只改温度多跑几次，把“说法变没变”和“事实对没对”分成两列看。以后再听到“把温度调低它就不胡说了”，先问一句，这说的是哪一列。

曝光 177 · 评论 1 · 点赞 2 · 书签 0