为什么无法控制LLM每次都输出一模一样的内容？ · @ZengwuY · TwKit

@ZengwuY

TL;DR：因为无法保证每次给LLM固定的完整输入与前向计算，所以做不到。如果两个候选词的排名非常接近，他们的候选概率会受动态批处理与浮点舍入影响而出现排名前后的变化。要实现逐字一致，需配合确定性计算等工程控

曝光 562 · 评论 0 · 点赞 5 · 书签 3