推文

@Chonghan_Liu · 2026-10-13 05:22

你说的 Temperature 设置成 0，那是最最最最基础的回答，三年前的回答，但这并不能保证你是用贪心算法的方式去把问题回答出来的。 首先你要看它是官方的 API 接口还是本地部署： 1. 官方的 API 接口：就算设置了 Temperature 为 0，你就算走了 Greedy 的贪心算法，但在不同的 Batch 里面，它的 Logprobs 还是会有不同的影响。 2. 本地部署：这会牵扯到更多的问题。你要保持相同的 Kernel，Batch Size 要为 1，Seed 数要相同，关掉 prefix caching，还有 GPU 的型号，以及各种所有的 Setting 都要完全一致

曝光 2072 · 评论 0 · 点赞 9 · 书签 9 · 曝光/时 908.5764775032129