推文

@tvytlx · 2026-10-12 18:16

AI 聊久了变笨，可能跟上下文长度关系不大。 有个哥们翻了自己 13000 轮对话记录，发现模型一直在一遍遍吃自己以前的思考。 他在云上租卡跑 Qwen3.8 Flash-Next，用了一个月。 后来模型开始用很短的句子回他，内容是它自己之前推理里的片段。 他第一反应和大家一样：上下文太长，模型撑不住了。 查下来不是这么回事。没有截断，没有中断，每次都完整跑完了。 问题出在一个配置：preserve_thinking: true 它会把模型之前的推理过程，每一轮都塞回下一次的提示词里。 这种复读一共出现了 266 次。 他统计了一下规律： 上下文里还没有复读，下一轮出现复读的概率 1.4% 已经有 3–5 份，21.4% 11–25 份，45.5% 26 份以上，79.1% 真正起作用的是自己的旧话在上下文里堆了多少，对话越长，堆得越多。 把这个配置去掉，问题就没了。 还有个例子我觉得更有意思。 上下文到 16 万 token 左右的时候，模型很笃定地告诉他：你的 Mac mini 有 24GB 内存。 他根本没有 Mac mini。 往回翻，「Mac mini」只出现在一条搜索结果和模型自己的工具调用里。 24GB 来自同一个会话里另一台机器的真实内存读数。 模型把两个来源缝在一起，当成事实说了出来。 换个干净的上下文再问，它答对了。 这个哥们最后总结的规则很朴素： 模型一本正经答错的时候，先看看错误答案是不是已经在上下文里了。 排查清楚之后，他干了件挺狠的事： 一张 24GB 的 AMD 7900 XTX 游戏卡，跑 176B 参数的模型。 Q2 量化，每个 token 只激活 6B。 显存里放常驻的部分，专家权重和一张 28.8GB 的表放进内存。 实测撑住了 50 万上下文，每秒生成 105–160 个 token。 30 万 token 读进去不到 4 分钟，他之前的 27B 模型同样的时间只能读 10 万。 云上 $2.49 一小时，现在不用花钱。 他自己也写了限制：只测了一张卡，深度测试只做到 256k，每组只跑了两次。 我回想了一下自己那些越聊越歪的长对话。 好像确实是这样，它错过一次之后，后面就一直围着那个错打转。 我每次都以为是它累了。 https://www.reddit.com/r/LocalLLaMA/comments/1x3ker0/i_ran_qwen_38_flashnext_on_my_amd_7900_xtx_at/

曝光 131 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 53.88376914976635