推文

@798145343h · 2026-10-11 19:05

🐟大肥鱼的"周期性失忆"这一块。 ByteDance Seed 的 arXiv 研究发现：DeepSeek 的长文本检索会随信息所在的 token 位置周期性波动。128K 测试里，挪一个 token 位置，基础版准确率最多能差 40.2 个点；后训练逐步收窄，V4.1-Flash 只剩 6.09 个点。注意，是位置周期，不是每隔几秒失忆。

曝光 1475 · 评论 11 · 点赞 42 · 书签 3 · 曝光/时 649.6154658926823