推文

@mikechen944504 · 2026-10-12 10:55

长时程 agent 有个绕不开的账：上下文窗口是有限的，但活儿越干越长。常规做法是把历史压成一段文字摘要——可摘要是有损的，后面某个决定需要的那一点细节，很可能刚好被摘要丢掉了。 Hugging Face 论文榜上这篇 REMORY 换了个思路：摘要照写，但在摘要后面再挂一串有界的「软记忆 token」。这串 token 由网络生成、以那份摘要为条件，作用相当于在序列方向上接了一条残差——让一个冻结的 LLM 在只看压缩内容的情况下，尽量做出「看了完整历史」会做出的续写。 在 SummHay 上的结果：溯源变好，洞察覆盖率基本不变，只用 5.2% 的输入位置就逼近了全上下文的联合分。 背后的信号比方法本身更重要：上下文压缩正在从「工程技巧」变成「有训练目标的一层」。因为长上下文真正的成本不是显存，是每次调用都要为全部历史付一次钱。谁把历史压得更好，谁的 agent 单位成本就更低。 （论文 arXiv 2610.11287，2026-10-08 提交 · 榜单读数 2026-10-12 07:4x 北京）

曝光 193 · 评论 3 · 点赞 3 · 书签 0 · 曝光/时 119.18165207577644