Agent 说「已经忘记了」，真的就把记忆删掉了吗？ 清华大学与微博的研究团队发布了 BEMULA，专门测试 LLM Agent 的记忆遗忘能力，结果相当糟… · @kqyno7 · TwKit

@kqyno7

Agent 说「已经忘记了」，真的就把记忆删掉了吗？ 清华大学与微博的研究团队发布了 BEMULA，专门测试 LLM Agent 的记忆遗忘能力，结果相当糟糕：完整通过率最高只有 1.5%，大部分系统都是 0% 研究覆盖 6 套主流记忆系统，包括 Mem0、LangMem、A-MEM、LightMem、SimpleMem 和 Naive RAG，使用了 3 个不同的基础模型 测试包含 50 组多轮对话、135 次遗忘请求和 1,742 道问题，覆盖事实、语义、推断、时间范围等 6 类遗忘需求 评测设计：先确认 Agent 真正记住了信息，再要求删除，同时检查无关记忆能否保留、类似信息能否重新学习，以及能否通过间接提问、角色扮演、多跳推理等方式重新套出被删除的信息 结果发现，很多系统虽然答应删除，但换个问法就能重新提取原始信息；另一些系统则删得太多，连用户没有要求遗忘的内容也一起丢失 这暴露了目前 Agent Memory 架构的一个明显短板 原始对话、压缩摘要、向量索引可能同时保存着同一条信息，删除一处并不代表其他副本也同步消失 以后设计长期运行的 Agent，记忆的可追溯性、定向删除和删除后的验证都应该成为基础能力，尤其是在涉及个人隐私的场景下 Agent 越来越会记住我们，但距离真正掌握「遗忘」还有很长一段路 #Agent #LLM #Memory #AI安全 #机器遗忘

曝光 40 · 评论 1 · 点赞 1 · 书签 0