TwKit
正在载入
TwKit

Agent 的记忆检索准确,就代表它真的会用这些记忆吗? 阿里云社区最近介绍了一个开源项目 Qwen Memory Agent。它用 Qwen 做工具调用,… · @zcswl7961 · TwKit

@zcswl7961

Agent 的记忆检索准确,就代表它真的会用这些记忆吗? 阿里云社区最近介绍了一个开源项目 Qwen Memory Agent。它用 Qwen 做工具调用,支持跨会话记忆、过期事实替换,还提供 8 个 MCP 工具。 项目公布了两组很有意思的数据: 在 6 个人设、24 个问题组成的离线合成测试中,记忆召回率达到 1.000;但在另一组 10 个真实调用场景中,综合任务成功率只有 0.60。 两组测试口径不同,不能简单相减,但它们说明了一个问题:找到了正确记忆,不等于 Agent 会在决策前读取并正确使用它。 我觉得做企业知识库或排障 Agent,验收不能只看召回率,还得看最终动作有没有依据这些信息。 你们测试知识库 Agent 时,会检查它“找到了什么”,还是也会检查它最终用了什么?

曝光 20 · 评论 1 · 点赞 1 · 书签 0

查看原帖