好家伙,终于有人正经对 模型上下文一长就开始都失忆 这个痛点动手了。 一个一直被行业视作理所当然、但实际极度畸形的默认设定是:大模型在出厂的那一刻,它的能力… · @Pluvio9yte · TwKit
@Pluvio9yte
好家伙,终于有人正经对 模型上下文一长就开始都失忆 这个痛点动手了。 一个一直被行业视作理所当然、但实际极度畸形的默认设定是:大模型在出厂的那一刻,它的能力就被彻底冻结了。 大家今天为了让模型「记住」,所有的工程努力几乎全部发生在模型外面: 搞 RAG,把历史切成 chunk 扔进向量数据库; 做 Agent Memory 中间件,在调用前死命召回相关记忆; 把上一轮的报错和纠错记录,硬塞进几万 tokens 的 Context 窗口里。 但这真的是记忆吗? 打个比喻: 这就像一个智商 180、但患有极度顺行性遗忘症的学者。为了让他干活,你在他身上挂满了便利贴、给他手里塞了十几本笔记本,甚至在他眼前支了一个提词器。每一次你跟他说话,外部的助手都要手忙脚乱地从一堆便签里翻出相关内容举给他看。 学者本身的神经回路没有任何改变,他从来没有长记性,是你在外面替他负重前行。 这也是为什么 MemOS 团队 @MemOS_dev 要在昨天推出 MemT 1.0 的核心原因。 他们自己就是做外挂记忆系统(MemOS)起家的,但走到底层之后,选择掉头去攻坚最硬的那块骨头:把记忆从外挂工具推入模型计算的核心环节。 核心就一件事:不做外挂背包了,把记住、改错、更新经验直接塞进模型计算里。 过去的行业共识是靠堆更大的参数、灌更多的预训练数据、拉更长的上下文来提升上限;但 MemT 这条线是在尝试另一种能力增长方式:让模型在解决具体问题的过程中,把正确的经验自己沉淀下来。 从标准化工具,走向真正能伴随业务成长的智能体。 官方内部测试数据说 Coding、Working 场景有 5% 以上的提升。 源码地址: https://huggingface.co/collections/MemTensor/memt-1
曝光 108 · 评论 0 · 点赞 1 · 书签 0
查看原帖