MemOS 团队 @MemOS_dev 最近发布了记忆原生大模型 MemT 1.0 一共两个版本:Flash 版288B,Nano 版36B。 这个写模型的… · @lxfater · TwKit
@lxfater
MemOS 团队 @MemOS_dev 最近发布了记忆原生大模型 MemT 1.0 一共两个版本:Flash 版288B,Nano 版36B。 这个写模型的特别之处:它把记忆做进模型层,尝试让 AI 不必反复带着整段聊天记录,也能利用过去的信息和经验。 平时和 AI 聊天,常见做法是把之前的对话继续放进上下文,模型才能接着聊。聊得越多,要处理的历史也可能越长。 就像有人和你聊天,每次开口前,桌上都回忆起之前的和你说过的每一句话一样🤣 但MemT 则多了一套内部记忆读写模块,把历史信息写进一组数值状态,生成回答时直接读取。 可以理解成:把旧材料整理成笔记,后面做事时接着参考。 GitHub 仓库还演示了保存记忆、清空对话上下文,再恢复记忆回答之前的问题。 简单的说,做到了,清除之前聊天记录,也有记忆!! 这个有什么用呢? 我们先看论文里面的测试数据,128K 历史长度下,Nano 相比完整上下文方案,端到端速度约为1.86倍,单条任务的持久状态存储约为原来的1/66。 这也意味着:模型变得更快,消耗的 token 更少了,这点优化特别好,相当于大模型提升速度,还降价了。 更有意思的是,这份记忆用来指导任务还有奇效。 研究团队从历史编程任务中提炼经验,检索后写进模型记忆,再让它修新的代码问题。 在 SWE-bench Verified 的任务开始前注入经验设置下: 平均成功率从无经验基座的66.07%提高到69.33% 在论文的 Django 案例里,带着经验的 Agent 在首次修改后,又检查边界条件、纠正实现并做验证。 我们现在用模型都是为了提效,但模型速度太慢,老是绕弯路的话,那还不如人来呢? 我挺看好这个方向: 因为它能把之前交代背景、纠正错误的经验保存下来,那么下次就对话,有机会少重复解释、少走弯路。 说了这么多,附上模型的地址,感兴趣可以去看看!! https://huggingface.co/collections/MemTensor/memt-1
曝光 330 · 评论 2 · 点赞 0 · 书签 0
查看原帖