TwKit
正在载入
TwKit

ayi佬 @AYi_AInotes 这条把 MemT-1.0 最关键的一处讲明白了:记忆不靠堆长上下文,也不靠外挂向量库,而是在模型旁边并联一套原生记忆模块… · @yhslgg · TwKit

@yhslgg

ayi佬 @AYi_AInotes 这条把 MemT-1.0 最关键的一处讲明白了:记忆不靠堆长上下文,也不靠外挂向量库,而是在模型旁边并联一套原生记忆模块,擦除门、写入门、遗忘门在信息进来时就把它消化成内部记忆。 我最在意的是那组工程账单。256K 历史下显存从 5.06G 降到恒定的 40M,首字延迟稳在一百毫秒出头,相当于把历史越长越贵的那条曲线拉平了。 还有一千多条代码纠错经验直接写进内部记忆,不占提示词的 Token,连续三次通过的指标提升 8%。我理解这件事的意义在于,经验从每次都要重读的规则,变成了模型自己带着走的状态。 我觉得接下来更值得看的是另一面:记忆写进内部之后是看不见的,记错了怎么改、怎么回滚,会决定它能走进多少真实业务。能写进去,也能改得动,才算是好用的记忆。

曝光 207 · 评论 0 · 点赞 1 · 书签 0

查看原帖