大模型支持 20 万 Token 却越聊越差？用上下文压缩解决衰减问题 · @0xshimei · TwKit

@0xshimei

主流大语言模型即使标称支持 20 万 Token，往往在序列达到一半长度时就会出现明显的处理能力下滑。单纯堆砌历史记录无法维持长任务的稳定性，必须依赖外层 Harness

曝光 22 · 评论 0 · 点赞 0 · 书签 0