TwKit
正在载入
TwKit

Pi 上下文老爆,有这几个插件就够了🔥 今天有兄弟问我 如果上下文较小 有什么处理方案? 其实有一些本地模型部署 上下文可能只有 128K 或者 256K,… · @xiaomovps · TwKit

@xiaomovps

Pi 上下文老爆,有这几个插件就够了🔥 今天有兄弟问我 如果上下文较小 有什么处理方案? 其实有一些本地模型部署 上下文可能只有 128K 或者 256K,针对这些情况 我这里推荐 4 个 PI 的插件,可以起到一些缓解的作用 1、pi-compaction-control|默认 256k 上限 给模型设上下文硬上限 自动压缩会在上限减 reserveTokens 时提前触发 2、neruok/pi-compaction-model|换个模型做压缩 用 /compaction-model 选更便宜的模型做总结 对话模型不变 3、clement_chsn/pi-session-compaction|60% 主动压缩 上下文用到 60% 后 Agent 会挑一步做完的时机自己压缩 4、pi-compaction-recall|压缩后找回原文 总结丢了名字和数字 模型能回头搜原始消息 这四个插件,每一个方向都是不一样的:有的是直接把上下文限制死,有的是把上下文通过另一种形式去存储,还有一种是设置不同的动态规则或者模型去处理压缩。 本质都是在有限的上下文获得更好的模型理解。我的建议是:插件只是缓解,想要真正的解决,还是要使用上下文更大的模型,这才是最优解

曝光 112 · 评论 1 · 点赞 1 · 书签 2

查看原帖