AI 应用里，少调一次模型、少传一段历史、少占一块内存，省下的是不同的开销。 语义缓存复用已经生成的答案。比如“产品 A 有哪些功能”和“介绍一下产品 A … · @BaiBtw · TwKit

@BaiBtw

AI 应用里，少调一次模型、少传一段历史、少占一块内存，省下的是不同的开销。 语义缓存复用已经生成的答案。比如“产品 A 有哪些功能”和“介绍一下产品 A 的能力”，措辞不同，可能命中同一份回答。LangCache 把问题转成向量，按相似度查缓存；没命中时，由应用调用模型，再把问答存回去。阈值越宽松，命中率可能越高，但也更容易把需要不同答案的问题当成同一个。 长期记忆减少反复传送的历史。Redis Agent Memory 在后台从会话里提取重要信息，保存向量和元数据，需要时再检索相关内容。启用自动摘要后，较早的对话会被压缩，最近的消息保留原文。它复用的是上下文，后续回答仍然需要模型生成。 存储分层降低的是内存开销。Redis Flex 把常用数据留在 RAM，较少访问的数据放到 SSD；再次访问时调回 RAM，应用仍用原来的 Redis API。这更适合常用数据只占总量一小部分的场景。如果大量数据频繁在两层之间搬动，性能也会受影响。 LangCache 和 Agent Memory 目前仍处于预览阶段，功能和行为可能调整。语义缓存的净节省还要扣掉向量计算和存储成本，不能把命中率直接当成总账单的降幅。

曝光 12 · 评论 0 · 点赞 0 · 书签 0