推文
@KakaluoteW45042 · 2026-10-16 04:11
这种不起眼的调度才是 harness 层的省钱术。模型价格是厂商定的，token 怎么烧是 harness 说了算。 赶在缓存过期前压一轮上下文，把长会话后续成本从全量重算换成小上下文缓存。压完丢多少信息确实要盯，但方向没毛病，agent 真实成本的大头早就不在推理，在上下文管理。
曝光 20 · 评论 0 · 点赞 0 · 书签 0
@KakaluoteW45042 · 2026-10-16 04:11
这种不起眼的调度才是 harness 层的省钱术。模型价格是厂商定的，token 怎么烧是 harness 说了算。 赶在缓存过期前压一轮上下文，把长会话后续成本从全量重算换成小上下文缓存。压完丢多少信息确实要盯，但方向没毛病，agent 真实成本的大头早就不在推理，在上下文管理。
曝光 20 · 评论 0 · 点赞 0 · 书签 0