同样的模型，换个 Harness，Token 消耗居然差了 46 倍？🔥 最近很多人问我 DeepSeek harness 对比 PI agent 高本消耗… · @xiaomovps · TwKit

@xiaomovps

同样的模型，换个 Harness，Token 消耗居然差了 46 倍？🔥 最近很多人问我 DeepSeek harness 对比 PI agent 高本消耗到底怎么样？ 我不多废话 直接上实操，跑了一个鹈鹕骑自行车的小测试，结果还挺意外的 测试条件完全一样： 模型：DeepSeek V4 Flash 思考强度：High 提示词：用 HTML 做一个骑自行车的鹈鹕 结果出来有点夸张： Pi Agent：26K Token DeepSeek Harness：1.2M Token，缓存命中率高达 99% 如果光从 token 消耗的数量来看，DeepSeek harness 消耗的 token 数量将近是 PI 消耗数量的 46 倍，但是这里有个很容易忽略的地方：缓存命中的 Token 其实非常便宜，而且整体输出的效果 DeepSeek harness 会好很多 我查了一下 DeepSeek Flash 的最新 API 价格，非高峰时段： 缓存命中：0.02 元 / 百万 Token 缓存未命中：1 元 / 百万 Token 输出：4 元 / 百万 Token 假设 DSH 这 120 万都是输入 Token，其中 99% 命中缓存，算下来输入成本只有 0.036 元左右，高峰时段约 0.072 元 Pi 的 26K 如果全部按照未命中输入计算，也只需要 0.026 元 当然，这里还没算输出和思考 Token，所以不是两边最终的实际账单 这次测试最大的意义在于 我可以回答前面的问题，如果只是看纸面 token 消耗的数据 同样的任务下 PI 整体消耗的 token 会少很多 但是如果算上缓存和整个任务的效果，DeepSeek harness 的整体体验会好不少，因为我使用的是标准模式，如果和 PI 一样使用极简模式的话 DeepSeek harness 的消耗会比 PI 使用的 token 还少 这部分其实我以前也做过测试，如果你感兴趣 可以去看我以前的测试用例，所以很多时候不能单看一个 token 消耗去判断一个 harness 到底省不省 token 具体是单个任务达到目的的平均消耗才能做评估，我也希望本次测试对大家有一定的作用

曝光 1790 · 评论 9 · 点赞 14 · 书签 4