# 同一个任务,凭什么你调模型的钱是别人的十倍?官方拆台:不是模型贵,是你从来没算过每通过一个任务多少钱 官方来源:Tech Insider,2026-11… · @swordBluesy · TwKit
@swordBluesy
# 同一个任务,凭什么你调模型的钱是别人的十倍?官方拆台:不是模型贵,是你从来没算过每通过一个任务多少钱 官方来源:Tech Insider,2026-11-02,Marcus Chen。原文标题直译:《Grok 对 Claude API 实测:13 步、70 分钟》。先把反常识结论放前面:聊天窗口里感觉最强的模型,上了账单可能是最亏的——因为只比标价不比通过率,失败重跑的钱全算在你头上;便宜模型过一半、贵模型几乎全过,摊到每个通过任务头上,贵贱可能整个反过来。感觉不要钱,账单要钱,这篇就是教你把账算清楚。 说清词: - 每通过任务成本(cost per passed task):总花费除以通过的任务数,便宜但常失败的模型,摊下来未必便宜。 - 词元(token):计费的基本单位,输入词元和输出词元分开计价。 - 测试架(harness):同一批任务发给多个模型、统一打分算账的一套脚本。 - 适配器(adapter):把各家不同返回格式统一成同一组字段的一小段代码。 - 冒烟测试(smoke test):正式开跑前,每家先发一句话验证 key 和模型 ID 通不通。 - 价格生效日期(effective dates):价格表里每行价格的起止日期,涨价日一到自动切换新价。 - 长提示分层价(tier):输入超过一定量后换一档更贵单价的规则。 - 思考词元(thinking tokens):推理模型先在心里算的那部分输出,照样按输出计费。 一个真实的例子:原文的算术题就是现成的验算——48,000 次调用,每次 1,500 输入词元、400 输出词元,输入 $2/百万、输出 $10/百万,总价 336 美元,一步都不能错。另一道是发票抽取:读一张 1,284.50 美元的发票,返回的 JSON 里厂商、单号、总额、到期日必须全对,错一个字段就算失败。眼熟的进化路线也正是这条:从 BuildingAPI 第 1 课的单次请求,到第 2 课的带历史多轮对话,到第 3 课的定角色系统提示词,到第 4 课的调温度,到第 5 课的流式输出,再到本篇的多厂商同场比价——前面是把一家调通,这篇是把八家的账算清,不算账,前面全白调。 反方适用条件清单——以下情况,不必先花大力气搭比价架,先说清楚,免得把本篇读成教条: - 你只用一家厂商:没对手可比,比价架搭了也是空转。 - 任务跑一次就扔:一次性任务不值得为它搭 13 步的架子,直接凭经验选。 - 已有缓存或批量折扣:冷调用价格不再是你的真实成本,先按折扣价算。 - 只看质量不看账单:研究性质的任务,质量优先,账单往后放。 - 除此之外,只要你每个月为 API 付钱、且要在两个以上模型之间选——比价就是必选项,没有第二种做法。 一句定性金句:标价是广告,通过率是现实,每通过任务成本才是账单。 ### 一、翻车清单 - 只比标价不比账单词元:各家分词器不同,同一句提示词在各家账上的词元数根本不一样,照标价比等于闭眼比。 - 漏算思考词元:Gemini 的思考词元单独列出,OpenAI 系的折进完成词元,不算进去,推理模型看起来比实际便宜一大截。 - 每个任务只跑一次:模型输出本来就抖,一次成败全是运气,三遍是底线,关键决策要跑五到十遍。 - 各家用不同提示词:给一家调过的词、给另一家没调过的词, contest 从一开始就是歪的。 - 只看通过率不看成本、或只看成本不看通过率:两半缺一半,都回答不了「该用谁」。 - 价格写死不带日期:Gemini 4 Argon 11 月 30 日前 $2/$10,12 月 1 日起 $4/$20,写死价格,12 月的账全是假账。 - 拿区域端点当全球价:xAI 美国区端点和 Anthropic 美国专属推理按 1.1 倍收费,不记录端点,账永远对不上。 - 拿聊天订阅当 API 额度:OpenAI 明说订阅不包 API 调用,订阅再贵也抵不了账单。 - 在有秘密的机器上跑模型写的代码:修 bug 任务的检查会真的执行模型返回的代码,不进沙箱等于开门揖盗。 ### 二、替代方案+理由 原文给的替代方案不是什么新架构,就是四件套:第一,models.json 写死 8 个模型的名单;第二,prices.json 里每个模型按生效日期分段写价;第三,http://providers.py 里每个厂商一个适配器,只统一四个字段;第四,http://report.py 一跑就出通过率、延迟、每通过任务成本三张表。理由有三:第一,账只在一处算,价格、通过率、延迟全从同一批原始记录里出,不会这表一个数、那表另一个数;第二,换模型只加一行名单、换价格只加一段日期,不用改代码,新旗舰一出就能加进来;第三,出错只会出在一个地方,账对不上先查价格行和词元字段,不用满代码找。先把「名单、带日期的价格、统一字段、同一张报表」这条规矩写稳,后面所有「该用谁」的问题都是在它上面加东西。 ### 三、目标形态 一个每月能重跑的比价架:同一个文件夹,8 个模型、5 个任务、3 遍,120 次调用,十几到二十几分钟跑完,报表一张写清每个模型调用数、通过率、错误数、中位延迟、总花费、每通过任务成本;再一张写清每个模型在 5 个任务上各过几次。价格一涨、模型一换,改一行就重跑,六个月后回头看,连同日期、SDK 版本、价格表一起归档在 runs/日期文件夹里,账永远能复现。 ### 四、迁移步骤 1. 建项目 apibench,Python 3.11 以上,venv 隔离,装 anthropic、openai、google-genai、python-dotenv 四个包,pip freeze 锁死版本。 2. 四家控制台开 key,设月度花费上限,写进 .env 并进 .gitignore;Claude 和 Gemini 的模型 ID 一律从厂商自己的模型列表里抄,不要手写。 3. 写 models.json:8 个模型一行一个,Claude 和 Gemini 用环境变量名,GPT 和 Grok 写死 ID(gpt-6-sol、gpt-6-luna、gpt-6.1-terra、grok-4.7)。 4. 写 prices.json:每个模型按生效日期分段,Argon 必须写两段(11 月 30 日前 $2/$10,12 月 1 日起 $4/$20);跑当天先去厂商定价页再核一遍有薄证据的行。 5. 写 http://providers.py:每家一个适配器,只返回文本、输入词元、输出词元、延迟四个字段;Gemini 的思考词元必须计入输出。 6. 写 http://ping.py 冒烟:8 个模型各发一句「Say pong」,8 行 ok 再往下走,有一行 FAIL 先修 key 和模型 ID。 7. 写 http://tasks.py:5 个任务各配自动检查——发票 JSON 全字段对、修 bug 代码过 3 个单测、长文档里找暗码、算术题答案 336、30 词内摘要含 refund 和 march;模型写的代码只在临时目录、10 秒超时内跑。 8. 写 http://runner.py:模型×任务×3 遍,失败指数退避重试 4 次,逐行 append 写 JSONL,崩了也不丢已跑完的。 9. 先跑 --dry:第一个任务各模型跑一次,验证打分、计价、日志全通,再跑全量 120 次。 10. 写 http://report.py 出两张表,再跑 http://freeze.py 记下日期、Python 版本、SDK 版本,连同 prices.json、models.json 一起归档进 runs/当天日期。 11. 读表先看错误列:错误多的模型输的是可靠性不是质量,先修重试策略和限流档位,再比通过率。 12. 决策只认每通过任务成本:贵模型过 4/5、便宜模型过 2/5,摊下来谁便宜,看失败好不好发现、重跑贵不贵。 ### 五、团队共建分工 - 一个人定任务集:5 个任务必须覆盖自家真实工作,任务一换,旧报表就作废,要写清版本。 - 一个人管价格表:每个月跑之前先核厂商定价页,涨价、换代、新模型只改 prices.json 和 models.json,不动代码。 - 一个人定报表口径:通过率、延迟、每通过任务成本三个数的定义写死,任何人不许各算一套。 ### 六、官方工具包 - models.json:8 个模型的名单,Claude Opus 5.5、Sonnet 5.5、Haiku 5.5,GPT-6 Sol、Luna、GPT-6.1 Terra,Gemini 4 Argon,Grok 4.7。 - prices.json+http://prices.py:带生效日期的价格表和按日期取价、按长提示分层的计价函数。 - http://providers.py:四家适配器,Anthropic、OpenAI 系(含 xAI 兼容端点)、Gemini,统一四个字段。 - http://ping.py:冒烟脚本,8 行 ok 才开跑。 - http://tasks.py:5 个任务加自动检查,发票、修 bug、长文档找暗码、算术、限词摘要。 - http://runner.py+http://report.py+http://freeze.py:重试、JSONL 日志、两张报表、日期归档。 - 厂商定价页:跑当天必核,原文自己提醒有几行价格证据较薄(Opus、Sonnet、Haiku 的报价行和 Grok 低档价来自单一快照),不要当成铁板钉钉引用。 结尾收束:原则比架构重要——模型没有标价,标价是你查的那一页;模型没有性价比,性价比是你跑的那 120 次调用。你不写带日期的价格表,涨价日一到账就全错;你不跑自己的任务,公开榜单永远是别人的任务。可重复的动作规则只有一条,每次选模型前问自己一句:这任务的通过率、延迟、每通过任务成本,我跑过了吗——一句答清楚了再选,答不清楚就先别选。把这句话写成脚本、写成报表、写成每月重跑的习惯,「该用谁」就从感觉变成了账。 S1哥观点:别再拿聊天窗口里的感觉选模型了——感觉不要钱,账单要钱。一个月调用费上千的人还在凭手感选模型,跟买菜只看标价不看称一样,回家才发现缺斤短两。更值得问的是:你现在主力模型的每通过任务成本是多少,算过吗?没算过就先别骂模型贵,先把这 13 步跑一遍,账出来了再骂也不迟。你跑过自己的比价吗?评论区说说。 收藏用清单(照着做): 1. 先把价格表写成带生效日期的 prices.json,Argon 记得写两段。 2. 适配器只统一四个字段,Gemini 思考词元计入输出。 3. 先跑 ping 冒烟,8 行 ok 再跑全量,120 次调用 3 遍起。 4. 决策只认每通过任务成本,不认标价和单次通过率。 转给还在凭感觉选模型的朋友,这篇他今天就能用上。
曝光 246 · 评论 1 · 点赞 1 · 书签 0
查看原帖