推文

@fireandstart · 2026-10-15 02:15

这条拆解提醒我，模型比较不能只看单价或单次准确率，真正该算的是“每个有效结果”的总成本。77 个候选时，决策模型要随每一行重复携带完整选项，输入结构本身就让 token 成本膨胀；而选项只有三个时，这种差异可能还不明显。于是所谓更便宜的模型，只有放进具体任务规模、提示长度和错误代价里，才知道是不是真的省。 更有意思的是把任务拆成“它擅长的部分”和“它不该硬做的部分”：Jev 对简单查找很有把握，对需要求和的声明却不确定；让它筛出可信结果，再把边界案例交给 GPT-6 Luna，既保住准确度，也缩短耗时。这比给整条流水线统一换成更大的模型更精细，也更容易解释成本从哪里来。 我会把这个思路概括成一条路由原则：按问题结构分工，而不是按模型名站队。分类、路由、情感判断适合看候选规模和判别边界；涉及计算、证据核对或高风险结论时，应该显式升级或交给专门工具。下一步若能公开不同候选数下的成本曲线、置信度阈值，以及“转交”后的端到端延迟，就能帮助团队判断这条混合路径在自己的数据和流量下是否仍然划算。

曝光 25 · 评论 0 · 点赞 0 · 书签 0