为了测试一下这次 DeepSeek V4.1 Flash（1017 版）在不同harness下的表现，我分别使用官方 API 和 OpenDesign 订阅… · @jiangkoumo_ · TwKit

@jiangkoumo_

为了测试一下这次 DeepSeek V4.1 Flash（1017 版）在不同harness下的表现，我分别使用官方 API 和 OpenDesign 订阅里的 DeepSeek V4.1 Flash测试了同样 83 道 Aider Polyglot 发现可能不同渠道会比换不同Agent 框架带来的影响大得多 在官方 API 上：DSH 72 题，Pi 70 题，基本打平（按题配对检验 p=0.75） 使用OpenDesign 订阅：Pi 59 题，DSH 50 题，Pi 反而领先 9 题 同一个框架只换渠道：DSH 从 50 升到 72（p<0.001），Pi 从 59 升到 70（p=0.043）DSH 受渠道影响差不多是 Pi 的两倍 首先先排除版本问题：我另做了指纹测试，两个渠道 16 道题各答 3 遍，答案全部一致；温度 0 下长回答开头能逐字重合几百字，OpenDesign 用的就是官方现在的 1017（顺带发现 OpenDesign 不遵守 max_tokens 限制） 一个可能的原因是：OpenDesign 流式返回里约 98% 的 thinking 是空的。我在官方 API 上把历史消息里的思考清空复现了一下（Python 34 题）：DSH 每题输出 token 中位数从 6.1k 涨到 9.0k，耗时从 35 秒涨到 50 秒；Pi 几乎没变化，但 DSH 通过数只从 29 降到 27，不显著。所以丢思考能解释 DSH 更慢、更费 token，解释不了全部掉分，剩下的更可能来自 OpenDesign 自己的超时和 5xx 所以如果只使用 OpenDesign 订阅里的模型测测试，我可能会得出“Pi 比 DSH 强”；但是换到官方 API，这个结论就不成立了 我本次测试，每题只跑了1 次，误差大约 ±10 个百分点，所以可能会有不准确的地方，因此也只能给大家作为一个参考

曝光 2339 · 评论 15 · 点赞 18 · 书签 2