DeepSeek 不同的 Harness分数相差这么大🔥 DeepSeek V4 Flash 0731 模型，但是在DeepSWE 的 113 个真实编程任… · @xiaomovps · TwKit

@xiaomovps

DeepSeek 不同的 Harness分数相差这么大🔥 DeepSeek V4 Flash 0731 模型，但是在DeepSWE 的 113 个真实编程任务跑出来的结果却完全不同 模型的思考强度都没变，只是换了一个 harness： 1、Codex｜39% 2、DeepSeek 自家 Harness｜37% 3、Claude Code｜30% 4、OpenCode｜22% 这里面有一个最有意思的点 我一开始以为会拿最高分的是 DeepSeek harness，结果反倒是隔壁家 OpenAI 的 Codex 拿了最高的成绩 而且不只是 DeepSeek，同一轮测试里 GLM 5.3 Flash 在 Codex 只有 24%，换到 DeepSeek Harness 能到 59%，差了 35 分 有自家 Harness 的 5 个模型，没一个是在自家 Harness 里跑得最好，这个结果就让人觉得深思 我之前聊 Pi 和 omp 的时候也说过，同一个模型放进不同的 Harness，完全是两种体验，这次 Pi 也在测试名单里 我觉得以后看模型跑分，至少一半要看 Harness，排行榜上的分数，不等于你手上那个 Agent 的分数 模型要选，Harness 也得一起选 https://x.com/ai_funss/status/2112158264087417234/video/1

曝光 2025 · 评论 7 · 点赞 4 · 书签 2