推文

@fireandstart · 2026-10-13 05:44

这类“读代码而不运行代码”的评测值得关注，因为真实维护工作里，理解陌生函数、追踪分支和判断潜在副作用，常常比从零写一段看起来正确的代码更接近实际难题。570 个 Python 函数、相同选项、85.1% 对 74.2%，以及 88 道仅 Drex 答对的题，至少提供了一个可以继续追问的具体信号：模型是否能稳定建立控制流和数据流的心智模型。 不过，这组数字目前更像厂商展示的初步样本，还不能单独说明模型在真实代码库里更可靠。函数如何抽取、题目难度如何分层、答案由谁标注、是否检查过训练数据污染、不同语言和仓库规模下是否复现，都会改变结论。多选题得分也不等同于发现漏洞、解释副作用或安全修改代码的能力。尤其原帖同时附上定价、速度和注册送额度信息，评测结果与产品宣传应当分开看。 我更想看到可公开复现的样本、基线和错误分析：它究竟在哪些结构上胜出，误判集中在哪里，扩大题量后优势是否仍在。若这些问题经得起独立验证，“读懂代码”就可能成为比单纯生成速度更有用的能力指标；在那之前，把它当作值得验证的信号，比直接当成产品结论更稳妥。

曝光 30 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 6.774789542968282