推文

@tvytlx · 2026-10-13 09:05

一个通识考试考不过 GPT-2 的模型，修 bug 赢了 GPT-4o。 训练费大概 1000 美元。 这是 nanoswe 刚刷新的纪录：从随机初始化开始训的 1.7B 小模型，在 SWE-bench Verified 上 pass@1 拿到 25.5%。 Claude 3 Opus 是 15.8%，GPT-4o 是 23.2%。 做法挺粗暴的： 一台 8 卡 B200，跑 24 小时。 先喂 67 亿 token 网页文本，让它大概认识一下人话。 剩下九成算力，全喂给 Nemotron 3.5 Lightning 修 bug 的全过程记录，140 万条，378 亿 token。 没有指令微调，没有 RL。 然后这玩意就只会修 bug。 你跟它聊天，它回你一串 bash 命令。 我觉得最有意思的是这个反差。 我们一直默认，会改代码 = 先得懂很多东西。 结果至少 SWE-bench 里它能解的那 25%，几乎用不上通识。 修 bug 更像一门手艺，看够了高手怎么查、怎么改、怎么跑测试，就会了。 还有个细节我真没想到： 上一个纪录用的是 3.2B 的模型，15.7%。 这次模型缩小快一半，加一小段网页预热，直接跳到 25.5%。 预算固定的时候，大不一定好。 这几个哥们自己也问了：是不是在刷题？ 他们另做了两套新测试集，新 bug、新仓库，泛化表现和 SmolLM3 微调版差不多。 但账要算全。 训练 1000 美元，造那 140 万条轨迹花了 3000 美元，而且前提是先有一个够强的老师模型。 说白了就是蒸馏，最贵的那部分早有人替你付过了。 所以我觉得信号挺清楚： 窄任务的能力正在变得很便宜。 一个垂直场景，只要你能攒下足够多"高手是怎么一步步做的"记录，就能低成本复制一个只会干这一件事的专家。 数据是护城河这话都说烂了。 现在可以说得更具体一点：值钱的是过程。 https://x.com/rdolmedo_/status/2109656196286456295

曝光 368 · 评论 3 · 点赞 4 · 书签 0 · 曝光/时 40.369862248647756