说个最近的趋势，我觉得 Coding Agent 的下一轮竞争，可能要卷数据合成和评测体系了。 公开的 SWE-bench、Terminal-Bench 已… · @seekjourney · TwKit

@seekjourney

说个最近的趋势，我觉得 Coding Agent 的下一轮竞争，可能要卷数据合成和评测体系了。 公开的 SWE-bench、Terminal-Bench 已经被大量反复训练和优化，榜单分数其实越来越难代表真实泛化能力，各种作弊和环境问题影响。 我们现在做研究通过开源仓库反推测试集。 从现有仓库反推，让模型自动出题、生成测试、构建 RL 训练环境。 比如 DeNovoSWE、BeyondSWE。 不过关键还是看题目质量和评估标准。 https://huggingface.co/datasets/AweAI-Team/DeNovoSWE

曝光 3 · 评论 0 · 点赞 0 · 书签 0