模型排行榜上的一个总分，很容易让人误以为：第一名适合所有工作。 Artificial Analysis 的 Intelligence Index v5.0，… · @RwatitFahsa · TwKit

@RwatitFahsa

模型排行榜上的一个总分，很容易让人误以为：第一名适合所有工作。 Artificial Analysis 的 Intelligence Index v5.0，其实是9项测试的加权结果，分成四类： 知识工作、编程、科学和通用能力，各占25%。 测试已经不只是答题。 模型要处理复杂文件、调用企业软件 API、修改真实开源仓库、操作终端，还要在不知道答案时少胡说。多数任务看第一次结果，也就是 `pass@1`。 这比单测数学题更接近真实工作，但仍有边界： 它以英文和文本任务为主； 部分结果由其他大模型评分； 视觉、语音和多语言能力另行测试； 权重也是平台对“通用智能”的一种定义。 所以，综合分高只能说明模型在这套考试里更均衡，不代表它最适合你的业务。 真正选模型时，应该先用榜单缩小范围，再拿自己的代码、文档和失败案例测试，同时比较价格、速度、稳定性和工具调用。 排行榜适合选候选人，不适合替你做最终录用。 https://artificialanalysis.ai/methodology/intelligence-benchmarking

曝光 28 · 评论 1 · 点赞 0 · 书签 0