有的AI（SI）模型测评，科学严谨性其实很弱，放出来更多是为了内容传播和平台曝光，不足以提供可靠的科学结论。 从某些测评公司的官方方法论来看，问题非常明显：… · @REI30327536 · TwKit

@REI30327536

有的AI（SI）模型测评，科学严谨性其实很弱，放出来更多是为了内容传播和平台曝光，不足以提供可靠的科学结论。 从某些测评公司的官方方法论来看，问题非常明显： • 完全用 LLM 当评委： 用 Gemini 3.8 Flash、Claude Sonnet 5.5、GLM 5.3 Flash 来两两比较其他模型的风格。 这是循环的，作为评委的模型，自己有风格偏好，结果容易偏向和评委相似的语言方式。且官方没有提到任何人类评审对照或一致性检验。 • 特质定义主观： 什么是“Literate”“Information Dense”“Eloquence”，没有清晰、可复现的客观标准，全靠评委模型自己理解。 • 问题集私有： 问题不公开，外部无法独立验证。 • 没有能力维度： 它明确不是能力测试，但结果用百分位（1–100）和排行榜形式展示，看上去像硬指标。 这种做法在学术上基本过不了关。 用模型评价模型的主观风格，既没有人类基线，也没有充分的信度效度检验，更多是“感觉上的排序”，不是严谨测量。 那他们为什么还放出来呢？ 目的大概可推测为： 1. 制造话题和流量
风格、性格这种东西比纯智力榜更容易引发议论（比如谁更讨好、谁更有文笔），X 上传播效果好。 2. 和能力榜形成差异化
纯智力测试现在大家做的很多，加一个“性格”维度能让平台看起来更抓眼球。 3. 服务他们的商业产品
公开榜单，是获客和建立权威的方式，然后靠企业订阅和定制评测。多一个独特的数据集，对企业客户也有卖点。 4. 迎合当下行业叙事
现在不少人认为能力会逐渐趋同，模型“性格”和“用起来的感觉”会变得更重要。测评公司可以靠话题热度显眼。 所以，某些测评本身科学价值有限，而且容易被误读成能力排名。他们知道这一点，但还是用比较抓眼球的方式发出来，主要是为了保持曝光和平台影响力，给不出一个经得起推敲的科学结论。就当纯娱乐就好。哪个好用，真正的用户自已心里有数。模型不是靠这种测评捧起来或者踩下去的。 #AI #SI

曝光 136 · 评论 0 · 点赞 7 · 书签 0