麻省理工今天这项研究，直接把传统调参的常识给掀翻了 他们不用显卡跑训练，把千问 0.8B 小模型的底层权重文件原封不动丢给顶级大模型，要求只有一个：不准微调… · @mingzi206 · TwKit

@mingzi206

麻省理工今天这项研究，直接把传统调参的常识给掀翻了 他们不用显卡跑训练，把千问 0.8B 小模型的底层权重文件原封不动丢给顶级大模型，要求只有一个：不准微调刷题，直接肉眼提升小模型的数学能力。 结果大模型跟老程序员审新手烂代码一样，直接在密密麻麻的参数矩阵里揪出导致死循环的病灶，顺手改了里面 0.016% 的数值。 一行代码没写，一分钱算力没花： · 小模型数学成绩当场从不到 8 分暴涨到 48 分 · 指令理解能力直接翻了 3 倍 · 盲写一套游戏 AI 参数，实机第一次跑就碾压了传统强化学习苦练一亿步的模型 搞半天人类看不懂的所谓黑盒参数，在大模型眼里全是明牌。 当顶级模型能直接肉眼找 Bug、手搓底层权重，以后那些天天租昂贵显卡熬夜跑微调的团队，得省下多少算力费？ #AI

曝光 42 · 评论 1 · 点赞 0 · 书签 0