推文
@tonnyzhou · 2026-10-14 07:02
很多人问模型蒸馏是什么。简单说：让大模型当老师，小模型当学生——老师输出的概率分布（含“错误答案也有几分道理”的软信息）比标准答案更有营养，学生学得更快。Anthropic 昨天发的蒸馏防御论文，防的就是这招被滥用。#AI科普
曝光 10 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 1.5921531813123186
@tonnyzhou · 2026-10-14 07:02
很多人问模型蒸馏是什么。简单说：让大模型当老师，小模型当学生——老师输出的概率分布（含“错误答案也有几分道理”的软信息）比标准答案更有营养，学生学得更快。Anthropic 昨天发的蒸馏防御论文，防的就是这招被滥用。#AI科普
曝光 10 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 1.5921531813123186