🤔牛哇！Anthropic新论文指出安全探针也有Scaling Law，直接减少试错成本！以后给新模型做安全监控，数据量和探针类型都能提前算准了！ 以前每出… · @NFT_Chen · TwKit

@NFT_Chen

🤔牛哇！Anthropic新论文指出安全探针也有Scaling Law，直接减少试错成本！以后给新模型做安全监控，数据量和探针类型都能提前算准了！ 以前每出一个新模型、多一个风险场景，安全探针都得重训一遍，标多少数据、选哪种结构，只能一遍遍试。 安全探针就像给大模型装了一个几乎不耗电的“测谎仪”，直接看内部激活值，就能实时判断真假、越狱、提示词注入。 三个核心发现： 1️⃣模型越大，测谎仪的“天花板”越高
以事实判断为例，模型每大一倍，最低错误率大约降到原来的86%。越大的模型，越容易被准确读心。 2️⃣越大的模型，越省标注
小模型需要标很多数据才能接近最好效果，大模型用更少的数据就能接近自己的上限。 3️⃣这个规律在不同任务、不同模型家族、不同探针结构上都成立
只是具体数字不一样。论文测了从0.5B到72B的20个模型，覆盖事实判断、谄媚、违规、越狱、提示词注入等场景。 实际能直接用来干嘛： 🔸用几个小模型就能预测更大模型的效果，72%情况下误差在0.02以内。 🔸判断“多标数据”还是“直接换更大的模型”更划算，73%选对。 🔸选探针结构：数据少时简单探针更好，数据多时复杂探针反超。预测转折点大约9300条，实测大约9100条。 以后给新模型做安全监控，可以先用小模型“试算”，再决定数据量和探针类型。 查看论文：https://arxiv.org/abs/2610.30678 #AI安全 #大模型 #ScalingLaw #Anthropic #LLM #论文分享 #机器学习 #Dario #A社

曝光 1108 · 评论 7 · 点赞 13 · 书签 11