模型答对了，不代表它想对了。Goodfire 这篇论文讲的就是这事：训练只看对错，模型就会抄近道。比如看胸片认气胸，它认的其实是片子里的引流管，没治过的病人… · @yuanbaopower · TwKit

@yuanbaopower

模型答对了，不代表它想对了。Goodfire 这篇论文讲的就是这事：训练只看对错，模型就会抄近道。比如看胸片认气胸，它认的其实是片子里的引流管，没治过的病人一来就翻车。他们的做法是在训练里直接罚掉对这种内部概念的依赖，逼模型用对的理由解题。分两种罚法，一种是不让模型依赖这个概念，一种是不让它表现出来。 来源：https://aihot.news/items/d9a7dr6n3w0nh5p2facdqqguu

曝光 4 · 评论 0 · 点赞 0 · 书签 0