OpenAI 千防万防,没想到保护得最严密的模型思维链,竟然被自己的上下文压缩功能泄露了。 最近 OpenAI 和 Anthropic 都在加强反蒸馏,重点… · @Michaelzsguo · TwKit
@Michaelzsguo
OpenAI 千防万防,没想到保护得最严密的模型思维链,竟然被自己的上下文压缩功能泄露了。 最近 OpenAI 和 Anthropic 都在加强反蒸馏,重点保护模型的原始思维链。相比最终答案,推理过程中的试错和自我纠正,才是训练另一个模型更有价值的材料。 但 Xint 最近发现了一个巧妙的漏洞:根本不用破解加密,而是利用 OpenAI 自己的功能绕过防线。先诱导上下文压缩保留推理内容,再交给旧模型复述,原本无法读取的思维链,就这样变成了明文。 OpenAI 已于 10 月 23 日修复这一漏洞。
曝光 280 · 评论 0 · 点赞 3 · 书签 0
查看原帖