推文

@realWeZZard · 2026-10-13 18:52

其实有关蒸馏，我自己开始学习模型推理、部署和训练的知识之后才开始对之前观察到的模型行为有了认知。 之前 Anthropic 发 J-Space 那篇论文的时候，我为国模制作了 J-lens。然后在某个国模身上，真的可以复现出 Anthropic 的官方示例。我不太清楚这种 latent space 上的行为为什么也会如此巧合地一致。 还有，很多人说量化会降智，这一点通过 J-lens 在 latent space 上也可以观测到。我可以很负责任地告诉大家：量化确实会降智。

曝光 430 · 评论 0 · 点赞 2 · 书签 2