学习CS336到现在一个很大的体会是大模型好像并没有那么的“黑盒”，甚至已经有一点“模感”了。 有点像学英语很多人强调“语感”，就是我也不知道语法具体怎么回… · @BtreeWw · TwKit

@BtreeWw

学习CS336到现在一个很大的体会是大模型好像并没有那么的“黑盒”，甚至已经有一点“模感”了。 有点像学英语很多人强调“语感”，就是我也不知道语法具体怎么回事，但是我就觉得这里应该放这个介词或者另一个副词。放别的就很别扭。 现在好像慢慢形成了一点点“模感”，看到一些东西，直觉上就会觉得这里应该有这么个东西，而且觉得这个东西放这特别合理。 之前对模型的理解仅仅停留在“预测下一个token”，最多知道点kv cache，prefill decode这种很常见的东西。 学到现在感觉很多架构上的选择是有rationale在里面的，而不是随机选择的。 比如觉得上下文之间应该是有联系的，才想到QKV这种attention机制。再比如大家觉得这个关联也不应该是线性的，所以做了FFN。 虽然还是没办法完全解释为什么能有这么强大的能力，但是似乎在我心里这种合理性越来越多了。

曝光 2 · 评论 0 · 点赞 0 · 书签 0