AI/ML 每日面试题 第21期ML面试问题 Q：Transformer 没有循环结构，它怎么知道词的顺序？位置编码有哪几种？ A： 绝对位置编码 abso… · @Zen_with_AI · TwKit

@Zen_with_AI

AI/ML 每日面试题 第21期ML面试问题 Q：Transformer 没有循环结构，它怎么知道词的顺序？位置编码有哪几种？ A： 绝对位置编码 absolute positional encoding 给每个位置编一个固定向量，直接加到词向量上，原版 Transformer 用的就是正弦 sinusoidal 编码，位置信息就这么"贴"进了输入。 相对位置编码 relative positional encoding 不给绝对位置，只在算注意力时引入两个词之间的相对距离，比如"我"离"喜欢"差 2 个位置，模型看的是距离不是坐标。 RoPE 旋转位置编码 rotary position embedding 把 Q、K 按位置角度旋转一下再算点积，点积结果里自然就带上了相对距离，既保留了绝对位置信息，又能算相对关系。现在 LLaMA、Qwen 这些主流模型都在用它。 （一句话记住：绝对加向量，相对算距离，旋转靠角度） 追问加分：RoPE 为什么能外推到更长上下文？方向：角度有周期性，配合 NTK 缩放等思路调整频率，就能处理比训练时更长的序列。 更深度问题：ALiBi 和 RoPE 各自的取舍是什么？

曝光 550 · 评论 2 · 点赞 6 · 书签 9