Transformer 到底是什么？🤔 最近学 AI，又遇到了一个新词：Transformer。 第一次看到这个名字我还在思考这是什么变形金刚，结果一查才发… · @xiongzixin1218 · TwKit

@xiongzixin1218

Transformer 到底是什么？🤔 最近学 AI，又遇到了一个新词：Transformer。 第一次看到这个名字我还在思考这是什么变形金刚，结果一查才发现他居然是现代很多大语言模型背后的重要技术之一～ 那它到底是干什么的？ 先想一个问题： 假如你正在看一段话： 「小王昨天熬夜打游戏，今天上课的时候困得睁不开眼，老师问他为什么没精神，他说昨晚在研究哲学。」 大家都能看出来他昨晚大概率不是在研究哲学对吧？😂 因为你不会只盯着某一个词，而是会把整段话联系起来，理解前后内容之间的关系。 AI 处理语言时，也需要处理这种关系。 Transformer 就是一种专门用于处理序列信息的神经网络架构，特别擅长处理序列中的信息关系。 这里的「架构」，可以理解成模型处理信息时的一套设计方案。 在 Transformer 出现之前，处理文字的模型也有其他设计方式。Transformer 的一个重要特点是，它可以利用注意力机制，计算输入中不同部分之间的关联。 而且，它还能在训练时并行处理一批输入信息中的多个位置。简单理解，就是不必像某些早期模型那样，只能严格按照一个词接一个词的方式完成所有计算。 这让它非常适合处理语言，也成为许多现代大语言模型的重要基础。 当然，Transformer 不等于 ChatGPT，也不等于大语言模型本身。 可以这样理解： 🧠 Transformer：一种模型架构，相当于设计方案。 📚 大语言模型（LLM）：通过大量文本训练出来、能够处理和生成语言的模型。 💬 ChatGPT：让我们能够直接使用 AI 的产品。 三者有关联，但不是同一个东西。 我说白了AI 圈真的很喜欢把简单的东西取一个很高大上的名字。…

曝光 6 · 评论 0 · 点赞 0 · 书签 0