《AI 的起源》25：2020年，科学家发现一个令人不安又兴奋的规律：模型越大，某些能力为什么持续增强？ 【25-3·下】2020年5月28日，OpenAI… · @CosmicUndercurr · TwKit

@CosmicUndercurr

《AI 的起源》25：2020年，科学家发现一个令人不安又兴奋的规律：模型越大，某些能力为什么持续增强？ 【25-3·下】2020年5月28日，OpenAI公布GPT-3，一台规模惊人的语言机器终于进入科学家的视野 GPT-3的内部结构同样令人印象深刻。研究团队使用了一个拥有96层Transformer网络、96个注意力头的模型，让大量语言信息经过多层计算形成上下文表示。整个训练过程中，模型处理了约3000亿个语言单位，而这些语言单位又来自经过筛选的网页、书籍和其他文本。为了检验不同规模带来的变化，研究者还训练了从1.25亿到1750亿参数的八种模型，让它们在相近的实验框架下接受比较。 这里有一个值得深入理解的问题：1750亿个参数究竟意味着什么？我们可以把参数理解成神经网络内部经过训练不断调整的数值，它们参与决定不同信息怎样相互影响。当文字进入模型以后，会经过大量矩阵运算和多层非线性变换，最后形成对于下一步输出的概率判断。参数数量增加以后，模型便有机会形成更加丰富的计算表示，但它也需要足够的数据和训练资源，才能让这些参数真正发挥作用。 这很像研究者试图绘制一张规模庞大的世界地图。最初的地图也许只包含主要河流和山脉，后来随着测量增加，更多城市、道路和地形细节逐渐出现。如果地图的表达能力太有限，大量真实地理信息就只能被粗略归纳；如果拥有更加丰富的结构，又能够不断利用新的观测修正内容，地图便有机会描述更加复杂的空间关系。神经网络的参数并不对应某一个固定的地理位置，但增加模型规模，同样可以让系统拥有表达更多复杂关系的计算空间。 GPT-3训练过程中还出现了一项极其重要的工程挑战。数以千亿计的参数和训练状态，需要分布在大量计算设备之间才能完成处理。研究人员必须决定哪些网络层放在哪些设备上，不同计算节点怎样交换数据，以及怎样减少通信和存储带来的限制。过去，科学家研究神经网络时可能主要面对算法是否有效的问题；如今，模型规模已经让数学结构、数据工程与大规模计算系统之间的配合变得越来越重要。 最终，研究团队获得了一套能够通过文字继续生成文字的巨大模型。它拥有大量经过训练形成的参数，也能够根据输入上下文改变后续内容。可是GPT-3真正重要的发现，并没有停留在它可以写出更加流畅的句子。研究者开始让这台模型面对各种不同任务，而且采用了一种过去很少能够在如此大规模上实现的测试方式。 他们决定不给模型针对新任务进行额外的参数训练，只通过输入文字告诉它应该做什么，再观察它究竟能够表现出多少能力。 这件事将让人工智能领域第一次如此清楚地看到，一台经过大规模语言预训练的系统，竟然可以通过少量示例迅速适应某些全新的任务。

曝光 163 · 评论 5 · 点赞 2 · 书签 0