《AI 的起源》25：2020年，科学家发现一个令人不安又兴奋的规律：模型越大，某些能力为什么持续增强？ 【25-1·下】2018年，一张人工智能算力增长图… · @CosmicUndercurr · TwKit

@CosmicUndercurr

《AI 的起源》25：2020年，科学家发现一个令人不安又兴奋的规律：模型越大，某些能力为什么持续增强？ 【25-1·下】2018年，一张人工智能算力增长图，让科学家发现了一个惊人的变化 这里很快出现了一个值得思考的困难。假设一位科学家正在研究怎样提高水稻产量，他可以增加灌溉用水，也可以扩大农田面积，或者使用更加先进的种植技术。可如果投入更多资源以后，产量始终无法获得相应改善，那么继续扩张就可能失去意义。真正有价值的发现，是研究者能够通过大量实验弄清楚，不同投入究竟怎样影响最后的结果，以及哪些因素会逐渐成为新的限制。 人工智能也面临着类似的问题。一个神经网络的能力，受到模型结构、训练数据与计算量等多种因素影响。增加参数可以让系统拥有更丰富的内部表示，扩大训练材料则能提供更多经验，而增加计算资源又能够支持更加复杂的训练。但研究人员需要知道，这些因素之间究竟存在怎样的关系。如果把参数数量扩大十倍，预测能力究竟会提高多少？如果模型保持不变，只让它阅读更多文本，又会发生什么？ 过去，这类问题经常依靠具体实验回答。研究团队开发一个新模型，让它在公开数据集上进行测试，再与已有结果比较。到了2018年前后，越来越多研究者开始希望寻找能够跨越不同模型规模的规律。因为如果模型性能能够随着数据和计算资源呈现某种稳定变化，那么科学家就可以通过规模相对较小的实验，推测未来更加庞大的训练可能得到怎样的结果。 这件事与我们整个系列一直讨论的科学探索存在一种深刻联系。人类研究自然世界时，经常首先看到大量独立现象，再通过测量逐渐发现它们之间可能存在某种共同规律。开普勒研究行星位置，最终从长期天文记录中发现了轨道运动的数学关系；研究神经网络的科学家，如今也开始尝试从大量训练实验中寻找可以描述性能变化的规律。 到了2020年，这种探索终于获得了一次重要成果。一群研究人员不再只关注某个模型最终得到多少分，而是系统地改变模型大小、数据数量和计算资源，再观察语言预测错误怎样随之变化。他们发现，原本看起来极其复杂的神经网络学习过程，竟然能够在相当广泛的范围内，用几条相对简单的数学关系进行描述。 人工智能的发展第一次开始呈现出一种令人兴奋的可预测性。而真正让这项研究变得重要的，是科学家随后发现：那些数学关系甚至能够告诉他们，下一台大型语言模型应该怎样设计和训练。

曝光 43 · 评论 7 · 点赞 1 · 书签 0