《AI 的起源》25：2020年，科学家发现一个令人不安又兴奋的规律：模型越大，某些能力为什么持续增强？ 【25-4·上】2020年，科学家给GPT-3看了… · @CosmicUndercurr · TwKit

@CosmicUndercurr

《AI 的起源》25：2020年，科学家发现一个令人不安又兴奋的规律：模型越大，某些能力为什么持续增强？ 【25-4·上】2020年，科学家给GPT-3看了几个简单例子，随后发现它竟然能够自己接着完成任务 想象你第一次来到一个陌生国家，准备学习当地语言。老师没有让你先背诵一整本语法书，而是在纸上写下几个例子：早上对应morning，晚上对应evening，太阳对应sun。随后，他又写下一个新的词语，等待你按照前面已经形成的对应方式给出答案。如果你此前拥有一些语言知识，就可能通过这几个例子迅速明白老师希望你完成什么。短短几行文字，已经足以让你把过去积累的经验应用到当前任务上。 2020年的GPT-3研究，就是在认真检验这种能力。过去，许多神经网络如果想完成新任务，研究人员通常需要准备专门的数据集，再利用梯度下降调整模型参数。GPT-3团队则决定，让已经完成预训练的模型保持参数不变，只通过输入文字提供任务说明和少量示例，再观察它能否继续完成类似工作。 论文把这种方式称为Few-Shot Learning，也就是少样本学习。假设研究者准备让模型翻译英语到法语，就可以先在输入里提供几个已经翻译完成的句子，再留下一句新的英语，让模型按照相同形式继续生成译文。整个过程只需要修改当前提供的文字，模型此前已经学到的语言经验便有机会参与新任务，而网络参数并不需要为了这个任务重新训练。 研究团队还区分了两种更加特别的情况。如果只提供一个已经完成的例子，就叫作One-Shot，也就是单样本学习；如果连示例都不给，只通过自然语言描述希望完成什么任务，就叫作Zero-Shot，也就是零样本学习。这三种条件让科学家能够直接比较，当前输入里拥有多少任务线索，会怎样影响模型的实际表现。 这里开始出现一种与传统程序设计很不一样的交互方式。过去，研究人员要让计算机执行某项新任务，经常需要编写具体程序，或者重新收集大量训练数据；现在，一台经过大规模预训练的语言模型，已经有机会根据当前提供的文字判断任务形式，并沿着已有示例继续生成结果。人类日常交流中十分熟悉的说明与示范，开始成为调用机器学习能力的重要方式。 而更加令人意外的实验，还来自研究者自己创造的陌生词语。如果GPT-3从未学过某个词，那么当科学家只给它一个简单定义以后，它究竟能不能在新的句子里正确使用这个词？

曝光 127 · 评论 4 · 点赞 3 · 书签 0