《AI 的起源》24：2018年，让机器不断预测下一个词，为什么竟然成为一种强大的学习方法？ 【24-4·上】2018年10月，Google提出一个新问题：… · @CosmicUndercurr · TwKit

@CosmicUndercurr

《AI 的起源》24：2018年，让机器不断预测下一个词，为什么竟然成为一种强大的学习方法？ 【24-4·上】2018年10月，Google提出一个新问题：如果把句子里的词藏起来，机器能不能根据前后文找到答案？ 2018年10月11日，Google的Jacob Devlin、Ming-Wei Chang、Kenton Lee和Kristina Toutanova公布了一篇重要论文：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。这项研究同样建立在Transformer架构之上，却选择了另一种非常有意思的语言学习任务。研究人员希望让模型在阅读一段文本时，同时利用某个位置前后两侧的信息，逐渐形成更加适合语言分析的内部表示。 我们可以想象一座古老城市里的档案馆。工作人员正在整理一份几十年前留下的旅行记录，纸张因为潮湿而出现破损，其中一段文字写着：“探险队沿着山谷前进，终于在傍晚找到了通往村庄的□□。他们顺着这条路走了两个小时，最终看到了远处的灯光。”虽然重要位置上的文字已经消失，读者仍然可能猜到那里写着“道路”或者“小路”。因为前面的探险队与山谷提供了一部分线索，后面的“顺着这条路走”又进一步确定了缺失内容的范围。 人类完成这种判断时，经常会自然地利用整个句子。我们读到某个不清楚的词，可以先继续往后阅读，直到找到新的信息，再回头重新考虑前面的内容。BERT希望让神经网络也能够通过类似的信息条件进行训练。研究者会在输入文本中选出一部分位置作为预测目标，其中许多词语会被特殊标记遮住，再要求模型根据周围剩余的文本推测原来的内容。 这种方法叫作Masked Language Modeling，也就是掩码语言建模。BERT使用双向Transformer编码器，让被预测位置能够同时利用左侧与右侧上下文。前面的句子提供了什么线索，后面的句子又补充了什么信息，都可以进入模型的计算过程。经过大量类似训练以后，网络能够逐渐学习词语在不同上下文中的作用，以及句子里的不同部分怎样共同形成意义。 这项研究还有一个十分重要的技术选择：Google把BERT的主要目标放在学习能够被其他任务使用的语言表示上。模型可以通过大量普通文本进行预训练，再利用具体任务的数据调整内部参数。阅读理解、文本分类和自然语言推断等不同问题，开始有机会共享一套已经经过丰富语言训练的基础网络。

曝光 13 · 评论 0 · 点赞 0 · 书签 0