百度 ERNIE在GLUE 大赛中击败了微软和谷歌

受中英文差异的启发，ERNIE 的乐成讲明人工智能研究可以集百家之长。

作者 | Karen Hao

译者 | 弯月，责编 | Elle

出品 | CSDN（ID：CSDNnews）

以下为译文：

本月初，中国的一家科技巨头在一场连续的人工智能竞争中悄悄击败了微软和谷歌。该公司就是百度，其在中国的职位就相当于谷歌在北美。而这场角逐就是通用语言明白评估测试（General Language Understanding Evaluation，即GLUE）。

GLUE 是评价AI系统明白人类语言方面广泛认可的尺度。该角逐由9个差别的测试组成，其中包罗找出句子中的人名和组织，以及明白“it”等代词指代的是句子中的哪个。因此，如果在GLUE角逐中得分很高，则意味着该语言模型可以处置惩罚种种阅读明白任务。角逐满分为100分，平均得分约为87分。而如今百度的 ERNIE 成为了第一个凌驾90分的模型。

GLUE 的公然排行榜在连续不停地变化，也许很快就会泛起另一支队伍逾越百度。然而，百度的乐成讲明 AI 研究能够集百家之长。在构建 ERNIE 之际，百度的研究人员不得不研发一种专门的技术来处置惩罚中文。ERNIE（Enhanced Representation through kNowledge IntEgration）代表“知识增强的语义表现模型”。然而，很凑巧的是，这项技术也可以让模型更好地明白英语。

ERNIE的前身

说起 ERNIE，它的灵感泉源于 Google BERT。

BERT 问世于2018年尾，在这之前的自然语言模型都不是很理想。这些模型擅长预测句子中的下一个单词（因此它们很是适合自动补齐等应用法式），可是它们无法明白整段话的寄义，哪怕是很小一段。这是因为它们不明白句子的寄义，例如它们无法明白“it”一词指代的是什么。

可是 BERT 改变了这一点。之前的模型在预测和明白单词的寄义时，只能思量单词之前或之后的上下文，却无法同时兼顾两者。换句话说，它们是单向的。

相比之下，BERT 能够同时思量单词前后的上下文，所以是双向的。它使用一种名叫“笼罩”（masking）的技术来完成双向的操作。BERT 会在一段给定的文本段落中，随机笼罩15%的单词，然后实验凭据剩余的单词举行预测。由于它拥有双倍的线索，因此可以做出更准确的预测。举个例子，“他去__购置牛奶”，这个句子开头和末端部门都能给出有关缺失词语的提示：__是一个你可以去的地方，也是一个可以买到牛奶的地方。

“笼罩”技术的泛起是自然语言处置惩罚事情获得极大提升背后的焦点创新之一，而且也是诸如 OpenAI GPT-2 等模型能够撰写出极具说服力的散文而又不偏离焦点论题的原因之一。

从英文到中文再回到英文

当初百度的研究人员刚开始开发自家的语言模型时，他们希望以“笼罩”技术为基础构建模型。可是他们意识到他们需要对这项技术举行调整，才气处置惩罚中文。

在英语中，单词是语义单元，即便完全脱离上下文寄义仍然不会丢失。可是，中文里的单个字并不能表达完整的寄义。只管某些字确实有寄义，例如火、水或木等，可是大多数字只有与其他字组词之后才具有完整的寄义。组词差别意思也差别，举个例子，“灵”这个字，在“机敏”中表现智慧，但在“神灵”中就指神仙了。而专有名词中的字一旦拆开来后，就完全不是一个意思了，好比“波士顿”，“美国”（其寄义并不是“漂亮的国家”）。

因此，百度的研究人员在训练 ERNIE 的时候，研发了新一版的“笼罩”技术，它可以笼罩词而不仅仅是一个字。他们还训练 ERNIE 区分有意义的词和随机的词，教会它相应地笼罩正确的词。效果，ERNIE 对于如何解读中文信息有了更深入的相识，而且在预测缺失的字和词方面也越发准确。事实证明，这对于翻译和检索文本文档的信息应用法式很是有资助。

研究人员很快发现，实际上这种方法对于英文明白也很有利益。只管没有中文那么频繁，但英语也具有类似的现象，即一组单词表现的意思与每个单词单独的寄义差别。好比“Harry Potter”（哈利·波特）之类的专有名词，以及短语“chip off the old block” （孩子酷似双亲，字面意思为“切去旧块”），你不能通过拆剖析析这些短语的寄义。

对于如下这句话：

Harry Potter is a series of fantasy novels written by J. K. Rowling.（哈利·波特是J·K·罗琳所著的一系列魔幻小说。）

BERT 的笼罩方式为：

__ Potter is a series __ fantasy novels __ by J. __ Rowling.

可是 ERNIE 的笼罩方式为：

Harry Potter is __ __ __ fantasy novels by __ __ __.

可见，ERNIE 能够凭据寄义来学习更可靠的预测，而不仅仅是统计单词的使用模式。

种种想法

最新版的 ERNIE 还使用了其他几种训练技巧。它思量了句子的顺序及句子之间的距离，例如相识段落合理的希望。可是，最重要的是，它通过一种名叫一连训练的方法，在新数据集上针对新任务开展训练，同时还不会忘记以前学习的内容。这样一来，随着时间的推移，这个模型就可以越来越好地执行越来越多的任务，而人类的干预也会降到最低。

百度努力地使用 ERNIE 来为用户提供更多有效的搜索效果，删除新闻源中的重复报道，并提高其AI助手小度准确响应请求的能力。百度还在一篇论文中形貌了 ERNIE 的最新架构，该论文将在明年人工智能生长协会大会上揭晓。百度的研究人员曾经借鉴了 Google BERT，所以如今他们希望其他团队也能从 ERNIE 中受益。

百度研究的首席架构师Hao Tian说：“在刚着手这项事情的时候，我们首先思量了中文的某些特征，可是很快我们就发现它的应用不仅限于中文。”

原文：https://www.technologyreview.com/s/614996/ai-baidu-ernie-google-bert-natural-language-glue/

本文为 CSDN 翻译，转载请注明泉源出处。

热 文推 荐

你点的每个“在看”，我都认真当成了喜欢