admin 管理员组文章数量: 1103806
作 者：王 琴
单 位：燕山大学
摘要
本文受Bert mask策略的启发，提出一种新的语言表示模型，称为ERNIE(Enhanced Representation through Knowledge Integration).ERNIE旨在学习到通过知识屏蔽策略增强的语言表示，其中屏蔽策略包括实体级屏蔽(Entity-level strategy)和短语级屏蔽(Phrase-level strategy)。 entity-level 策略通常会掩盖由多个单词组成的实体; Phrase-level 策略会掩盖由几个词共同作为概念单元的整体短语。实验结果表明，ERNIE优于其他基准方法，在包括自然语言推理、语义相似性、命名实体识别、情感分析、问答系统在内的五个自然语言处理任务上取得了好结果 。作者还证明了ERNIE在完形填空测试中具有更强大的知识推理能力。
文章介绍
在绝大多数的研究中，仅仅通过上下文来预测丢失的单词并对其进行建模。 这些模型没有考虑句子中的先验知识。 例如，在句子“哈利·波特是由罗琳（J. K. Rowling）创作的一系列幻想小说”中。 哈利·波特（Harry Potter）是小说的名字，而罗琳（J. K. Rowling）是作家。 模型很容易通过实体内部的单词搭配来预测实体Harry Potter的缺失单词，而无需借助较长的上下文。如果模型学习更多有关先验知识的信息，则该模型可以获得更可靠的语言表示。ERNIE不是直接添加知识嵌入（knowledge embedding），而是隐式地学习有关知识和较长语义依赖性的信息，例如实体之间的关系，实体的属性和事件的类型，以指导单词嵌入学习。
作者所做的贡献如下：
（1）引入了一种新的语言模型学习处理，掩盖了诸如短语和实体之类的单元，以便从这些单元隐式学习语法和语义信息。
（2）在各种中文自然语言处理任务上，ERNIE大大优于以前的最新方法。
（3）发布了ERNIE和预训练模型的代码，可在
本文标签： 论文 ERNIE Enhanced integration Knowledge
版权声明：本文标题：论文解读 | 百度 ERNIE: Enhanced Representation through Knowledge Integration 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.520sys.cn/xp/1755027396a1458547.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论