百度AI硬核技术实力再次再次爆发，刷新国际上语言生成任务SOTA(最优化效果)，目标射向AI领域最受打听一下的方向之一自然语言处理。5月20日，百度WaveSummit2020深度学习开发者峰会上，ERNIE重磅发布全新的语言生成预训练模型ERNIE-GEN，能解决自然语言处理领域“化合”方向的难题，让机器而且能“解释”人类的意思，还能成功更中阶的“表达”。这项工作在4类语言生成任务，5项国际权威英文数据集上均提出SOTA。此外，还被国际宗师级AI学术会议IJCAI2020收录，百度AI在国际舞台的中军实力再度展露无遗。在自然语言处理领域中，语言理解(NLU)和语言生成(NLG)是两大核心任务。百度先发布的ERNIE-GEN预训练模型正指向语言生成(NLG)，这很顺耳很生涩，事实上当然不眼生。再次回顾一些经典科幻电影，.例如《终结者》、《黑客帝国》中请看的未来机器人，他们能够不卡地实现方法和人类对话，这那是两个自然语言生成系统。日常生活中，手机输入法的联想词、对答如流的智能音箱、问答机器人等，是最常见自然语言生成领域问题。所以说自然语言生成技术非常重要，针对性地进行预训练模型的研发，也成为这些领域最重要玩家的共识。从2019年以来，Google、Facebook、微软等陆续公告了多个是对自然语言化合的预训练模型，提出了是有进展。百度2019年3月所推出预训练模型ERNIE，7月可以升级到ERNIE2.0，并迅速在12月直接登顶国际不权威数据集GLUE，这意味着到百度ERNIE已成为国际上堪称第一的预训练模型。今年3月，ERNIE又在全球规模最大的语义评测比赛SemEval2020斩获5项世界冠军。之前，领域内的预训练模型主要注意关注于语言理解类任务，在生成任务上还处在探索阶段。如以BERT、ERNIE为代表的语言理解预训练模型在理解方面取得了许多重大突破，但，相对于序列到序列的自然语言生成任务，这些主流方法却没给予的确加以改进。早期如微软MASS和UniLM等工作在下游生成任务上取得了特别显著提升，但仍有问题亟需解决。决赛当天在ERNIE基础上所推出的语言生成预训练模型ERNIE-GEN，显然因为之前工作中语言生成任务的核心难题，给出了多项创新方法，基于组件robust-flow机制，模型可以不生成气体求全部语义片段，显著提升了自然语言化合的任务效果。ERNIE-GEN唯一一个将短语、实体的预测化入化合预训练训练中。这些机制借鉴吸收了人类写作的构思过程，使模型具备了语义完备短语化合的能力，如然后生成气体“NewYork”(而非“New”和“York”)。况且，悠久的传统的自重临生成模型当前词的生成强感情依赖于上个词，这种有偏的学习会在上文化合质量不佳时，倒致妖军的错误`累积。ERNIE-GEN提出来Infilling生成机制并和噪声增强策略相结合有效缓解了这种生成过程中的出错累积。是为基于上述机制，ERNIE-GEN基于组件transformer电脑设计了multiple-flowattention结构。到了最后据实验结果不显示，ERNIE-GEN在文本摘要化合、问题生成气体、多轮问答和对话4类生成任务的5个不公开数据中，均取得了SOTA效果。目前，ERNIE-GEN的英文预训练模型已开源软件，而基于组件更极大规模预训练数据集的ERNIE-GEN也正式公告于。ERNIE-GEN已应用到于内部新闻标题生成等业务，未来还将允许机器翻译等许多类型的生成任务。赋予了生命机器「认知」能力，是人工智能中最具试练的问题。进入到明白语言，使之让机器具备人类的表达能力那绝对是意义非同寻常。上百度在自然语言处理领域并无二十年的积累与沉淀，拥有了最前沿、最各个、最领先的技术实力布局。搜索、推荐、语音、客服……百度ERNIE还快速进入到大规模行动应用，并已形成乾坤二卦通用模型、任务模型、轻量级模型、领域模型的完善模型集，持续赋能各行各业。不仅仅专注于前瞻技术探索，更致力于按照技术应用解决问题困难，在自然语言处理领域持续突破的百度，还在将AI解出千万行业中。