宁德生活圈

网站首页 科技 > 正文

DEEPMIND FACEBOOK AI联盟合作推出AI自然语言基准

2021-09-20 14:37:47 科技 来源:
导读 一个以人工智能领域一些最伟大的头脑为特色的研究小组正在引入一个衡量自然语言处理能力的基准。该联盟包括谷歌深度思维、脸书人工智能、纽

一个以人工智能领域一些最伟大的头脑为特色的研究小组正在引入一个衡量自然语言处理能力的基准。

该联盟包括谷歌深度思维、脸书人工智能、纽约大学和华盛顿大学。联盟的每个成员都认为NLP需要一个比当前解决方案更全面的基准。

DEEPMIND  FACEBOOK  AI联盟正在合作推出AI自然语言基准

根据脸书人工智能的说法,结果是一个名为SuperGLUE的基准平台,它用一个“更复杂的基准取代了一个名为GLUE的旧平台,其中包括一个全面的人类基准”。

SuperGLUE有助于测试NLP能力,之前的基准测试对于最新的系统来说太简单了。

在发布后的一年内,一些NLP模型已经在GLUE基准上超过了人类的基准性能。当前的模型提出了一种非常有效的方法,将语言模型对大量文本数据集的预训练与简单的多任务和传输学习技术相结合。"

2018年,谷歌发布了BERT(变形金刚双向编码器),脸书称之为NLP最大的突破之一。脸书采用了谷歌的开源工作,并确定了改进其有效性的变化,这导致了罗伯塔(robusly Bert Pre-Training Approach)。

DEEPMIND  FACEBOOK  AI联盟正在合作推出AI自然语言基准

研究并推出AI自然语言处理基准。

在发布后的一年内,几个NLP模型(包括RoBERTa)在GLUE基准测试中已经超过了人类的基准性能。目前的模型提出了一种非常有效的方法,将语言模型对大量文本数据集的预训练与简单的多任务和传输学习技术相结合,”脸书解释道。

对于SuperGLUE基准测试,联盟已经确定任务:满足以下四个标准。

有不同的格式。

使用更微妙的问题。

使用最先进的方法仍有待解决。

很容易解决。

新的基准测试包括八个不同且具有挑战性的任务,包括一个看似合理的选择(COPA)因果推理任务。以上任务为系统提供了一个句子的前提,它必须从两种可能的选择中确定前提的因果关系。人类在COPA上的准确率是100%,而Bert的准确率只有74%。

DEEPMIND  FACEBOOK  AI联盟正在合作推出AI自然语言基准

郑重声明:本文版权归原作者所有。转载文章只是为了传播更多的信息。如果作者信息标注有误,请第一时间联系我们修改或删除。谢谢你。


免责声明: 本文由用户上传,如有侵权请联系删除!


标签: