一个由人工智能的一些最伟大的头脑组成的研究联盟正在发布一个衡量自然语言处理能力的基准。

该联盟包括谷歌深度思维、脸书人工智能、纽约大学和华盛顿大学。联盟的每个成员都认为NLP需要一个比当前解决方案更全面的基准。

其结果是一个名为SuperGLUE的基准平台，它用一个“更难的基准和全面的人工基准”取代了一个名为GLUE的旧平台。

SuperGLUE有助于测试NLP功能，但是之前的基准测试对于最新的系统来说太简单了。

“在发布后的一年内，一些NLP模型在GLUE基准上的性能已经超过了人类基准。当前的模型已经提出了一种令人惊讶的有效方法，该方法将针对大型文本数据集的语言模型预训练与简单的多任务和迁移学习技术相结合。

2018年，谷歌发布了Bert(《变形金刚》的双向编码器)，脸书称之为NLP最大的突破之一。脸书接受了谷歌的开源工作，并确定了改进其有效性的变化，这导致了RoBERTa(严格优化的BERT预训练方法)。

正如孩子们所说，罗伯塔基本上按照共同的基准“砸了它”:

“在发布后的一年内，几个NLP模型(包括RoBERTa)在GLUE基准上的性能已经超过了人类基准。当前的模型已经提出了一种令人惊讶的有效方法，该方法将针对大型文本数据集的语言模型预训练与简单的多任务和迁移学习技术相结合。

对于SuperGLUE基准测试，联盟决定了满足四个条件的任务：

有很多格式。

使用更微妙的问题。

使用最先进的方法仍有待解决。

很容易被人解决。

新的基准测试包括八个多样且具有挑战性的任务，包括“选择合理选择(COPA)”的因果推理任务。上述任务为系统提供了句子的前提，它必须从两种可能的选择中确定前提的原因或结果。人类在COPA上已经成功实现了100%的准确率，而BERT只有74%。

郑重声明：本文版权归原作者所有。转载文章只是为了传播更多的信息。如果作者信息标注有误，请第一时间联系我们修改或删除。谢谢你。

免责声明： 本文由用户上传，如有侵权请联系删除！

标签：