宁德生活圈

网站首页 互联网 > 正文

DeepMind的人工智能安全基准测试

2021-09-20 17:35:04 互联网 来源:
导读 大家好,欢迎来到AI Alignment播客。我是卢卡斯佩里。今天,我们和简雷科谈话。简雷科是DeepMind的高级研究科学家。他的研究旨在帮助机

大家好,欢迎来到AI Alignment播客。我是卢卡斯佩里。今天,我们和简雷科谈话。简雷科是DeepMind的高级研究科学家。他的研究旨在帮助机器学习变得强大和有益。他致力于增强学习代理的安全性和一致性。他目前的研究可以理解为以下问题的动机:我们如何设计有竞争力的、可扩展的机器学习算法,在没有奖励函数的情况下做出顺序决策?如果这个播客对你有意思或者有价值,请考虑在你喜欢的收听平台关注我们,给我们留下好的评论。

DeepMind的人工智能安全基准测试

这次谈话涵盖了简的博士学位和从理论研究到经验人工智能研究的过渡,为什么会发生这种过渡,以及他对经验人工智能安全研究重要性的看法。我们讨论了DeepMind如何处理有益的人工智能和人工智能安全项目。我们将讨论今天的AI集成前景和Jan最令人兴奋的方法。我们进入了Jan递归奖励建模研究的主要领域,讨论了DeepMind上的AI安全基准工作,以及AI alignment/AI安全社区与主流AI和机器学习社区之间的知识和文化差异。作为友好的通知,在播客的后半部分,传入的音频有一些音频问题。我们尽最大努力清理这些声音,我认为最终的音频很容易听。我还要感谢Richard Ngo、Vishal Maini和Richard Mallah在开发和完善这个播客问题上的帮助。因此,让我们开始与简雷科对话。

DeepMind的人工智能安全基准测试

不如你先带领我们走过AI领域的旅程吧?你最初是如何对数学和计算机科学产生兴趣的?说说你读博士的时间。是什么激起了你的好奇心,你为什么追求自己的追求?

简雷科:我在2012年左右开始对AGI和AGI的安全感兴趣。我曾经攻读硕士学位,试图思考我应该为我的职业做些什么。我在网上看了很多东西。我就是这样进入整个领域的。我当时的背景是数学和计算机科学,但我并没有真正从事AI。我正在进行软件验证。然后,我遇到了Marcus Hutter的AIXI模型,这基本上是AGI出场的一个形式化的数学模型。这是非常理想化的。其实不是什么可以跑的东西,但是你可以去思考,在实践中去证明。对此我非常兴奋。我认为这是一个很好的起点,因为你记得那是在2012年整个深度学习革命之前,所以不清楚我们实际上可以为AGI采用哪种方法。我读博士的目的是从先进理论的角度来理解AGI。

卢卡斯佩里:和马库斯赫特一起学习AIXI或“a”、“I”、“x”和“I”。

简雷科:因此,我的论文只是一些理论结果,其中一些实际上是理想化的代理AIXI,它在任何客观意义上都不是最优的。在某种程度上,这完全取决于用来定义它的通用图灵机。然而,在AIXI上有一些具有客观性质的变量,例如渐近收敛到最优策略。这个变体基本上是基于汤普森采样的变体,但它是一个完全通用的强化学习设置。所以这是部分可见的,你没有插曲。好像一切都是一个插曲。因此,这不是一个可以给出任何示例复杂性限制的设置。渐进收敛是你唯一能做的。随之而来的另一件事就是我们所说的“正式解决食物问题”。

DeepMind的人工智能安全基准测试

这里的想法是,AIXI形式模型的问题之一是,它假设其环境是可计算的,但这是无可争议的。你不能真的用它来进行多智能体分析。所以我们做的就是提出一个形式主义,就像AIXI的变体一样。如果我们将代理或环境嵌入到像AIXI这样的其他代理中,我们就可以属于自己的环境类。然后,当他们这样做时,他们仍然可以渐近地学习正确预测代理将执行的操作,然后渐近地收敛到纳什均衡。

郑重声明:本文版权归原作者所有。转载文章只是为了传播更多的信息。如果作者信息标注有误,请第一时间联系我们修改或删除。谢谢你。


免责声明: 本文由用户上传,如有侵权请联系删除!


标签: