近年来，人工智能的发展取得了长足的进步。现代人工智能系统在识别图像中的物体、注释视频、将语音转换为文本或在不同语言之间翻译等认知任务中实现了人类级别的性能。这些突破性成果中有许多是基于深度神经网络(DNN)的。DNN是一个复杂的机器学习模型，它与人脑中相互连接的神经元有一些相似之处。DNN可以处理高维输入(例如，高分辨率图像中的数百万像素)，以不同的抽象级别表示这些输入中的模式，并将这些表示与高级语义概念相关联。

DNN的一个吸引人的特点是，尽管它们通常非常准确，但它们容易受到所谓对立例子的影响。对抗的一个例子是DNN有意修改输入(如图像)以产生所需的响应。图1显示了一个例子：在这里，大熊猫的图像中添加了少量的对抗性噪声，这导致DNN将其图像错误地归类为卷尾猴。通常，对抗性例子的目标是错误分类或特定的错误预测，这将有利于攻击者。

对抗攻击对安全关键应用中的人工智能系统部署构成了真正的威胁。图像、视频、声音和其他数据中几乎检测不到的变化被设计用来迷惑人工智能系统。即使攻击者不知道DNN的架构或无法访问其参数，他也可以进行这样的更改。更令人担忧的是，在物理世界中可能会发起对抗性攻击：攻击者可以不操纵数字图像的像素，而是戴上专门设计的眼镜来躲避面部识别系统，或者通过在交通标志上粘贴补丁来击败自动驾驶汽车的视觉识别系统。

国际商用机器公司研究爱尔兰公司发布了对抗鲁棒性工具箱(开源软件库)，以支持研究人员和开发人员防御DNN对抗攻击，从而使人工智能系统更加安全。该版本将在RSA会议上由IBM研究员、IBM Security副总裁兼首席技术官斯里达尔穆皮迪博士和IBM Security安全运营和响应(SOAR)副总裁兼首席技术官koos lodewijkx宣布。

对抗性鲁棒性工具箱旨在支持研究人员和开发人员创建新的防御技术，并部署实际人工智能系统的实际防御。研究人员可以用“对抗性鲁棒性”工具箱来测试最新的防御技术。对于开发人员来说，该库提供了使用独立方法作为构建块的接口，以支持集成防御系统的组成。

该库是用Python编写的，Python是开发、测试和部署DNN最常用的编程语言。它包括最新的算法，创造对抗性的例子和方法，以捍卫DNN对这些例子。保卫DNN有三种方法：

衡量模型的稳健性。首先，可以评估给定DNN的鲁棒性。一个直接的方法是记录对抗性变化输入的准确性损失。当DNN的输入稍有变化时，其他方法测量内部表示和输出的变化程度。

模型强化。其次，可以“加强”给定的DNN，使其更能抵御敌对输入。常见的方法是对DNN的输入进行预处理，用对立的例子扩展训练数据，或者改变DNN架构以防止对立信号通过内部表示层传播。

运行时检测。最后，您可以使用运行时检测方法来标记对手可能调整的任何输入。这些方法通常试图利用由D对策的输入引起的DNN内部表示层的异常激活。

对抗鲁棒性工具箱的第一个版本支持在TensorFlow和Keras深度学习框架中实现的DNN。未来的版本将扩展对其他流行框架的支持，如PyTorch或MXNet。目前，该库主要用于提高视觉识别系统的对抗性，但我们正在开发未来的版本，包括对其他数据模式(如语音、文本或时间序列)的适配。

作为一个开源项目，“鲁棒性对抗工具箱”的目标是在工业界和学术界的参与下创建一个充满活力的生态系统。与正在进行的类似工作的主要区别在于，它侧重于防御方法和实际防御系统的可组合性。我们希望“对抗性鲁棒性工具箱”项目能够刺激DNN周边对抗性鲁棒性的研发，推动安全AI在现实应用中的部署。请与我们分享您在使用对抗鲁棒性工具箱方面的经验，以及对未来增强的任何建议。

郑重声明：本文版权归原作者所有。转载文章只是为了传播更多的信息。如果作者信息标注有误，请第一时间联系我们修改或删除。谢谢你。

免责声明： 本文由用户上传，如有侵权请联系删除！

标签：