凯瑟琳贾马尔(Katharine Jarmul)在2018年的Goto Berlin会议上指出，输入清理可以帮助我们过滤掉不太可能的输入，然后再过滤掉。我们需要开始将模型和放入其中的训练数据视为潜在的安全漏洞。

数据科学家、《O'Reilly》的作者、《KIProtect》的联合创始人凯瑟琳贾马尔(Katharine Jarmul)在2018年柏林国际围棋大会上谈到了如何保护人工智能。InfoQ将通过问答、摘要和文章来报道这次会议。InfoQ采访了Jarmul，介绍了如何忽悠AI应用，创建健壮安全的神经网络，降低数据隐私和道德数据风险。

关于基于神经网络的模型如何抵抗对立的例子，以及这些方法会有多成功，已经有许多积极的研究。我认为最有趣和可行的方法之一是输入清洗。我们可以认为模型接受任何输入，不管它有多不切实际或不可能。对策的例子通常用于创建几乎不可能的输入(较暗块中间的亮橙色像素)，并使用这些输入来增加不确定性或改变模型的决策。当我们想到许多不同类型模型中的对立示例时，输入清理、输入前特征压缩或其他降维等方法可能是最实用和可扩展的方法。

也就是说，我在GOTO里面说的，除了处理对抗性的图像或者例子之外，只有一两步，因为我觉得我们机器学习的主要重点不是对抗性的例子——而是隐私和数据安全问题。从机器学习模型中提取信息相对容易，我们正在将更多的模型部署到生产系统中，在生产系统中，它们暴露在外部互联网中，并向潜在的对手开放。当我们用个人或敏感数据训练模型，然后向其他人开放它的API时，我会将其与向互联网开放您的数据库进行比较。我们需要开始将模型和我们放入模型的训练数据视为潜在的安全漏洞。对这些提取方法进行了积极的研究，如模型反转攻击和利用置信度信息的基本对策)，以及Reza Shokri教授关于成员推断攻击的获奖论文，该论文展示了如何高精度地确定数据点是否是训练数据集的一部分。保护发送到机器学习模型中的数据是我的公司KIProtect的工作之一——也就是说，我们如何让数据科学和机器学习的安全性和隐私性变得更容易？

当我们将私有或敏感数据放入机器学习模型时，我们要求模型学习一些数据，并将其用于未来的决策。这些数据的元素实际上会存储在模型中——这意味着这些元素可以像嵌入的文档一样被提取出来。攻击者可以利用这些信息暴露来学习训练数据或模型决策过程——将私有数据或敏感逻辑暴露给任何能够访问模型或模型API的人。因此，作为个人，这意味着如果我的个人信息或数据被用来创建模型，特别是保留大量信息的模型(如一些神经网络)，该模型可以用来提取关于我的信息。模型已经创建。

随着越来越多的公司使用机器学习和MLaaS，我认为作为消费者，我们应该关注拥有个人数据或关于我们的数据以及我们在公共可用模型中的行为的潜在隐私和安全风险。作为机器学习的实践者，我们需要越来越重视模型的基本安全措施，确定模型中暴露了多少敏感信息。如果这些因素包含在我们的评估标准中，我们有望在模型的成功和隐私问题之间找到良好的平衡。在KIProtect，我们使用了ML模型来评估我们的假名化过程。对于在受保护数据上训练的机器学习模型，其精度仅下降了一小部分(1-2%)。所以我们认为这不仅是可能的。

郑重声明：本文版权归原作者所有。转载文章只是为了传播更多的信息。如果作者信息标注有误，请第一时间联系我们修改或删除。谢谢你。

免责声明： 本文由用户上传，如有侵权请联系删除！

标签：