宁德生活圈

网站首页 科技 > 正文

微软开放人工智能系统工具对抗源代码

2021-09-10 12:48:27 科技 来源:
导读 最近,微软开放了Counterfit,这是一个AI安全风险评估工具,旨在帮助开发者测试AI和机器学习系统的安全性。据该公司称,Counterfit使组织能

最近,微软开放了Counterfit,这是一个AI安全风险评估工具,旨在帮助开发者测试AI和机器学习系统的安全性。据该公司称,Counterfit使组织能够进行评估,以确保其业务中使用的算法是可靠和值得信赖的。

目前,人工智能技术越来越多地应用于医疗保健、金融和国防等受监管行业。然而,组织在采用风险缓解策略方面落后了。微软的一项调查发现,一些公司用户表示,他们没有足够的资源来确保其人工智能系统的稳定性和安全性。微软认为,Counterfit源于公司需要评估AI系统是否存在漏洞,其目的是积极保护AI服务。该工具最初是专门为目标AI模型编写的攻击脚本的集合,后来发展成为一个自动化产品,用于多个系统的大规模基准测试。

Microsoft开放式AI系统工具Counterfit源代码

在底层,Counterfit是一个命令行实用程序,它为对抗框架和预装算法提供了一个层,这些框架和算法可以用来规避和窃取模型。Counterfit旨在为安全社区提供对已发布攻击的访问权限,以及一个接口,通过该接口可以构建、管理和启动模型攻击。

使用Counterfit对AI系统进行渗透测试时,安全团队可以选择默认设置、设置随机参数或自定义每个参数,以覆盖广泛的漏洞。拥有多种型号的组织可以使用Counterfit的内置自动化功能进行扫描,并可以选择多次扫描来创建运营基准。

Counterfit还提供日志记录来记录对目标模型的攻击。正如微软指出的,遥测技术可能有助于工程团队提高对系统故障模式的理解。

在内部,微软将Counterfit作为其AI红队运营的一部分,并在AI开发阶段将漏洞投入生产。该公司还表示,已经与包括航空航天巨头空客在内的许多客户测试了Counterfit,该公司正在开发一个基于Azure AI服务的AI平台。

"人工智能在工业中的应用越来越多."空客高级网络安全研究员马蒂尔达罗德(Matilda Rhode)在一份声明中表示:“确保这项技术的安全性非常重要,尤其是要知道特征空间攻击在问题空间中的实现位置。”

Microsoft开放式AI系统工具Counterfit源代码

基本上,公司希望人们相信人工智能没有被操纵和安全。Gartner在1月份发布的“管理AI风险的五个优先事项”框架中的一个建议是,组织“针对攻击性攻击采取特定的AI安全措施,以确保抵抗力和弹性。”这家研究公司估计,到2024年,实施专门人工智能风险管理控制的组织避免负面人工智能结果的频率将是不消除负面人工智能结果的组织的两倍。“根据Gartner的报告,到2022年,30%的AI网络攻击将使用训练数据来毒害基于机器学习的系统、模型盗窃或对抗性样本攻击。

郑重声明:本文版权归原作者所有。转载文章只是为了传播更多的信息。如果作者信息标注有误,请第一时间联系我们修改或删除。谢谢你。

标签:微软。


免责声明: 本文由用户上传,如有侵权请联系删除!


标签: