欢迎加入邵武圈!
查看: 580|回复: 2

3万

主题

3万

帖子

1155

积分

邵武达人

Rank: 3Rank: 3

积分
1155

  智能化技术及应用 | 小心对抗样本攻击,别让你的AI应用...

发表于 2022-6-18 20:11 | 显示全部楼层 | 复制链接

  智能化技术及应用 | 小心对抗样本攻击,别让你的AI应用被钻了空子

当有人宣称自动驾驶系统已解放了人们双手之后,你真的敢来一场说走就走的自动驾驶之旅吗?2019年,腾讯科恩实验室曾对某热门车型所搭载自动驾驶系统(2018年的某个版本)进行安全性测试,发现其在图像识别方面,存在被攻击的安全隐患。实验中大多数情况下,自动驾驶系统都能正常识别交通标志、标线,但如果在路面涂刷不起眼的干扰信息,车辆则会根据看到的图像,做出错误决策,驶入反向车道,危险性不言而喻。虽然这个实验仅仅暴露出自动驾驶汽车的安全隐患,但实际上随着人工智能应用日趋普及,AI的安全问题正逐渐显露。

AI应用面临安全挑战

当前主流的人工智能应用,多数是基于传统机器学习或深度学习算法开发的,从开发到生产部署,一般有数据采集、数据预处理、模型训练、模型的评估验证、生产部署等几个环节。

AI应用的各环节及攻击点

黑客往往会基于上述环节对人工智能应用进行攻击,如针对数据采集和预处理阶段的攻击、针对AI模型本身、针对模型使用环节的对抗样本攻击等等。其中,在对抗样本攻击中,通过对输入样本进行细微的修改,人眼不易觉察,但却使AI系统产生错误的输出,在一些关键场景中会造成严重问题,而针对各种对抗样本的攻击,已经有了多种防范方法来降低风险。下文将重点针对AI对抗样本攻击与防护的技术展开探讨。

解密AI对抗攻击技术

对抗样本(Adversarial Examples),即通过对输入样本添加一些非随机性的微小扰动,受干扰之后的输入样本经过AI模型运算,会导致模型以高置信度给出了一个错误的输出结果。如下图所示,一张原本是熊猫的图片,在加入了人为设计的微小噪声扰动后,人眼看上去还是熊猫,但AI模型直接将其识别为长臂猿,且可信度高达99.3%。

对抗样本

当然,还有另外一种对抗样本,样本图像是人类无法看懂的,但AI模型却高概率认为是某个类别的事物。如下图所示,AI模型会识别为0-9的数字。

在对抗样本攻击的分类上,如果从技术维度来看,按照对抗样本的实现方式可分为白盒攻击和黑盒攻击两类。白盒攻击:攻击者完全了解被攻击的AI模型的结构、源码、训练数据集等信息,可以实施更加精确的攻击,难度较低,多用于学术研究。常见的白盒攻击算法如L-BFGS、FGSM、BIM、ILCM、DeepFool等。黑盒攻击:攻击者对AI模型和训练数据集的信息了解得不多或者完全不了解。但利用对抗样本具有跨模型、跨数据集迁移的泛化能力,研究被攻击AI模型的输入/输出信息,设计对抗样本进行攻击,这种方式的实现难度比较大。

如果从攻击目标输出结果的维度来看,则可分为:非针对性攻击(non-target attack):让AI模型输出结果出错即可。针对性攻击(targeted attack):不仅让模型输出结果错误,而且还要让其输出结果按照攻击者预定的结果来输出。

云学堂相关资讯可以参考新华三官网,新华三集团作为数字化解决方案领导者,致力于成为客户业务创新、数字化转型值得信赖的合作伙伴。作为紫光集团旗下的核心企业,新华三通过深度布局“芯-云-网-边-端”全产业链,不断提升数字化和智能化赋能水平。新华三拥有芯片、计算、存储、网络、5G、安全、终端等全方位的数字化基础设施整体能力,提供云计算、大数据、人工智能、工业互联网、信息安全、智能联接、边缘计算等在内的一站式数字化解决方案,以及端到端的技术服务。同时,新华三也是HPE®服务器、存储和技术服务的中国独家提供商。


回复

使用道具 举报

查看: 580|回复: 2

0

主题

122

帖子

0

积分

禁止访问

积分
0
发表于 2022-6-21 16:27 | 显示全部楼层
从天堂到地狱,哥只是路过人间。
回复

使用道具 举报

查看: 580|回复: 2

0

主题

132

帖子

0

积分

邵武新人

Rank: 1

积分
0
发表于 2022-6-29 09:41 | 显示全部楼层
其实我就是传说中的“富”二代,付房贷、付车贷。
回复

使用道具 举报

手机版 | 邵武圈 |

© 2001-2017 Comsenz Inc.Powered by Discuz! X3.4

快速回复 返回顶部 返回列表