谷歌这项研究却实现了「鬼片」效果

未来展望

虽然人工智能技术已在各个领域取得较大进展，在商业应用中也实现了广泛的应用，开始建立起AI生态以及信任机制，尤其是在人脸识别以及各种自动化监控服务系统中。但是AI生态的建立也带来了新的安全问题，如基于深度学习模型固有脆弱性的对抗样本攻击。

虽然基于数字空间的对抗样本难以对实际应用的AI服务造成严重威胁，但是近两年，业界对于可实现物理攻击的鲁棒性对抗样本生成算法取得的进展表明，具有一定鲁棒性的对抗样本足以威胁AI应用的安全。如陈恺研究员团队提出的CommanderSong语音攻击(该文章已发表于USENIX Security 2018国际顶级会议，CCF-A类)，能够生成音乐对抗样本并可在物理环境下播放实现对语音识别模型的攻击，具有一定迁移特性，能够成功攻击讯飞语音输入法，该团队在此基础上进一步提出了Devil's Whispher攻击，针对商业智能语音设备实现了黑盒物理对抗攻击算法，能够成功攻击包括苹果Siri、微软Cortana、亚马逊Echo、Google Assistant等智能语音设备，并可以通过Youtube等社交平台传播(该成果已被USENIX Security 2020国际会议接收，CCF-A类)。清华大学团队提出的演化攻击，可以用来攻击人脸识别系统;比利时鲁汶大学研究表明，借助对抗补丁也可以大大降低监控系统对人类的识别率。

因此，随着对抗攻击技术的进步，尤其是可用于物理环境下的鲁棒性对抗样本生成算法的提出，进一步提升对抗攻击对AI系统的安全威胁。未来工作中，如何打造安全、可靠的人工智能系统则显得至关重要。

 

抗贴画伪装算法

由于对抗贴画不同于数字世界的对抗噪声，人眼可以分辨，因此奇怪的对抗贴画图案足以引起人们的警觉。论文提出了风格定制对抗贴画方式，可以生成不同的风格的对抗样本，以适应不同环境下的对抗样本类型。如下图，可以通过控制对抗贴画的图案类别生成指定类别图案的对抗样本，也可以控制对抗贴画的形状(如苹果形状)和颜色等等，甚至可以将文字的元素加入到对抗贴画中，生成带有文字效果的对抗贴画。不同风格的对抗图案使之能够更好的伪装成海报、广告以及小张贴等等，实现对抗样本的隐匿功能。

 

ERG算法则是在对抗样本生成过程中引入现实限制算法，以交通标识牌的Stop Sign为例，该交通标识牌通常出现于户外、道路旁等背景环境中，在牌子下方配有立杆。而该团队在实验中发现，深度学习模型在对目标识别时，识别结果受目标背景的合理性以及目标状态的合理性(是否有立杆)影响。因此利用目标检测、语义分割等工具在对抗样本生成中使目标处于合理的背景条件以及状态中，并利用图像变换算法模拟目标在不同角度和以及不同距离下的状态，使得对抗样本能够具备在不同环境下的鲁棒性，提高其物理攻击能力。

出现攻击-Nested-AE算法

基于物理环境下“出现攻击”的鲁棒性提升方法，文章提出了“嵌套对抗样本(Nested-AE)”的概念，嵌套对抗样本是利用目标检测模型(如YOLO V3)对远距离目标(小目标)与近距离目标(大目标)使用模型的不同部分进行预测。为了提高对抗样本鲁棒性，嵌套对抗样本将针对大目标检测的对抗图案与针对小目标检测的对抗图案以互不干扰的形式嵌套为一个单独的对抗图案，则该对抗图案同时具备远距离攻击以及近距离攻击的能力，提升对抗样本的在距离上的鲁棒性。

（编辑：济源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!