江苏龙网

  1. 首页 > 资讯 > 资讯 > >

故事传记|人工智能骗人工智能：黑客如何“弄瞎”人脸识别算法？( 四 )


安全极客们在镁光灯下相会 ， 聚在属于自己的“光明顶”——GeekPwn国际安全极客大赛 。
2018年 ， 选手用对抗样本攻击让主持人蒋昌建的照片被识别为施瓦辛格 ， 以此事件“宣告”攻破亚马逊名人识别系统 。
2019年 ， 对抗样本“隐身术”挑战目标检测系统识别 。 选手需要在A4纸上打印出干扰识别的隐身图案 ， 实现“隐身” ， 纸张面积随意 。 是的 ， 他们就是想用一张纸骗过监控 ， 也就是在监控视频中隐身 。
故事传记|人工智能骗人工智能：黑客如何“弄瞎”人脸识别算法？
文章图片
《亲爱的数据》出品
比赛结果非常惊人 ， 所有的参赛队伍都在一米处实现“隐身” 。 肉眼看到明明有人 ， 但是检测时就是“瞎了” 。 清华战队使用的图像面积最小（14cm*14cm） ， 所以 ， 成功拿下第一名的桂冠 。
萧子豪也参加了比赛 ， 他告诉我 ， 隐身不同于对手机和云厂商API攻击的地方是：
“隐身是攻击物体检测 ， 手机和云厂商是攻击人脸识别 ， 被攻击的模型不同 。 物体检测模型攻击难度更大 ， 因为其模型内置有对局部遮挡不敏感的能力 。 ”
故事传记|人工智能骗人工智能：黑客如何“弄瞎”人脸识别算法？
文章图片
《亲爱的数据》出品
即使有高考保送清华的光环 ， 算法研发对萧子豪也是高强度的脑力工作 。
北京夏季的三伏天 ， 挥汗如雨 ， 人像闷在皮鞋里的脚趾 。
RealAI公司位于清华科技园 ， 距离清华大学东门只有几百米 ， 萧子豪常去学校泳池消暑 ， 拍打水面 ， 水花落下 ， 气泡上升 ， 哗啦作响 ， 沉在水底的蓝色里 ， 既安静又放松 ， 仿佛只剩下他的思考和水的浮力 。
没有人会怀疑保送生的智商 ， 也没人会怀疑清华学子的自律 ， 而萧子豪告诉我 ， 坚持和抗压比聪明更重要 。
他的体会是：
“把一个新的事物往前推 ， 是一件很难找到方向的事情 。 研究算法的过程中 ， 会被一个问题困扰一到两年、或者数年 。 如果所有的精力都用来对抗压力 ， 人会被困住 ， 没有办法前进 。 有人尝试个一两百次 ， 情绪开始波动 ， 就干不下去了 。 迷茫的新手试错次数更多 ， 所以 ， 很多人都被阻挡在门外了 。 ”
火车跑得快 ， 全靠车头带 。 目前 ， 对抗样本的“火车头”并非工业界 ， 而是学术界 。
2013年 ， 在谷歌公司约有十年工龄的人工智能科学家Christian Szegedy和其他研究者先在图像分类的深度学习模型中发现了对抗样本 。
随后 ， 前谷歌大脑的年轻科学家伊恩·古德费洛（Ian Goodfellow）等研究者发现了快速攻击的对抗算法 。
而后 ， 对抗性样本的研究越来越多 。
随着研究推进 ， 文本处理、语音识别、自动驾驶、恶意软件检测等深度学习表现好的领域 ， 统统都被对抗样本攻击了 ， 甭管用循环神经网络 ， 还是强化学习 。
“对抗样本”骄傲地笑了 ， 它就是能让人工智能算法失效 ， 让人工智能算法错误分类 。 专业解释就是 ， 黑客对照片里的像素 ， 进行不可察觉的微小扰动 ， 可以使深度神经网络以较高的置信度错误分类 。
这里 ， 还有两个知识点 ， 一个是较高的置信度 ， 另一个是攻击结果 。
这个“较高的置信度” ， 可以理解为深度神经网络错误分类的时候 ， 自以为有较大的概率自己判断（分类）对了 。 这种迷之自信 ， 更让人觉得背后发凉 ， 汗毛倒立 。 “我以为我做对了”的误判比起“我拿不准我是否做对了” ， 前者似乎更糟糕 。
黑客操纵了人工智能算法的计算结果 ， 甚至可以指定发生结果 。 一种是 ， 把易烊千玺识别成别人就可以了 ， 这个别人 ， 爱谁是谁 ， 你和我都行 。 另一种是 ， 无论别人是谁 ， 都识别成易烊千玺 。 （在专业术语中 ， 前者是非目标攻击 ， 后者是目标攻击 。 ）
奥巴马“假脸风波” ， 让深度伪造技术名噪一时 。 对比看来 ， 深度伪造技术只是用算法去欺骗人类的肉眼 ， 而对抗样本技术则是要欺骗算法 。
算法与算法 ， 决战紫禁之巅 。
成千上万次的计算 ， 人工智能最终能熟练地完成任务 。 这么好的技术 ， 在一些领域的表现超越了人类 ， 怎么好端端就傻了呢？
攻防是道法 ， 也是术势 。
“生为算法 ， 却又不为造假而来 。 ”是对抗样本的内心独白 。
攻击与防御在学术界是一种研究思路 ， 在大型企业安全部门也是方法论 。 京东安全首席架构师耿志峰 ， 也曾在聊天时告诉我：
“攻防是信息安全的本质 。 所以 ， 京东安全团队内部会定期开展大规模红蓝对抗的攻防演练 。 ”
“外练筋骨皮” ， 企业安全团队 ， 红蓝对抗 。
“内练一口气” ， 神经网络与对抗样本 ， 相互对抗 。
对抗样本是提高人工智能鲁棒性的拳法 ， 其终点是彻底搞懂深度神经网络 。 深度神经网络是人工智能诸多算法的代表作 ， 大放异彩 。 人脸识别用得越多 ， 威胁也越多 。
魔高一尺 ， 道高一丈 。
虽然 ， 人脸识别黑盒攻击的成功率还是可观的 ， 但是 ， 在自动驾驶等领域 ， 还需要研究者去研究提升攻击成功率的方法 。


推荐阅读


上一篇：湖北利川:检察建议关注群众＂脚下安全＂

下一篇：福建南靖:开展联合执法检查筑牢企业安全生产防线