脆弱|一件T恤就可以完美“隐身”,AI“眼睛”竟如此脆弱?( 二 )


穿上特殊T恤,达到所谓的“隐身”效果,其实就是“混淆”AI的“视觉系统”。AI目标检测技术的这种缺陷是否会导致安全问题的发生?
柯逍表示,美国汽车协会的汽车辅助驾驶案例中,行人被漏检或者未能及时被检测到,都可能导致交通事故的产生。此外,安防监控下危险人物与物品的漏检也可能导致安全隐患,不法分子可以利用对抗攻击来发现目标检测系统的漏洞,并进行攻击。
“安全问题的产生可能有模型本身缺陷问题,如泛化性能不足,训练数据单一,存在过拟合等现象。此时,应当尽可能地丰富训练数据,并在模型训练过程中加入防止过拟合的技术手段等来提升模型的实战能力。”王金桥认为,另一方面,实际系统中往往也需要融合模型安全的考虑来增强结果可信度和模型的健壮性,加入攻击模型的预判,提高对抗样本的判别能力,从而降低安全风险。
当前,科研人员正不断提出精度更高、速度更快的AI目标检测模型,用于解决目标检测技术中存在的漏检、误检、实时性与鲁棒性等问题。对于未来技术安全的构建,还需要做哪些努力?
王金桥认为,人工智能目前总体还处于起步阶段,现有的人工智能算法本质上还是学习简单的映射关系,并未真正地理解数据背后内容及潜在的因果关系。因此,其理论创新和产业应用还面临着诸多的技术难点,需要科研人员持续攻关,实现真正意义上的“智能”以降低应用的风险。
“其次,科研人员在进行技术研究以及新技术的应用中,应当尽可能的考虑各种安全问题,加入对抗样本防攻击模型,并做好相应的处理措施。”王金桥建议,从社会层面也应当建立和完善人工智能相关的法律法规,对技术的应用范围加以引导,对可能出现的安全问题作出相应的指导和规范,营造更加全面和成熟的科技创新环境。
终审:冷文生


推荐阅读