江苏龙网

  1. 首页 > 资讯 > 科技 > >

「AI」构造AI防火墙！清华初创团队推出AI安全平台，强势修复算法漏洞“新型病毒”( 二 )


「AI」构造AI防火墙！清华初创团队推出AI安全平台，强势修复算法漏洞“新型病毒”
图片

最终结果显示 ， 添加“噪声”前 ， 两张图片被 Azure、AWS 判定为不属于同一个人 ， 但添加“噪声”后 ， 以上两个平台的演示服务均给出了错误的结果 ， 认为两张图片属于同一个人 ， 甚至 Azure 平台的演示服务在添加“噪声”前后相似度变化的幅度高达70%以上 。
「AI」构造AI防火墙！清华初创团队推出AI安全平台，强势修复算法漏洞“新型病毒”
图片

为了探究结果的普适性 ， RealAI团队又选取了国内三家主流人脸比对平台进行测试 ， 结果同样显示 ， 添加扰动之后 ， 原本判定为“不同人脸”的图片均被错误识别为“相同人脸” ， 前后相似度的变化幅度可达到20%以上 。 而通过RealSafe防火墙“去噪”过滤后 ， 这几个人脸比对平台的识别“误差”获得不同程度的纠正 ， 识别效果得到稳定提升 。
实测证明 ， “对抗样本”可以极大的干扰人脸比对系统的识别结果 ， 据介绍 ， 目前市面上很多中小型企业在落地人脸识别应用时大多会选择采用上文测试的这几家互联网公司开放的人脸比对SDK或者API接口 ， 如果他们人脸比对技术存在明显的安全漏洞 ， 意味着更广泛的应用场景将存在安全隐患 。
除了人脸比对外 ， 对抗样本攻击还可能出现在目标检测的应用场景中 ， 延伸来看 ， 这可能会危害到工业、安防等领域的安全风险检测 。 比如某电网的输电塔的监控系统 ， 由于输电塔的高安全性防护要求 ， 防止吊车、塔吊、烟火破坏输电线路 ， 需要对输电塔内外进行全天候的实时监控 ， 而这实时监控系统背后就是基于目标检测的AI算法来提供保障 。
而RealAI研究团队发现 ， 只要通过RealSafe对其中的目标检测算法进行一定的对抗样本攻击 ， 就会造成监控系统失效 ， 导致其无法识别非常明显的烟火情形 ， 类似情形如果真实发生 ， 将可能带来难以估计的损失 。
事实上 ， 像以上提到的这些AI安全风险由于都是AI底层算法存在技术缺陷而导致 ， 往往比较隐蔽 ， 但牵一发动全身 ， 这些“难以预见”的风险漏洞最有可能成为被攻破的薄弱环节 ， 而RealSafe平台同步推出的防御解决方案则可以有效增强各应用领域中AI算法的安全性 。
“零编码”+“可量化” ， 两大优势高效应对算法威胁
据介绍 ， RealAI此次推出的算法模型安全检测平台 ， 除了可以帮助企业高效应对算法威胁还具备以下两大优势：
组件化、零编码的在线测评：相较于ART、Foolbox等开源工具需要自行部署、编写代码 ， RealSafe平台采用组件化、零编码的功能设置 ， 免去了重复造轮子的精力与时间消耗 ， 用户只需提供相应的数据即可在线完成评估 ， 极大降低了算法评测的技术难度 ， 学习成本低 ， 无需拥有专业算法能力也可以上手操作 。 比如上文中针对微软、亚马逊等第三方平台的测试 ， 整个流程按照步骤提示完成 ， 只需几分钟就可以查看到测评结果 。
可视化、可量化的评测结果：为了帮助用户提高对模型安全性的概念 ， RealSafe平台采用可量化的形式对安全评测结果进行展示 ， 根据模型在对抗样本攻击下的表现进行评分 ， 评分越高则模型安全性越高 。 此外 ， RealSafe平台提供安全性变化展示 ， 经过防御处理后的安全评分变化以及模型效果变化一目了然 。
落地安全周边产品 ， 为更多场景保驾护航
其实对抗样本原本是机器学习模型的一个有趣现象 ， 但经过不断的升级演化 ， “对抗样本”已经演变成一种新型攻击手段 ， 并从数字世界蔓延到物理世界：在路面上粘贴对抗样本贴纸模仿合并条带误导自动驾驶汽车拐进逆行车道、胸前张贴一张对抗样本贴纸在监控设备下实现隐身……
所以 ， 除了针对数字世界的算法模型推出安全评测平台 ， RealAI团队也联合清华大学AI研究院围绕多年来积累的领先世界的研究成果落地了一系列AI攻防安全产品 ， 旨在满足更多场景的AI安全需求 。


推荐阅读


上一篇：研究■一周AI最火论文 | 世界就是你的绿屏 ，任何背景一键抠像！

下一篇：#数据#大数据的起源有多早？80年来，那些改变了大数据及存储的里程碑