江苏龙网

  1. 首页 > 资讯 > 科技 > >

「AI」构造AI防火墙！清华初创团队推出AI安全平台，强势修复算法漏洞“新型病毒”

「AI」构造AI防火墙！清华初创团队推出AI安全平台，强势修复算法漏洞“新型病毒”
图片

大数据文摘出品
在人工智能盛行的今天 ， AI早已融入了生活中的多个场景 ， 然而 ， 一些主流应用场景的背后 ， 往往也藏着由技术性缺陷导致的算法安全风险 。
例如 ， 在一些训练数据无法覆盖到的极端场景中 ， 自动驾驶汽车可能出现匪夷所思的决策 ， 导致乘车人安全风险 。 从2016年至今 ， Tesla、Uber等企业的辅助驾驶和自动驾驶系统就都曾出现过类似致人死亡的严重事故 。
【「AI」构造AI防火墙！清华初创团队推出AI安全平台 ， 强势修复算法漏洞“新型病毒”】并且这类极端情形也可能被恶意制造并利用 ， 发起“对抗样本攻击” ， 去年7月 ， 百度等研究机构就曾经通过3D打印能让自动驾驶“无视”的障碍物 ， 使车辆有发生撞击的风险 ， 同样威胁行驶安全 。
从安全评测到防御升级 ， RealSafe让AI更加安全可控
为了解决以上痛点 ， 近日 ， 清华大学AI研究院孵化企业RealAI（瑞莱智慧）正式推出首个针对AI在极端和对抗环境下的算法安全性检测与加固的工具平台——RealSafe人工智能安全平台 。
据了解 ， 该平台内置领先的AI对抗攻防算法 ， 提供从安全测评到防御加固整体解决方案 ， 目前可用于发现包括人脸比对等在内的常用AI算法可能出错的极端情形 ， 也能预防潜在的对抗攻击 。
RealAI表示 ， 就如网络安全时代 ， 网络攻击的大规模渗透诞生出杀毒软件 ， 发现计算机潜在病毒威胁 ， 提供一键系统优化、清理垃圾跟漏洞修复等功能 ， RealSafe研发团队希望通过RealSafe平台打造出人工智能时代的“杀毒软件” ， 为构建人工智能系统防火墙提供支持 ， 帮助企业有效应对人工智能时代下算法漏洞孕育出的“新型病毒” 。
RealSafe平台目前主要支持两大功能模块：模型安全测评、防御解决方案 。
其中 ， 模型安全评测主要为用户提供AI模型安全性评测服务 。 用户只需接入所需测评模型的SDK或API接口 ， 选择平台内置或者自行上传的数据集 ， 平台将基于多种算法生成对抗样本模拟攻击 ， 并综合在不同算法、迭代次数、扰动量大小的攻击下模型效果的变化 ， 给出模型安全评分及详细的测评报告（如下图） 。 目前已支持黑盒查询攻击方法与黑盒迁移攻击方法 。
「AI」构造AI防火墙！清华初创团队推出AI安全平台，强势修复算法漏洞“新型病毒”
图片

防御解决方案则是为用户提供模型安全性升级服务 ， 目前RealSafe平台支持五种去除对抗噪声的通用防御方法 ， 可实现对输入数据的自动去噪处理 ， 破坏攻击者恶意添加的对抗噪声 。 根据上述的模型安全评测结果 ， 用户可自行选择合适的防御方案 ， 一键提升模型安全性 。 另外防御效果上 ， 根据实测来看 ， 部分第三方的人脸比对API通过使用RealSafe平台的防御方案加固后 ， 安全性可提高40%以上 。
随着模型攻击手段在不断复杂扩张的情况下 ， RealSafe平台还持续提供广泛且深入的AI防御手段 ， 帮助用户获得实时且自动化的漏洞检测和修复能力 。
“对抗样本”成“AI病毒” ， 国外主流人脸识别算法相继被“攻破”
站在人脸识别终端前 ， 通过人脸识别摄像头完成身份校验 ， 类似的人脸识别身份认证已经覆盖到刷脸支付、酒店入住登记、考试身份核验、人证比对等等生活场景中 。
考虑到公众对于对抗样本这一概念可能比较模糊 ， RealSafe平台选取了公众最为熟知的人脸比对场景（人脸比对被广泛用于上述的身份认证场景中）提供在线体验 。 并且 ， 为了深入研究“对抗样本”对人脸比对系统识别效果的影响 ， RealAI 团队基于此功能在国外主流 AI 平台的演示服务上进行了测试 。
「AI」构造AI防火墙！清华初创团队推出AI安全平台，强势修复算法漏洞“新型病毒”
图片

选取一组不同的人脸图片（如下图） ， 通过RealSafe平台对其中一张图片生成对抗样本 ， 但不影响肉眼判断 ， 添加“对抗样本”前后分别输入到第三方人脸比对平台中查看相似度 。


推荐阅读


上一篇：研究■一周AI最火论文 | 世界就是你的绿屏 ，任何背景一键抠像！

下一篇：#数据#大数据的起源有多早？80年来，那些改变了大数据及存储的里程碑