澎湃新闻|腾讯安全平台部孵化的朱雀实验室亮相，专注AI安全技术研究( 二 )
文章图片
修改神经元后 ， 0分类的飞机在触发器的作用直接错误分类到“卡车”
文章图片
修改神经元后 ， 7分类的马在触发器的作用直接错误分类到“卡车”
第三种攻击手法是通过“数据木马”在模型中隐藏信息 ， 最终通过隐藏信息实现把AI模型转换为可执行恶意代码的攻击载体 。
这种攻击手法是针对人工神经网络的训练与预测都是通过浮点运算（指浮点数参与浮点计算的运算 ， 这种运算通常伴随着因为无法精确表示而进行的近似或舍入）的特性完成的 。 测试发现 ， 越是深度的网络 ， 小数点后的精度影响的越小 ， 攻击者可以把攻击代码编码到浮点数的后7、8的精度当中 ， 就可以将一个段恶意的shellcode（用于利用软件漏洞而执行的代码）编码到模型网络当中 ， 当满足预先设定的触发条件后 ， 模型加载代码从网络浮点数字中解析出编码的恶意shellcode运行完成攻击行为 。
文章图片
模型当中每一个神经元的参数信息通常是由4字节浮点数字表示 ， 例如 9d 2d 57 3f == 0.84053415当就模型文件中的参数信息替换为 9d 2d 57 00 和9d 2d 57 ff， 那么影响的精度就是 0.84053040～0.84054559 ， 显然可以保持住浮点前4位小数保持不变 。 这样就可以把一个段恶意的shellcode攻击代码编码到了模型网络当中 。
【澎湃新闻|腾讯安全平台部孵化的朱雀实验室亮相，专注AI安全技术研究】虽然攻击手法“出神入化” ， 腾讯朱雀实验室表示 ， 普通大众也不必过于草木皆兵 。 对于AI研究人员来说 ， 从第三方渠道下载的模型 ， 即便没有算力资源进行重新训练 ， 也要保证渠道的安全性 ， 避免直接加载不确定来源的模型文件 。 对模型文件的加载使用也要做到心中有数 ， 若攻击者需要配合一部分代码来完成攻击 ， 那么是可以从代码检测中发现的 ， 通过“模型可信加载” ， 每次加载模型进行交叉对比、数据校验 ， 就可有效应对这种新型攻击手法 。
推荐阅读
- 钱江晚报·小时新闻|天呐！有人交了410万保证金拍下杭州3500万的别墅后，竟然悔拍了
- 新闻在线|花了15万买本命年饰品，南宁3名“95后”破了财，却没消灾
- 中国新闻网|他主动投案，今年7月刚当上副省长……
- 钱江晚报·小时新闻|浙江街头揪心一幕！电瓶车上3岁男孩一个动作，他和妈妈瞬间飞出……
- 闪电新闻|太难了！男子陪老丈人痛饮半天，遭妻子责骂，醉酒离家驾车被查…
- 闪电新闻|491人献血168400毫升！山东省血液中心发布AB型血暂缓献血公告
- 搜狐新闻|准大学生数码三件套如何选？这些元气好物值得种草
- 央视新闻客户端|海南破获建省以来最大销售不符合安全标准食品案 涉案金额1.1亿余元
- 新闻联播|哀悼！那位揪出南京大屠杀“百人斩”元凶的老人今晨去世
- 央视新闻综合|“栽倒了还护着孩子，俺们要给他请功！”