朱雀|腾讯安全平台部孵化的朱雀实验室亮相,专注AI安全技术研究( 二 )


朱雀|腾讯安全平台部孵化的朱雀实验室亮相,专注AI安全技术研究
文章图片

模型当中每一个神经元的参数信息通常是由4字节浮点数字表示 , 例如 9d 2d 57 3f == 0.84053415 当就模型文件中的参数信息替换为 9d 2d 57 00 和 9d 2d 57 ff, 那么影响的精度就是 0.84053040~0.84054559 , 显然可以保持住浮点前4位小数保持不变 。 这样就可以把一个段恶意的shellcode攻击代码编码到了模型网络当中 。
虽然攻击手法“出神入化” , 腾讯朱雀实验室表示 , 普通大众也不必过于草木皆兵 。 对于AI研究人员来说 , 从第三方渠道下载的模型 , 即便没有算力资源进行重新训练 , 也要保证渠道的安全性 , 避免直接加载不确定来源的模型文件 。 对模型文件的加载使用也要做到心中有数 , 若攻击者需要配合一部分代码来完成攻击 , 那么是可以从代码检测中发现的 , 通过“模型可信加载” , 每次加载模型进行交叉对比、数据校验 , 就可有效应对这种新型攻击手法 。
(本文来自澎湃新闻 , 更多原创资讯请下载“澎湃新闻”APP)


推荐阅读