解构AI安全产业链条、解决方案和创业机遇( 七 ) _AI安全

文章插图
▲ 图源：斯元商业咨询
因此，SSE的能力在当前阶段，应该更多整合偏传统、偏本地化的能力，例如流量检测的探针能力、Web应用防护能力以及资产漏洞扫描，终端管理等能力，这些能力相对来说才是中国客户在目前阶段更需要的能力。从这个角度来看，SSE需要通过云地协同的方式，云原生容器的能力，为客户带来低采购成本、快速部署、安全检测与运营闭环等价值。
今年，针对大模型，行业头部厂商Netskope率先转向模型中的安全应用，安全团队利用自动化工具，持续监控企业用户试图访问哪些应用程序（如ChatGPT）、如何访问、何时访问、从哪里访问、以何种频率访问等。必须了解每个应用程序对组织构成的不同风险等级，并有能力根据分类和可能随时间变化的安全条件，实时细化访问控制策略。
简单理解，就是Netskope通过识别使用ChatGPT过程中的风险，对用户进行警告，类似于浏览网页、下载链接是中的警告模式。这种模式并不创新，甚至十分传统，但在阻止用户操作方面，却是最有效的。

文章插图
▲ 图源：Netskope官网
Netskope以安全插件的形式接入大模型，在演示中，当操作者欲复制一段公司内部财务数据，让ChatGPT帮忙形成表格时，在发送之前，便会弹出警告栏，提示用户。

文章插图
▲ 图源：Netskope官网
事实上，识别大模型中隐藏的风险比识别木马、漏洞要困难的多，精确性确保系统只监控和防止通过基于生成性人工智能的应用程序上传敏感数据（包括文件和粘贴的剪贴板文本），而不会通过聊天机器人阻止无害的查询和安全任务，这意味着识别不能一刀切，而是要基于语义理解和合理的标准进行可机动的变化。
首先明确的是，AI诈骗人类和人类利用AI诈骗人类是两码事。
AI诈骗人类，主要是大模型的“教育”没有做好，上述提到的英伟达“护栏技术”以及OpenAI的无监督学习都是在AI Safety环节，保障模型健康的方法。
但是，防止AI诈骗人类，基本和模型训练同步，是大模型公司的任务。
而人类利用AI技术诈骗，则处于整个网络安全或者说社会安全阶段，首先需要明确的是，技术对抗能够解决的仅仅是一部分问题，仍然要靠监管、立法等方式，控制犯罪位子。
目前，技术对抗有两种方式，一是在生产端，在AI生成的内容中加入数字水印，用来追踪内容来源；另一种则在应用端，针对人脸等特异化的生物特征，进行更准确的识别。
数字水印能够将标识信息嵌入数字载体当中，通过隐藏在载体中添加一些特定的数字代码或信息，可确认且判断载体是否被篡改，为数字内容提供一种不可见的保护机制。
OpenAI此前曾表示，考虑在ChatGPT中添加水印，以降低模型被滥用带来的负面影响；谷歌在今年的开发者大会上表示，将确保公司的每一张AI生成图片都内嵌水印，该水印无法以肉眼识别，但谷歌搜索引擎等软件可读取并以标签显示出来，以提示用户该图片由AI生成；Shutterstock、Midjourney等AI应用也将支持这种新的标记方法。
目前，除了传统数字水印的形式，也进化出了基于深度学习的数字水印，采用深度神经网络来学习和嵌入数字水印，具有较强的抗破坏性和鲁棒性。该技术可以在不损失原始图像质量的前提下，实现高强度、高容错的数字水印嵌入，同时能够有效抵御图像处理攻击和隐写分析攻击，是下一个比较大的技术方向。
而在应用端，目前合成人脸视频是最为常用的“诈骗手段” 。基于DeepFake（深度伪造技术）的内容检测平台是现阶段的解决方案之一。
今年1月初，英伟达便发布了一款名为FakeCatcher的软件，号称可以查出某个视频是否为深度伪造，准确度高达96% 。
据介绍，英特尔的 FakeCatcher 的技术可以识别血液在体内循环时静脉颜色的变化。然后从面部收集血流信号，并通过算法进行翻译，以辨别视频是真实的还是深度伪造的。如果是真人，血液时刻在体内循环，皮肤上的静脉就会有周期性的深浅变化，深度伪造的人就没有。