江苏龙网

  1. 首页 > 资讯 > 科技 > >

机器之心|什么是优秀的图表示？斯坦福提出首个信息论原则——图信息瓶颈( 二 )


本文插图

研究者将 GIB 原则应用于图注意力网络 (GAT) ， 利用 GAT 的注意力权重采样图结构 ， 从而缓解优化和建模离散图结构的难度 。 研究者还分别基于类别分布和伯努利分布设计了两个采样算法 ， 提出两个模型 GIB-Cat 和 GIB-Bern 。 GIB-Cat 和 GIB-Bern 算法参见 Algorithm 2 和 Algorithm 3 ， Algorithm 1 则展示了这两种算法的基础框架 。
机器之心|什么是优秀的图表示？斯坦福提出首个信息论原则——图信息瓶颈
本文插图

GIB-Cat 和 GIB-Bern 算法 。
机器之心|什么是优秀的图表示？斯坦福提出首个信息论原则——图信息瓶颈
本文插图

GIB-Cat 和 GIB-Bern 算法的基础框架 。
实验表明 ， 这两个模型可以提升标准基线模型的稳健性 ， 性能超过其他 SOTA 防御模型 。 GIB-Cat 和 GIB-Bern 将对抗扰动情况下的分类准确率分别提升了 31.3% 和 34.0% 。
实验
对抗攻击
研究者对比了不同模型对对抗攻击的稳健性 ， 实验结果参见下表 1 。
从中可以看出 ， GIB-Cat 在 Cora 和 Pubmed 上的分类准确率相比 GAT 分别平均提高了 8.9% 和 14.4% ， GIB-Bern 提高了 8.4% 和 14.6% ， 这表明 GIB 原则可以有效提升 GNN 的稳健性 。 值得注意的是 ， 当扰动数值为 1 时 ， GIB-Cat 和 GIB-Bern 在 Pubmed 上的分类准确率相比 GAT 分别提升了 31.3% 和 34.0% 。
机器之心|什么是优秀的图表示？斯坦福提出首个信息论原则——图信息瓶颈
本文插图

特征攻击
为了进一步确认 IB 对节点特征的有效性 ， 研究者向节点特征引入随机扰动 。 实验结果参见下表 3：
机器之心|什么是优秀的图表示？斯坦福提出首个信息论原则——图信息瓶颈
本文插图

从中可以看到 ， 在不同特征噪声比率情况下 ， GIB-Cat 和 GIB-Bern 持续优于不使用 IB 的其他模型 ， 尤其是当特征噪声比率较大 (λ = 1.5) 时 ， 仅具备结构 IB 的 AIB 模型性能稍逊于或等同于 GIB 模型 。 这表明 ， 当特征攻击成为扰动主要来源时 ， GIB 可使模型具备更强的稳健性 。
Java工程师入门深度学习（二）：DJL推理架构详解
DJL是亚马逊推出的开源的深度学习开发包 ， 它是在现有深度学习框架基础上使用原生Java概念构建的开发库 。 DJL目前提供了MXNet,、PyTorch和TensorFlow的实现 。 Java开发者可以立即开始将深度学习的SOTA成果集成到Java应用当中 。
【机器之心|什么是优秀的图表示？斯坦福提出首个信息论原则——图信息瓶颈】11月3日20:00 ， 李政哲（AWS软件开发工程师）将带来线上分享 ， 介绍DJL推理模块并结合具体场景讲解各模块使用方法 ， 推理 API 的使用方法以及如何优化推理速度 ， 如何部署在微服务、大数据服务以及移动端并搭配客户成功案例的讲解 。


推荐阅读


上一篇：苹果手机|苹果手机不使用屏占比高的屏幕，屏下指纹技术，是出于成本考虑？

下一篇：手机|抛去性能跑分，目前市场上，有什么体验好的5G手机？