江苏龙网

  1. 首页 > 资讯 > 科技 > >

Array|我们真的需要深度图神经网络吗？

Array|我们真的需要深度图神经网络吗？
文章图片

文章图片

今年 ， 图深度学习成为机器学习领域 炙手可热的话题之一 。然而 ， 那些习惯于想象卷积神经网络具有数十层甚至数百层的人 ， 如果看到大多数关于图深度学习的工作最多只用了几层的话 ， 他们会不会感到深深的失望呢？“深度图神经网络”一词是否被误用了？我们是否应该套用经典的说法 ， 思考深度是否应该被认为对图的学习 是有害的？
训练深度图神经网络是一个难点 。除了在深度神经结构中观察到的标准问题（如反向传播中的梯度消失和由于大量参数导致的过拟合）之外 ， 还有一些图特有的问题 。其中之一是过度平滑 ， 即应用多个图卷积层后 ， 节点特征趋向于同一向量 ， 变得几乎无法区分的现象【1】 。这种现象最早是在 GCN 模型【2】【3】中观察到的 ， 其作用类似于低通滤波器【4】 。
【Array|我们真的需要深度图神经网络吗？】最近 ， 人们致力于解决图神经网络中的深度问题 ， 以期获得更好的性能 ， 或许还能避免在提到只有两层的图神经网络时使用“深度学习”这一术语的尴尬 。典型的方法可以分为两大类 。首先 ， 使用正则化技术 ， 例如边 dropout（DropEdge）【5】、节点特征之间的成对距离归一化（PairNorm）【6】 ， 或节点均值和方差归一化（NodeNorm）【7】 。其次 ， 架构变化 ， 包括各种类型的残差连接（residual connection） ， 如跳跃知识【8】或仿射残差连接【9】 。虽然这些技术允许训练具有几十层的深度图神经网络（否则很难 ， 甚至不可能） ， 但它们未能显示出显著的收益 。更糟糕的是 ， 使用深度架构常常会导致性能下降 。下表摘自【7】 ， 显示了一个典型的实验评估 ， 比较了不同深度的图神经网络在节点分类任务上的表现：
Array|我们真的需要深度图神经网络吗？
文章图片

文章图片

该图显示了深度图神经网络结构在 CoauthorsCS 引文网络上的节点分类任务中的典型结果 。随着深度的增加 ， 基线（具有残差连接的 GCN）表现不佳 ， 性能从 88.18% 急剧下降到 39.71% 。使用 NodeNorm 技术的架构随着深度的增加表现一直良好 。然而 ， 当深度增加时 ， 性能下降（虽然不明显 ， 从 89.53% 下降到 87.40%） 。总的来说 ， 通过 64 层的深度架构获得的最佳结果（87.40%） ， 逊于简单基线（88.18%） 。另外 ， 还可以观察到 NodeNorm 正则化提高了浅 2 层架构的性能（从 88.18% 提高到 89.53%） 。上表摘自【7】（所示为每个类 5 个标签的情况；该论文中研究的其他设置也表现出了类似的行为） 。类似的结果在【5】和其他几篇论文中也有显示 。
从这张表中可以看出 ， 要将深度架构带来的优势与训练这样一个神经网络所需的“技巧”区分开来很困难 。实际上 ， 上例中的 NodeNorm 还改进了只有两层的浅层架构 ， 从而达到了最佳性能 。因此 ， 在其他条件不变的情况下 ， 更深层次的图神经网络是否会表现得更好 ， 目前尚不清楚 。
这些结果显然与传统的网格结构化数据的深度学习形成了鲜明的对比 ， 在网格结构化数据上 ， “超深度”（ultra-deep）架构【10】【11】带来了性能上的突破 ， 并在今天得到了广泛的使用 。在下文中 ， 我将尝试提供一些指导 ， 以期有助回答本文标题提出的“挑衅性”问题 。需要注意的是 ， 我本人目前还没有明确的答案 。
图的结构。由于网格是一种特殊的图 ， 因此 ， 肯定有一些图的例子 ， 在这些图上 ， 深度是有帮助的 。除网格外 ， 表示分子、点云【12】或网片【9】等结构的“几何”图似乎也受益于深度架构 。为什么这样的图与通常用于评估图神经网络的引用网络（如 Cora、PubMed 或 CoauthsCS）有如此大的不同？其中一个区别是 ， 后者类似于具有较小直径的“小世界”网络 ， 在这种网络中 ， 人们可以在几跳内从任何其他节点到达任何节点 。因此 ， 只有几个卷积层的感受野（receptive field）已经覆盖了整个图【13】 ， 因此 ， 添加更多的层对到达远端节点并没有帮助 。另一方面 ， 在计算机视觉中 ， 感受野呈多项式增长 ， 需要许多层来产生一个能捕捉图像中对象的上下文的感受野【14】 。


推荐阅读


上一篇：Array|张含韵代言腾讯黑鲨3S明天发布！全系12G运存搭载骁龙865芯片

下一篇：Array|美的集团新目标:3年让1亿个家庭享受美的智慧生活