江苏龙网

  1. 首页 > 人文 > >

图同构下等变,计算高效,韦灵思团队提出''自然图网络''消息传递方法( 二 )


图同构下等变,计算高效,韦灵思团队提出''自然图网络''消息传递方法
本文插图
， 则这样做和以下两种情况的结果一样：
将信号从 p 传递到 p’ ， 然后再申请内核 K^(G’)_p’q’；
先申请内核 K^G_pq ， 然后将 q 转换成 q’ 。
具体如下图 6 所示：
图同构下等变,计算高效,韦灵思团队提出''自然图网络''消息传递方法
本文插图
因此需要以下公式 4：
图同构下等变,计算高效,韦灵思团队提出''自然图网络''消息传递方法
本文插图
图神经网络的消息参数化
等变性只需要在具有同构邻域的边之间共享权重 ， 因此在定理中 ， 我们可以将分类参数用于每个同构类的边邻域 ， 以参数化等变核的空间 。
实际上 ， 像社交图（social graph）这类图的异构性很强 ， 很少有边是同构的 ， 并且很少需要共享权重 ， 因而学习和泛化也是很困难的 。
这一点可以通过以下方式解决：将 p 到 q 的消息
图同构下等变,计算高效,韦灵思团队提出''自然图网络''消息传递方法
本文插图
重新解释为函数
图同构下等变,计算高效,韦灵思团队提出''自然图网络''消息传递方法
本文插图
， 其中 G_pq 是边邻域 ， v_p 是 p 点的特征值 ， 在 v_p 中可能被泛化为非线性的 ， K 是基于消息网络的神经网络 。
下图 7 所示为作为图卷积的消息传递过程：
图同构下等变,计算高效,韦灵思团队提出''自然图网络''消息传递方法
本文插图
范畴论
全局对称性的等变约束 ， 比如机器学习中广泛使用的公式 1 最近已经被扩展到局部对称性或规范对称性中 。
图同构下等变,计算高效,韦灵思团队提出''自然图网络''消息传递方法
本文插图
但是 ， 这些形式不包括图的动态局部对称性 ， 并且需要一种通用性更强的语言 。
基于此 ， 研究者使用了范畴论 ， 该理论最初是从代数拓扑发展而来的 ， 近来也被用作更多问题的建模工具 。 范畴论的结构为建立等变消息传递网络（称为自然网络）提供了一个良好的框架 ， 研究者称为「自然网络（Natural Network）」 。
实验
二十面体（Icosahedral）的 MNIST
为了在实验中验证该方法与全局对称的等变性 ， 并增强在不变消息传递网络（GCN）上的可表达性 ， 研究者对投影到二十面体的 MNIST 进行了分类 。
下表 1 第一列显示了在一个固定（fixed）投影上进行训练和测试的准确率 。 在第二列中 ， 研究者在通过随机二十面体对称性变换的投影上测试了相同的模型 。
结果表明 ， NGN 的性能优于 GCN ， 并且准确率相等表明该模型是完全等变的 。
图同构下等变,计算高效,韦灵思团队提出''自然图网络''消息传递方法
本文插图
图分类
在 Yanardag 和 Vishwanathan 于 2015 年提出的 8 个标准图分类基准集上（包括 5 个生物学数据集和 3 个社交图） ， 研究者使用 GCN 消息参数化评估了该模型 。
具体而言 ， 研究者使用了十倍交叉验证（10-fold cross validation）方法 ， 并给出了十倍情况下的最佳平均准确率 ， 如下表 2 所示：
图同构下等变,计算高效,韦灵思团队提出''自然图网络''消息传递方法
本文插图
实验结果表明 ， 在大多数数据集上 ， 该研究提出的局部等变方法性能不逊于全局等变方法 。


推荐阅读


上一篇：第七次人口普查11月启动 微信申报即可完成

下一篇：上游新闻百度超级链首发开放网络白皮书，稳定、易用让区块链触手可及