欧几里得■?CVPR2020|北大&Futurewei提GraphTER:无监督图变换共变表征学习 |社交网络|人工智能|北京大学|

机器之心发布
机器之心编辑部
计算机视觉与模式识别会议 CVPR 2020 将于 6 月 14-19 日在美国西雅图举行。不久之前，大会官方论文结果公布，在 6656 篇有效投稿中，最终有 1470 篇论文被接收，录取率约为 22% 。本文对北大被接收的一篇论文进行了解读。该文研究图神经网络中的无监督图表征学习，在三维点云的分类/分割任务上取得了非常接近全监督学习方法的性能的突破性进展。

本文插图

论文链接：https://arxiv.org/pdf/1911.08142.pdf
开源代码：https://github.com/gyshgx868/graph-ter

一、引言图（Graph）是不规则数据/非欧几里得数据（例如 3D 点云、社交网络、引文网络、脑网络等）的一种自然而有效的表征。由于图的强大表现力，图数据的机器学习越来越受到重视，如近年来提出的图卷积神经网络（Graph Convolutional Neural Network, GCNN）。不过，现有的 GCNN 模型大多以监督或半监督的方式进行训练，这需要大量的标记样本才能学习到有效的特征表示。由于标记成本较高（特别是在大规模的图上），现有方法难以进行广泛应用。因此，我们需要以无监督的方式来学习图特征表示，以便适应更多图的学习任务。代表性的无监督学习方法包括自动编码器（Auto-Encoders ， AEs）和生成对抗网络（Generative Adversarial Networks ， GANs）。基于 AE 和 GAN ，许多方法通过学习「变换共变表征」（Transformation Equivariant Representations ， TERs）来进一步提高无监督特征学习的质量。在 TER 学习中，通常假定在数据上施加变换会引起数据特征空间的共变，因此能够从变换前的和变换后的数据的特征表示中重构施加在数据上的变换，以此来学习数据的特征表示，如 Zhang 等人提出的 AET [1] 。然而， AET 着重于对图像进行变换共变表征进行学习，难以直接拓展到非欧几里得空间的图数据。因此，在本文中作者提出在自动编码器框架下，以无监督的方式编码图中节点的变换方式来实现「图变换共变表征」（Graph Transformation Equivariant Representations ， GraphTER）学习，如图 1 所示。作者的方法的创新性体现在两个方面：1）作者们定义图信号变换，并提出了一种基于图的自动编码器网络。该网络对原始图和变换后的图进行编码，以便可以从这两种特征表示中重建出图信号上的变换；2）相比于将全局空间变换应用于整个图像的 AET ，作者对图上的节点进行逐点变换，使得每个节点可以具有不同的变换。因此，通过借助节点邻居信息来解码这些节点的变换能够揭示节点所在邻域的图结构，进而学习各个节点的特征表示。这些特征表示不仅能够捕获节点周围的局部图结构，而且通过在每个训练迭代中随机采样部分节点进行变换来揭示图的全局信息。

本文插图
【欧几里得■?CVPR2020|北大&Futurewei提GraphTER:无监督图变换共变表征学习】
图 1：作者提出的无监督图特征学习方法 GraphTER 。编码器 E 分别对原始图信号 X 和邻接矩阵 A ，以及变换之后的图信号 X ?和邻接矩阵 A ?进行特征学习。解码器 D 从这两种特征表示预测节点变换，从而使得自动编码器能够学习到图的本质特征。二、图信号变换与传统的欧几里得数据（例如图像等）不同，图信号是不规则的，因此难以定义其变换。作者将图信号变换定义为对节点上信号的滤波，如对每个节点独立滤波（平移、旋转等），或考虑邻域信息对节点进行低通/高通滤波。假设从整个变换分布 T_g 中采样图信号变换 t ， t~T_g 。将该变换应用于从数据分布 X_g 中采样的图信号 X 上，便得到了变换后的图信号：X ?=t(X)变换 t 将应用于每个节点，与 t 相关联的每个节点信号的变换可以彼此不同。例如，对于平移变换 t ，我们可以将不同的平移量应用于不同的节点。如果每个节点的变换是相同（不同）的，可以将该变换称为各向同性（各向异性）的。与变换后的图信号 X ?关联的的邻接矩阵为