欧几里得■?CVPR2020|北大&Futurewei提GraphTER:无监督图变换共变表征学习( 二 )


欧几里得■?CVPR2020|北大&Futurewei提GraphTER:无监督图变换共变表征学习
本文插图
。 其中 f(?) 是线性或非线性函数 , 应用于每对节点以获得其相似性 。 例如 , 一种广泛采用的 f(?) 是根据节点特征构建 k 近邻(k-nearest-neighbor , k-NN)图 。 这样就得到了变换后的图 , 因为 A ?中边的权重也间接地通过 t 进行变换 。 在本文中 , 作者们专注于逐节点图信号变换 , 即每个节点各向同性或各向异性地具有自己的变换 。 这种做法有两个优点:(1)通过对逐节点应用变换 , 可以在图中采样部分节点来研究在各种变换下图的不同部分的特征;(2)通过解码节点的变换 , 能够学习单个节点的特征表示 。 此外 , 这些节点的特征表示不仅能够捕获局部图结构信息 , 而且在每个训练迭代中随机地采样部分节点施加变换 , 随着训练迭代的增加还能够学习到全局的图结构信息 。 三、方法给定一组包含 N 个节点的图信号 X={x_1,x_2,…,x_N }^? , 在每个训练迭代中, 遵循样本分布 S_g , 随机地从图中的所有节点全局或局部地采样节点子集 S , 即 S~S_g 。 全局采样是指在全局范围内对整个图的所有节点进行随机采样 , 而局部采样则仅限于图中的一组局部节点 。

欧几里得■?CVPR2020|北大&Futurewei提GraphTER:无监督图变换共变表征学习
本文插图
图 2:在 3D 点云上展示不同的采样方法(全局或局部)和逐节点平移方法(各向同性或各向异性) , 红色和蓝色点分别表示经过变换的点和原始点 。 为了能够清晰地展示 , 作者们将整个机翼作为局部采样的点集 。 然后 , 作者对 S 中的每个节点 x_i 施加节点变换 t_i(各向同性或各向异性) , 如图 2 所示 。 与此同时 , 与变换后的图信号关联的邻接矩阵 A ?也在变换 t 下与 A 共变 。 如图 3 所示 , 作者构造了一个 k-NN 图 , 在对采样的节点进行变换之后 , 邻接矩阵 A 中表示的连通信息也会随之改变 。
欧几里得■?CVPR2020|北大&Futurewei提GraphTER:无监督图变换共变表征学习
本文插图
图 3:进行逐节点变换前后的 k-NN 图示例 。 首先以黄色节点为中心构建 k-NN(k=5)图(其他连接略去) 。 然后 , 作者们在部分蓝色节点上进行平移变换 , 从而改变了黄色节点周围的图拓扑结构 。 具体来说 , 给定图信号和与其对应的邻接矩阵 (X,A) , 以及经过 t 变换的图信号和邻接矩阵 (X ?,A ? ) , 如果函数 E(?) 满足下述等式 , 那么可以称则函数 E(?) 是满足「变换共变性」的:
欧几里得■?CVPR2020|北大&Futurewei提GraphTER:无监督图变换共变表征学习
本文插图
其中ρ(t) 表示在特征空间中 t 的同态变换 。 作者设计了自动编码器网络来学习变换共变表征:编码器 E(?) 对图中节点的特征表示进行编码 , 而解码器 D(?) 从编码器学习到的原始和变换后的图信号的特征表示中估算逐节点变换 t ? 。 为了估计逐节点变换 t ? , 作者应用损失函数 l(t,t ? ) 来最小化逐节点变换 t 和估计的变换 t ?之间的差异 。 这时 , 整个自动编码器网络便可以通过最小化下面的损失函数进行训练:

欧几里得■?CVPR2020|北大&Futurewei提GraphTER:无监督图变换共变表征学习
本文插图
在上述公式中 , 从解码器估计的逐节点变换表示为:
欧几里得■?CVPR2020|北大&Futurewei提GraphTER:无监督图变换共变表征学习
本文插图
因此 , 作者通过反向传播该损失来迭代地更新编码器 E 和解码器 D 中的参数 。 为了估计这些逐节点变换 , 作者设计了图卷积自动编码器网络 , 如图 4 所示 。 作者选择一种图卷积方法 EdgeConv [2] 作为自动编码器网络的基本构建模块 , 该图卷积通过聚合每个节点和其周围邻居的特征来学习节点的特征表示 。


推荐阅读