万字长文带你入门 GCN( 九 )


依据上面的单层运算 , 我们给出了多层图卷积网络的传播规则:
万字长文带你入门 GCN
本文插图
其中 ,, A 为邻接矩阵 ,为单位矩阵 , 所以 为添加自连接的邻接矩阵;,可以理解为对角线为节点 i 的度数矩阵; 为神经网络第 层的权重矩阵; 是激活函数; 是第 层的激活矩阵 , 并且,是由节点 的特征向量组成矩阵 。
到此 , 便完成了 GCN 卷积操作的公式推导 。
3.6 Model
再来关注一下模型 。
图卷积神经网络是指在图结构中做卷积操作的神经网络 , 所以其输入输出的都是图结构 , 区别于传统的神经网络结构 , 其隐藏层是直接在图结构中进行激活:
万字长文带你入门 GCN
本文插图
为了方便理解 , 我们举个分类任务例子 , 以包含一个隐藏层的 GCN 为例:
万字长文带你入门 GCN
本文插图
由于知道了 GCN 的传播规则 , 所以我们有最终的结果:
万字长文带你入门 GCN
本文插图
其中 ,是输入层到隐藏层的权重 ,是隐藏层到输出层的权重;用 Softmax 是因为这是一个节点分类任务 , 需要预测标签 。
然后 , 我们用交叉熵作为代价函数:

万字长文带你入门 GCN
本文插图
其中 ,为有标签的节点集合 。
有了代价函数后 , 我们可以通过梯度下降来更新网络的参数 。
3.7 Experiment
简单看下第三代 GCN 的试验 。
由于 GCN 比较复杂 , 所以这里我将给出两种实验 , 一种是 GCN 的效果实验 , 另一种是模拟 GCN 运行的实验 。
3.7.1 Effect
我们来看一下实验部分 , GCN 与其他模型的对比:
万字长文带你入门 GCN
本文插图
可以看到 GCN 的结果在不同数据集上都取得了非常好的效果 , 远超其他模型 。
我们再看一下 , 对于 GCN 而言不同程度的近似会有什么样的效果:
万字长文带你入门 GCN
本文插图
可以看到并不是模型越复杂效果越好 。
GCN 还有除了训练后模型精度高外 , 还有两个非常硬核的地方 , 即使不训练 , 直接随机参数也可以获得不错的效果 , 下图展示了在某一数据集下随机赋权值的结果:
万字长文带你入门 GCN
本文插图
另外 , 作为半监督学习 , GCN 可以在只标注少量样本的情况下学得出色的效果 , 下图为每个类别只标注一个样本的分类结果:
万字长文带你入门 GCN
本文插图
3.7.2 Simulation
为了更加形象的理解 GCN , 我们来对 GCN 进行模拟 。
首先 , 以一个简单有向图模型为例:
万字长文带你入门 GCN
本文插图
邻接矩阵 A 和 节点的特征向量 X 为:
万字长文带你入门 GCN
本文插图
我们有一个简单的传播规则(不考虑参数矩阵和激活函数):
万字长文带你入门 GCN


推荐阅读