中科院计算所沈华伟：图卷积神经网络的思想起源( 二 )
2. ChebNet
17年的“ChebNet: Efficient and Stable Constructions of Deep Neural Networks with Rectified Power Units using Chebyshev Approximations”使用切比雪夫多项式近似 。 该方法一次性解决了谱域方法中存在的三个问题 。
沈华伟表示 ， 该方法避免了分解Laplacian矩阵 ， 而是采用特征值对角矩阵作为基底 。 避免了使用过多自由参数导致的学习困难 ， 同时代入计算公式减少了对特征向量矩阵U的依赖 。 研究证明了该方法与谱方法有同样的误差上界 ， 且计算复杂度降低到了O(|E|) ， 极大改善了谱方法图卷积的性能 ， 同时启发了空间方法GCN ， 作为该方法的一阶近似 。
3. Graph Wavelet Nerual Network(GWNN)
沈华伟发现 ， ChebNet在使用多项式近似时限制了卷积操作的自由度 ， 使得该模型在实际使用中并不能有很好的效果 。 因此采用图的小波基作为基底U 。 由于小波变换的性质 ， U为一个稀疏矩阵 ， 降低了计算开销 ， 同时 ， 其局部性质也使得GWNN在实际应用中展现出不错的效果 。
【中科院计算所沈华伟：图卷积神经网络的思想起源】
本文插图
2.2 空间域
1. 工程思维的启发
2016年“Learning Convolutional Nerual Networks in Graph”引起了人们对于空间方法的关注 。 文中方法思路简洁：对于一个结点进行卷积操作时 ， 固定该点并将该点的固定邻域节点排序 ， 采用加权平均的方式得到节点值 。
该方法固定了每次卷积操作使用的节点个数 ， 采用非常工程化的思维 ， 实现了权重值的共享 。 其中 ， 该工作采用了对于节点相似度的度量确定邻接节点的选择 ， 这启发了后续的一系列工作 。 例如在GraphSAGE中 ， 作者采用聚合函数 ， 通过对访问节点进行随机遍历 ， 相当于对所求节点的邻接节点进行聚合 ， 避免了权重共享的问题 。
2. GCN
在先前工作的基础上 ， GCN对节点的一阶邻近节点进行访问 ， 通过一阶层次化的堆叠 ， 可以实现对二阶、三阶信息的获取 。 但进一步的分析发现 ， 该方法在计算中并未使卷积操作参数化而共享 ， 其共享的参数是实现特征变换的W ， 这使得该方法本质上是对邻接节点的加权聚合 ， 使用邻居信息来平滑自身 ， 可以在很多任务中表现出不错的效果 ， 但表达能力受限 。 因此 ， 后续工作诸如Graph Attention Network 采用self-attention来控制自身信息与邻接节点信息的表达 ， 实现了卷积操作的参数化 。
本文插图
图3：GCN模型
2.3 融合
《MoNet：A General Framework for Spatial Methods》给予图卷积方法一种规范化的描述 。 文中指出 ， 图卷积的实质是使用参数化的权重对定义的距离矩阵加权聚合 。 这个框架同时给予谱方法一种新的解释 ， 沈华伟说 ， 相较于空间方法在原始空间定义聚合函数 ， 谱方法在规范后实质上是对变换到新的空间中的样本进行卷积 。 因此谱方法可以被看作是变换空间后的空间方法 ， 其从属于空间方法这一类别 。
本文插图
本文插图
图4：谱方法和空间方法的关系
3图的表达能力
近年来 ， 图卷积网络的一系列应用展现出其在特定任务上的优越性能 ， 在节点分类、预测中得到了很好的效果 。 在量子化学的应用中 ， 它能在给定物质结构的基础上 ， 精确的预测物质具有的性能 ， 且精度达到了化学精度 ， 相较于传统的泛函分析 ， 大大节省了计算开销和时间 。
推荐阅读
- 中科院|中科院院士“颠覆”麦克斯韦方程？有人质疑“民科”
- 物理化学|突破经典物理！中科院成功拓展麦克斯韦方程组
- 中科院|废水变成蛋白粉 中科院研发碳负排技术：空间站尿液有望变食物
- 石墨烯|中科院攻克石墨烯一大难关：二维变一维 更适合造芯片
- 中科院|中科院硬核跨年演讲火了！3天260万人次观看：专家“拖堂”讲科普
- 外星人|中科院院士：相信外星人存在
- 外星人|中科院院士相信外星人存在 比邻星上收到信号：愿能找到人类适合居住星球
- 太阳能|中科院发明可“自愈”的第三代太阳能电池：光电转换效率超25%
- 电动汽车|电动车续航稳了 中科院研制出新型电池：能量密度可达345Wh/kg
- 汽车|比亚迪、新势力连破纪录！中科院院士预测新能源销量将爆涨