中科院计算所沈华伟：图卷积神经网络的思想起源( 三 )
沈华伟指出 ， 与一般的卷积神经网络类似 ， 图的卷积使用加权聚合和空间变换等操作实现了参数共享 ， 使得模型的参数量得到下降 ， 在一定程度上 ， 降低了模型训练的难度 ， 因此在一些节点预测和分类等任务上取得了不错的成果 ， 但这依赖于对领域知识的利用 ， 其表达性同样不如常规的神经网络 。 简单的分析可以证明其性能上的缺陷 ， 例如在一般的分类中 ， 通过增加网络层数 ， 获取二阶、三阶等信息 ， 能够区分一些一般的图结构 ， 但对于一些相似结构的特例 ， GNN并不能有效区分 。
本文插图
图5：无法分辨的节点
WL test提供了GNN表达能力上界的解释 。 与神经网络不同 ， GNN对于节点的运算采用聚合操作 ， 无论是加权平均、求和 ， 或是求均值、求Max ， 输入输出并不能保证单射的性质 ， 因而限制了网络的表达能力 。 例如 ， 采用均值的情况下 ， 样本（2 ， 4）和（1 ， 5）可以有相同的均值 ， 同理 ， 在图网络上 ， 如果采样的节点具有相似的结构 ， 且采样顺序相同时 ， 在进行平均聚合运算后会产生相似的结果 ， 导致网络无法区分 。
4未来的方向
与神经网络类似 ， GNN的设计很大程度上依赖于启发式的设计 ， 缺乏对其理论和性能上的认识 。 在一些图网络性能研究工作中已有进展 ， 但仍待更深入的研究 ， 以帮助进一步理解图卷积网络 。
报告最后 ， 沈华伟介绍了目前图卷积网络研究中的问题和未来的推进方向 。
1. 图网络的学习性能：是否真正学到结构化的信息 。
2. 解决训练导致的过平滑问题：由于图卷积实质是利用周围节点平滑所求节点信息 ， 当网络深度增加时 ， 容易导致过渡平滑 。
3. 图的预训练模型 。
4. 对抗攻击: 一些研究表明 ， 图卷积网络在一定程度上受限于稳定性问题 ， 需要设计出更加稳定的网络 。
5. 扩展应用领域 。
本文插图
本文插图
推荐阅读
- 中科院|中科院院士“颠覆”麦克斯韦方程？有人质疑“民科”
- 物理化学|突破经典物理！中科院成功拓展麦克斯韦方程组
- 中科院|废水变成蛋白粉 中科院研发碳负排技术：空间站尿液有望变食物
- 石墨烯|中科院攻克石墨烯一大难关：二维变一维 更适合造芯片
- 中科院|中科院硬核跨年演讲火了！3天260万人次观看：专家“拖堂”讲科普
- 外星人|中科院院士：相信外星人存在
- 外星人|中科院院士相信外星人存在 比邻星上收到信号：愿能找到人类适合居住星球
- 太阳能|中科院发明可“自愈”的第三代太阳能电池：光电转换效率超25%
- 电动汽车|电动车续航稳了 中科院研制出新型电池：能量密度可达345Wh/kg
- 汽车|比亚迪、新势力连破纪录！中科院院士预测新能源销量将爆涨