中科院计算所沈华伟：图卷积神经网络的思想起源
本文插图
智源社区 & AI科技评论
作者 | 周寅张皓
小到分子相互作用 ， 物质结构 ， 大至气候变化 ， 星系模型 ， 很多自然界和社会生活中的现象都能用图结构描述 。 而如何将神经网络应用到图网络中进行计算 ， 在几年前却是悬而未决的难题 。
现今 ， 我们提到的图神经网络 ， 往往指图的卷积 ， 那么 ， 卷积是如何应用在图的非欧结构上的？带着这个问题 ， 我们一起走进10月30日 ， 中科院计算所研究员沈华伟在CCL2020“图卷积神经网络”的报告 ， 报告中沈华伟介绍了卷积应用于图模型的思想起源、谱域方法和空间方法的发展 ， 探讨了其表达性能 ， 并对未来发展方向进行思考 。
沈华伟 ， 博士 ， 中国科学院计算技术研究所研究员 ， 中国中文信息学会社会媒体处理专委会副主任 。 研究方向为网络科学和社会计算 。 先后获得过CCF优博、中科院优博、首届UCAS-Springer优博、中科院院长特别奖、入选首届中科院青年创新促进会、中科院计算所“学术百星” 。 2013年在美国东北大学进行学术访问 。 2015年被评为中国科学院优秀青年促进会会员（中科院优青） 。 获得国家科技进步二等奖、北京市科学技术二等奖、中国电子学会科学技术一等奖、中国中文信息学会钱伟长中文信息处理科学技术一等奖 。 出版个人专/译著3部 ， 在网络社区发现、信息传播预测、群体行为分析、学术评价等方面取得了系列研究成果 ， 在Science、PNAS等期刊和WWW、SIGIR、CIKM、WSDM、AAAI、IJCAI等会议上发表论文60余篇 ， 引用1700余次 。 担任PNAS、IEEE TKDE、ACM TKDD等10余个学术期刊审稿人和WWW、CIKM、WSDM等20余个学术会议的程序委员会委员 。
1 非欧空间的卷积
卷积 ， 在泛函中 ， 指使用一个算符(函数) ， 与另一个函数运算产生新的函数 。 若对连续函数f(x) ， g(x)使用该运算 ， 可以使用积分公式 。 直观上看 ， 卷积可以看作是一个函数对另外一个函数的平均 。
沈华伟指出 ， 神经网络的卷积通常是对欧式空间数据的操作 。 例如图片数据 ， 可以看作是在固定形状的矩阵通道上取不同的值 。 将卷积操作拓展于离散数据 ， 就成了使用固定的卷积核(函数f(x))对固定通道（函数g(x)）进行相乘求和(积分) 。 然而在图结构中 ， 通道往往各不相同 ， 即每张图都有其特殊结构 ， 无法固定卷积的函数 ， 相对于矩阵这种在欧氏空间的数据 ， 图的非欧性质使其很难找到有效的方法应用卷积 。
本文插图
图1：函数的卷积
2从谱域到空间域
2.1 谱域
1. Yann LeCun的方法
面对以上问题 ， 卷积神经网络的提出者LeCun ， 提出了谱域(spectral)和空间域(spatial)两种方法 。 在''Spectral Networks and Deep Locally Connected Networks on Graphs''中 ， 作者提出将图的Laplacian矩阵的特征向量作为基底 ， 将样本投影到该空间后 ， 进行卷积操作 。 采用超参控制每次选择的相邻节点的数量 ， 对变化后的样本做filter和求加 ， 再将输出结果进行拉普拉斯的逆变换 ， 并输出非线性化后的结果 。
本文插图
图2：节点选择
该方法展示了在谱域进行卷积操作的可能性 ， 并为后续的一系列图网络奠定了基础 ， 但该方法仍存在一些问题 ， 沈华伟指出 ， 该方法依赖于矩阵的特征分解 ， 且投影计算和逆变换的开销为O(n2) ， 计算开销过大 。 另外 ， 该方法并不是在局部空间上操作的 ， 这让这种方法失去了直观上的意义 。 这些问题也给未来的工作提供了一系列改进的空间 。
推荐阅读
- 中科院|中科院院士“颠覆”麦克斯韦方程？有人质疑“民科”
- 物理化学|突破经典物理！中科院成功拓展麦克斯韦方程组
- 中科院|废水变成蛋白粉 中科院研发碳负排技术：空间站尿液有望变食物
- 石墨烯|中科院攻克石墨烯一大难关：二维变一维 更适合造芯片
- 中科院|中科院硬核跨年演讲火了！3天260万人次观看：专家“拖堂”讲科普
- 外星人|中科院院士：相信外星人存在
- 外星人|中科院院士相信外星人存在 比邻星上收到信号：愿能找到人类适合居住星球
- 太阳能|中科院发明可“自愈”的第三代太阳能电池：光电转换效率超25%
- 电动汽车|电动车续航稳了 中科院研制出新型电池：能量密度可达345Wh/kg
- 汽车|比亚迪、新势力连破纪录！中科院院士预测新能源销量将爆涨