|图神经网络越深,表现就一定越好吗?( 三 )
Michael Bronstein在他最近发表的一篇关于可伸缩初始类图神经网络(Scalable inception-like graph neutral networks, SIGN)的论文里 , 详尽讲解了如何使用具备多个预计算滤波器(multiple pre-computed filters)的单层线性图卷积结构 , 并展示了该网络与更复杂数十倍的模型想比 , 性能不相上下 。 有趣的是 , 计算机视觉采取的方法与图深度学习截然相反:早期使用大型滤波器(高达11×11)的浅层卷积神经网络(CNN)结构(比如AlexNet) , 后来都被使用小型滤波器(一般为3×3)的深度结构所取代了 。
5、评估
目前评估图神经网络的常见方法 , 遭到了Oleksandr Shchur和Stephan Günnemann小组成员的严重质疑 。 他们聚焦于常见基准的缺陷 , 并指出简单模型和复杂模型在相同条件下的表现相差无几 。
我们观察到的一些与深度结构相关的现象(包括性能随深度加深而降低) , 可能仅是因为小型数据集的过度拟合 。 全新的 Open Graph Benchmark能为大规模图像提供严格的训练和测试数据拆分方法 , 在一定程度上解决了上述的一些问题 。 作者认为 , 研究者需要精心设计实验过程 , 以便更好地了解深度对图深度学习是否有用、以及在什么时候能发挥作用 。
via:https://towardsdatascience.com/do-we-need-deep-graph-neural-networks-be62d3ec5c59
本文插图
更多交流
推荐阅读
- |将量子计算机当作神经网络,首次模拟化学反应,谷歌新研究登上Science封面
- AI人工智能|特斯拉开发Dojo神经网络训练计算机 后者是性能野兽
- |用神经网络给照片补光,谷歌这项研究却实现了「鬼片」效果
- |推动边缘端机器学习,NXP Glow神经网络编译器问市
- 融资并购|深度神经网络处理器公司Syntiant获微软 M12投资
- 钛媒体|模仿大脑的算法来了,可帮助人工神经网络节省内存和能量
- Array|我们真的需要深度图神经网络吗?
- AI人工智能|我们真的需要深度图神经网络吗?
- 机器之心|屏下摄像头效果不好?微软:上神经网络,还原更真实的可视会议效果
