大规模图神经网络应用和最新范式的探索( 三 ) _神经网络

这样相当于是在这个分布式系统里面的半同步的机制，通过半同步机制，可以很好的去设计这个流水线，并且减少多机通信的代价。这里因为时间关系，就不具体展开讲了。
要注意的是，可以用的老的特征，但不能用太老的特征，如果这个特征太老，也会暂停更新，等其他节点的特征更新到最近的epoch以后，才继续更新。
【大规模图神经网络应用和最新范式的探索】

文章插图
其实像Dorylus这种工作，本身就是在多个机器上面，而且每个机器的这个什么角色还不一样，分为Graph Server，Lambda thread和Permit Server，这种情况下，对Pipeline流水线的设计是有很多细节的。总的来说，现有的方法，也是慢慢从单机多GPU到多机混合的趋势，从经验上的静态划分到这种动态的划分，以及引入更多系统层面的Pipeline的优化。
同时，像SANCUS的工作，其实也还进一步去证明了异步的更新是可以保证模型收敛和通讯优化的。就是说慢慢的大家从一些简单的实践到复杂实践，从一些没有理论保证的实验，到一些理论保证实践。这一块的发展还是非常的迅速的。
四、未来方向

文章插图
接下来谈一下对未来方向的一个理解。首先我们发现，实际上SAGA的这个范式并不适用于所有图神经网络。如果不是基于Message Passage神经网络，其实它就不符合SAGA范式，同样的，就没办法利用到已有的GAS范式里面系统优化的一些trick，来对系统的整个代价进行优化，比如说对于Graph Transformer这样的模型，最近也非常的火，从20年开始到现在也有很多这样的模型出现。
那么，能不能在这样的模型里做Full Graph的优化、或者说Full Graph的训练，其实是一个非常有挑战性的问题。而且这并不是说没有应用，比如对于蛋白质建模来说，实际上如果蛋白质的这个序列足够长，把这个蛋白质作为一个Graph的话，它的训练代价会非常的大。显存可能会出现暴涨，那么怎么在这种非Message Passing的框架下面去对这种大规模GNN做系统优化，是一个非常重要的课题。

文章插图
第二个就是很多时候，以前的这个图神经网络里面是没有包含几何信息的，什么叫几何信息，就是说节点可能是有空间位置信息的，比如坐标、速度，或者说一些其他的几何信息，这些东西实在很多，尤其是AI for Science领域是非常常见的。
比如我们对于粒子进行建模。对于这种催化剂系统的模拟，都会包含几何信息，而几何信息本身的查询和更新就是数据库领域的一个非常重要的课题，这个和Spatial Database有很强的联系，那么对于这种类型的数据，我们在已有的等变神经网络成果上面，能不能对它进行系统化或者规模化？因为实际上这个系统化，规模化也是非常急需的，就比如之前做的一个催化剂的比赛OCP，这个比赛里面都包含几百万个催化剂系统，数据量是T级别的，实际上对于模型的训练和推理都有非常大的挑战，那么对于这种几何信息的输出神经网络，是不是有很好的解决的方法，这也是未来研究的方向。
五、Q&AQ：目前要把图神经网络从学术界的东西变成工业界真正能使用的东西，还有很大的差距。其中不仅是算法本身的优化，还有现在些创业企业都在做graph，做computing platform，然后做一个真正的end to end 。大家想要从系统优化到上层算法，再到application，完整的做一套系统出来，然后来服务drug discovery、金融等领域。比如用这种更先进方法来从广告品中挖掘到更多信息。您对算法架构整个这块都有很多研究了，您对graph plus，也就是graph platform computing as a service，怎么看？A：我觉得这是非常有前景的一个方向，简单来说，实际上graph computing本身的platform，在AI时代之前就有很多人研究了。因为在graph上面有很多传统的图算法，也是需要去做分布式的计算，这种分布式的计算就是service的，但是以前我们做的可能都是一些基础的计算。而现在像图神经网络等技术兴起后，我们发现这个系统里面会面临更多的挑战。
比如说以前的数据只需要在CPU上面算就可以了。现在类似于GNN这样的结构，我们一定会涉及到一种混合架构，第一做起来很难；第二，这个东西如果做出来了，门槛很高，所以说这一块是非常有前景的一个方向。
而且这一块市场的玩家目前不是很多，尤其是对于大企业来说，这一块要去集合做AI的和做系统的人，这两块人凑在一起，在大企业里面其实是比较困难的，因为毕竟大企业都是以商业为主轴的。所以我们正是需要一些创业的公司把这个东西做出来以后，真正去服务一些实际的应用。比如你说的drug discovery，或者说一些AI + Science，或者说可能的一些在城市道路，甚至社交网络上面的应用。其实这块东西属于门槛高，有前景，处于还需要人进一步去开拓和做这样的一个状态。