江苏龙网

  1. 首页 > 人文 > >

训练时间和参数量百倍降低，直接使用标签进行预测，性能超GNN( 二 )


该研究还利用两种 LP 和节点特征的优势 ， 将这些互补信号结合起来可以获得优秀的预测结果 。
实验
为了验证该方法的有效性 ， 研究者使用了 Arxiv、Products、Cora、Citeseer、Pubmed、Email、Rice31、US County 和 wikiCS 九个数据集 。
训练时间和参数量百倍降低，直接使用标签进行预测，性能超GNN
本文插图
节点分类的初步结果
下表 2 给出了相关实验结果 ， 研究者得出了以下几点重要发现 。 首先 ， 利用本文提出的 C&S 模型 ， LP 后处理步骤会带来巨大增益（如在 Products 数据集上 ， MLP 的基础预测准确率由 63% 提升至 84%）；其次 ， 具有 C&S 框架的 Plain Linear 模型的性能在很多情况下优于 plain GCN ， 并且无可学习参数的方法 LP 的性能通常也媲美于 GCN 。 这些结果表明 ， 通过简单使用特征在图中直接合并关联往往是更好的做法；最后 ， C&S 模型变体在 Products、Cora、Email、Rice31 和 US County 等 5 个数据集上的性能通常显著优于 SOTA 。 在其他数据集上 ， 表现最佳的 C&S 模型与 SOTA 性能之间没有太大的差距 。
训练时间和参数量百倍降低，直接使用标签进行预测，性能超GNN
本文插图
使用更多标签进一步提升性能
下表 4 展示了相关结果 ， 强调了两点重要发现 。 其一 ， 对于想要在很多数据集上实现良好性能的直推式节点分类实验而言 ， 实际上并不需要规模大且训练成本高的 GNN 模型；其二 ， 结合传统的标签传播方法和简单的基础预测器能够在这些任务上优于图神经网络 。
训练时间和参数量百倍降低，直接使用标签进行预测，性能超GNN
本文插图
更快的训练速度 ， 性能超过现有 GNN
与 GNN 或其他 SOTA 解决方案相比 ， 本文中的 C&S 模型需要的参数量往往要少得多 。 如下图 2 所示 ， 研究者绘制了 OGB-Products 数据集上参数与性能（准确率）的变化曲线图 。
训练时间和参数量百倍降低，直接使用标签进行预测，性能超GNN
本文插图
除了参数量变少之外 ， 真正的增益之处在于训练速度更快了 。 由于研究者在基础预测中没有使用图结构 ， 与其他模型相比 ， C&S 模型在保持准确率相当的同时往往实现了训练速度的数量级提升 。
具体而言 ， 与 OGB-Products 数据集上的 SOTA GNN 相比 ， 具有线性基础预测器的 C&S 框架表现出更高的准确率 ， 并且训练时长减至 1/100 ， 参数量降至 1/137 。
性能可视化
为了更好地理解 C&S 模型的性能 ， 研究者将 US County 数据集上的预测结果进行了可视化操作 ， 具体如下图 3 所示 。 正如预期的一样 ， 对于相邻 county 提供相关信息的节点而言 ， 残差关联往往会予以纠正 。
训练时间和参数量百倍降低，直接使用标签进行预测，性能超GNN
本文插图
【训练时间和参数量百倍降低，直接使用标签进行预测，性能超GNN】


推荐阅读


上一篇：AlphaGo原来是这样运行的，一文详解多智能体强化学习

下一篇：扶贫|那个因共享单车破产，父母入狱，惨遭女友抛弃的丁伟，如今怎样了