|普林,DeepMind新研究:结合深度学习符号回归,深度模型中看见宇宙( 二 )
符号回归 + 深度学习 ， 如何实现？
这项研究采用的策略是：深度模型不仅可以预测目标 ， 还能够将这些目标分解为低维空间中运行的较小内部函数；然后 ， 符号回归利用解析表达式来近似深度模型的每个内部函数；最后 ， 将提取到的符号表达式组合在一起 ， 得到一个等价的解析模型 。
具体步骤如下所示：
设计一个深度学习模型 ， 它具有可分离的内部结构和由问题引发的归纳偏置；
使用可用数据对模型进行端到端训练；
在训练过程中 ， 鼓励每个内部函数输入或输出中的潜在表示保持稀疏性；
用符号表达式拟合模型内部学得的不同函数；
以等价的符号表达式替换深度模型中的这些函数 。
具体而言 ， 在相互作用粒子案例中 ， 研究者选择了图神经网络架构 ， 因为其内部结构可以分解为三个与粒子交互物理相对应的模函数（modular function） 。 其中 GNN 的「消息函数」相当于力 ， 「节点更新函数」相当于牛顿运动定律 。 GNN 在多个基于物理学的应用中获得成功 。
下图展示了该研究实验中所使用的 GNN 内部结构：
本文插图
需要注意的是：不同于牛顿力学 ， GNN 中的消息形成高维潜在向量 ， 节点不用表示物理粒子 ， 边和节点模型可学习任意函数 ， 并且输出不必为更新后的状态（updated state） 。
最后 ， 通过鼓励 GNN 中的消息来增强稀疏性 ， 该研究降低了每个函数的维数 ， 使得符号回归更易于提取表达式 。
下图展示了结合 GNN 和符号回归提取分析表达式的过程：
本文插图
实验效果
牛顿动力学
研究者在具备已知力学定律的简单多体（N-body）系统数据上训练牛顿动力学图网络 。 然后通过消息函数 φ^e 学得的表示 ， 运用该方法获得已知的力学定律 。
如下图 4 所示 ， 研究者采用的数据集包含不同交互作用定律下的二维和三维多体粒子模拟 。 模拟本身包含 4 或 8 个粒子的质量和电荷 ， 并以位置、速度和加速度作为时间函数的参数 。
本文插图
在当前系统状态下 ， 研究者训练模型来预测每个粒子的瞬时加速度 。 为了探究消息表示的大小在将消息解释为力中的重要性 ， 研究者使用 Standard、Bottleneck、L_1 和 KL 四种不同的策略来训练图网络 。
模型性能
为了评估学得的模型 ， 研究者用不同的随机种子生成了一个新的数据集 。 研究发现 ， 使用 L_1 正则化的模型在大多数情况下具备最佳性能 ， 如下表 3 所示：
本文插图
表 3：不同模型在每个数据集上的预测损失 。
解释消息组件
作为解释消息组件的首次尝试 ， 研究者采用了具备最大方差（或 KL 散度）的 D 消息特征（D 是模拟的维数） ， 并用每个特征拟合真正分力的线性组合 。
研究者发现在标准设置下训练的图网络并没有显示出和分力的强相关性 。
本文插图
而有效消息大小被显式（瓶颈）或隐式（KL 或 L_1）限制为低维的所有其他模型所得到的消息与真实的力具备强相关关系（表 1 指出了与真实力的拟合误差） ， 其中使用 L_1 正则化训练的模型显示出最强的相关性 。
本文插图
推荐阅读
- 微粒污染|国际最新研究：道路交通产生塑料微粒污染可扩散至北极
- 鱼类|中国科学家最新研究发现2.44亿年前“小巧漏卧鱼”
- 科学|推翻之前的数据，最新研究确定：月球诞生于44.25亿年前！
- 行业互联网|《科学》杂志刊发湖大创新研究成果，燃料电池有望实现能源快速转化
- 口腔护理|最新研究！口腔护理对预防阿尔兹海默病非常重要
- 中国新闻网|国际最新研究称，宠物狗或能改善幼童社交情绪发展
- 研究国际最新研究称，宠物狗或能改善幼童社交情绪发展
- 海外网|美国高校最新研究：狗狗1岁相当于人类30岁
- 太平洋电脑网|NASA：新研究称月球陨坑内的金属含量略高
- 物理|最新研究成果：终于突破光学显微镜限制，看到晶体原子中的电子