江苏龙网

  1. 首页 > 资讯 > 科技 > >

机器之心|窥一斑而知全豹，三篇论文遍历ICLR 2020新型表征方式


机器之心分析师网络
作者：王子嘉
编辑：Joni Zhong
今年 4 月份 ， 本文作者探索了CVPR 2020 会议论文中出现的通用表征研究 ， 并着重介绍了三种解决方案 。 在本文中 ， 作者进一步介绍了 ICLR 2020 上几种新型的表征方式 ， 以及这些表征方式的需求和今后改进方向 。
前段时间 ， 我刚刚写过一个 CVPR 2020 中的表征学习进展 ， 当时主要的着重点以及启发点是在如何改进表征方式的通用性 ， 今天这篇文章则着重于介绍几种新型的表征方式 ， 以了解几种表征方式的需求以及改进方向 ， 从而在创新表征方式时可以有一定的方向 。 本文主要介绍的是表征方式 ， 所以论文中跟表征方式无关的内容不会被涉及 ， 如果对整体解决方案感兴趣可以再移步原论文去了解更完整地方案 。
本文主要涉及了三篇论文 ， 第一篇论文比较综合 ， 涉及了当前很多经典的表征方式 ， 并对其做了一定的改进；第二篇则提及了稀疏表征方式 ， 为其在一定程度上正名；很明显的 ， 前面两篇涉及的主要是数字信号（离散信息）的处理 ， 而最后一篇讲到了模拟信号（连续信息）的表征方式 ， 这也非常值得我们学习 。
1. Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation
机器之心|窥一斑而知全豹，三篇论文遍历ICLR 2020新型表征方式
本文插图

论文链接：https://openreview.net/forum?id=HygnDhEtvr
1.1 算法概述
这篇文章的目标任务是问题生成（Natural Question Generation, QG） ， 这个任务主要是根据一段话以及回答生成对应的问题 。 文中提出的图到序列（Graph to sequence generator, Graph2Seq）的生成模型如图 1 所示（本文中所有图片均来源于原论文） 。
机器之心|窥一斑而知全豹，三篇论文遍历ICLR 2020新型表征方式
本文插图

图 1：系统架构 。
从图中可以看出 ， 为了对文本和答案语义的联系进行建模 ， 作者提出了深度对齐网络（Deep Alignment Network, DAN） 。 然后为了更好地提取文本中的结构信息（如语法树信息） ， 本文先基于文本生成了一种语义相关的图 ， 然后使用了一种新型的双向门控图神经网络（Bidirectional gated neural network ）对文本的图进行表征 ， 它在门控图神经网络（ gated graph neural network ， 原论文在 https://arxiv.org/abs/1511.05493 ， 有兴趣可以自己了解一下 ， 本文主要介绍改良后的双向网络）基础上加入了对对双向边的信息（incoming and outgoing）的考量 ， 从而实现双向信息的表征 ， 最后生成的序列会由 RNN Decoder 解码成最终的问题 。
此外 ， 因为本论文方法是基于强化学习的 ， 所以产生的问题还会有对应的 reward ， 这也是这篇论文的的一大创新点 ， 不过本文对此不做介绍 。 接下来主要对上方黑框内的内容进行介绍 。
1.2 Deep Alignment Network (DAN)
这一部分的主要任务是把回答中的信息与文本信息融合在一起 ， 从而得到一个综合的嵌入 。 先看看这个对齐的图解（图 2） 。
机器之心|窥一斑而知全豹，三篇论文遍历ICLR 2020新型表征方式
本文插图

图 2：对齐算法（soft-alignment）图解 。
先看最左边的四个矩阵 X ， 右上角标是 p 的代表文本（passage）得到的嵌入 ， 角标是 a 的代表基于回答（answer）得到的嵌入 ， 头上带波浪线跟没带波浪线的分别代表一种嵌入 ， 比如 X^p 和 \~{X^p}都是基于文本生成的嵌入 ， 但是它们生成嵌入的方式不一样 ， 可能 X^p 是基于 GloVe 生成的嵌入 ， 而 \~{X^p}是基于 BERT 生成的嵌入 ， 实际上文章作者用了更巧妙的方式 ， 在后面两个层次上对齐的具体计算过程中会有提及 。


推荐阅读


上一篇：DIGITIMES|智慧城市从“灯柱”开始

下一篇：|数字经济新发展⑦丨云从科技：助力重庆建设新一代人工智能开放创新平台