江苏龙网

  1. 首页 > 资讯 > 科技 > >

【深度学习】Neural Response Generation——关于回复生成工作的一些总结( 五 )


3.1 PPG（Poetry Generation with Planning based Neural Network）[10]
该模型翻译为中文是基于规划的古诗生成模型 ， 其框架如下：
【深度学习】Neural Response Generation——关于回复生成工作的一些总结
本文插图

图8：PPG模型框架
可以看到 ， 整个模型分为两大部分 ， 第一部分是规划模块 ， 在用户输入了一个句子后 ， 先对该句子进行意向的抽取 ， 如果意向不足则对该主题的意向进行扩充 ， 从而得到指定数量的意向作为之后生成句子的依据 。 如图可以看到 ， 由“春天的桃花开了”最终可以获得四个相关意向：春天、桃花、燕、柳 。 之后生成部分的模型如下：
【深度学习】Neural Response Generation——关于回复生成工作的一些总结
本文插图

图9：PPG生成部分模型结构
如果抛开左边意向部分不看 ， 左边即是Seq2seq+Attention模型 ， 而左边恰好是意向引入的模块 ， 其使用了一个单独的RNN序列将意向进行编码 ， 得到的结果与上一句诗一起通过Attention机制进行生成 。 当然 ， 第一句诗的生成只使用了左边意向部分的编码 。 这样生成得到的诗在韵律、流畅度、语义等方面都有一定的保证 ， 取得了很好的结果 。
3.2 HRED（Hierarchical Encoder-Decoder）[11]与VHRED （Hierarchical Latent Variable Encoder-Decoder）[12]
这两个模型均为Benjio所在的小组先后两年在AAAI上提出的 。 后者是在前者的基础上进行进一步改进得到的 。 这里首先介绍HRED：
【深度学习】Neural Response Generation——关于回复生成工作的一些总结
本文插图

图10：HRED模型结构
这里需要说明的时 ， 该模型解决的是多轮对话的问题 ， HRED中使用的3轮对话 ， 从图中可以看到左下方是第一个句子 ， 左上方是第二个句子 ， 右上方是第三个句子 。 在预测时 ， 输入模型前两个句子来生成第三个句子 。 乍一看该模型也是Seq2seq的结构 ， 那么是如何将其拓展到多轮对话中呢 。 这里就需要介绍作者提到的层次性（Hierarchical）的概念 。 从图中可以看到 ， 正中间的两个神经元实际上是单独的一个RNN结构 ， 而各个句子分别是一个RNN结构 ， 即Encoder将一个句子编码完送给Decoder时 ， 先送给一个单独的RNN ， 我们可以认为是上下文RNN ， 该RNN对输入的编码进行计算后的输出送给Decoder端进行解码 。 当这句话作为下一个句子输入时（右下方） ， 由RNN得到的编码再次送入这个上下文RNN中 ， 得到的结果用来解码出第三个句子 。 可以看到 ， 中间的这个上下文RNN实际上就是更高一个层次的RNN了 ， 用它来对上下文的连贯性的信息进行储存 ， 从而实现多轮对话的生成 。 该模型能够很好的刻画连续对话的特征 ， 而在此基础上 ， 作者又提出了VHRED模型：
【深度学习】Neural Response Generation——关于回复生成工作的一些总结
本文插图

图11：VHRED模型结构
这一模型与HRED模型相比 ， 多了一个隐式变量的部分 ， 这一个模块背后的含义非常复杂 ， 与VAE（变分自动编码器）的核心思想类似 。 这里笔者对VAE了解的还不够深入 ， 无法很好的描述其工作机理 ， 遂不进行详细描述 。 总而言之 ， 利用该隐式变量 ， 模型能够更好的刻画上下文信息 ， 从而生成出内容更连贯的回复 。
3.3 HRAN（Hierarchical Recurrent Attention Network）[13]
这将是本文介绍的最后一个模型了 ， 是今年出现在arXiv上的一个工作 ， 是TA-Seq2seq模型的作者提出的一个用于解决多轮对话问题的模型 。 其结构如下：

【深度学习】Neural Response Generation——关于回复生成工作的一些总结
本文插图


推荐阅读


上一篇：怪客数码■努比亚Play深度体验两天以后，说说该机的优点和缺点！

下一篇：微距镜头@iQOO Neo3&Nova7，两千价位碰一碰