江苏龙网

  1. 首页 > 资讯 > 科技 > >

【深度学习】Neural Response Generation——关于回复生成工作的一些总结( 六 )


图12：HRAN模型结构
HRAN其模型结构在名称中得到了很好的体现 。 如果只看Word Level Encoder中的一个模块直接连接到最上层的Decoder ， 则其就是一个Seq2seq+Attention的结构 。 其实下面的多个紫色的模块就是多个句子 ， 对应于多轮对话 。 而中间的蓝色部分 ， 则是句子级别的Attention了 。 作者提出 ， 相比于HRED和VHRED只使用词语级别的信息 ， 模型无法抓住句子中的重点内容 ， 而且多个句子之间的信息也没有突显其重要度的关系 。 于是引入两个层次的Attention机制 ， 让模型能够自动的学到词语与句子级别的重要度信息 ， 从而更好的生成新一轮的对话 。 仔细观察可以发现 ， 作者在句子级别的信息中 ， 是反向学习的 ， 即认为下一句的信息中更能够包含上一句的信息 ， 所以从总体上来看 ， 其对于对话的学习是逆向使用每一轮对话的内容的 。 实验结果表明 ， 该模型相比于HRED和VHRED能够取得更好的结果 。
三、总结在这篇报告中 ， 我们对神经回复生成的工作进行了一些总结 ， 主要是从如何生成、生成质量以及写诗和多轮对话三个方面进行了介绍 。 可以看到 ， 在Seq2seq这一基本模型下 ， 衍生出了许许多多的改进模型 ， Seq2seq模型本身具有两部分结构 ， 其改进的思路当然也集中于Encoder和Decoder这两端 。 不论是在Encoder端引入更多信息指导生成 ， 还是在Decoder修改目标函数调整生成内容 。 学者们都在不断优化这二者的效果 ， 也最终取得了更好的结果 。 当然 ， 现有的一些自动生成回复的工作还远不能满足用户的需求 ， 还有很多问题亟待解决 。 本文是笔者基于自己学习后的得到的一些理解 ， 如果有什么错误的地方 ， 请大家指出 ， 在此也希望和大家多多讨论 ， 多多学习 。
四、参考文献[1] Vinyals O, Le Q. A neural conversational model[J]. arXiv preprint arXiv:1506.05869,2015.
[2] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learningto align and translate[J]. arXiv preprint arXiv:1409.0473, 2014.
[3] Luong M T, Pham H, Manning C D. Effective approaches to attention-basedneural machine translation[J]. arXiv preprint arXiv:1508.04025, 2015.
[4] Shang L, Lu Z, Li H. Neural responding machine for short-textconversation[J]. arXiv preprint arXiv:1503.02364, 2015.
[5] Sordoni A, Galley M, Auli M, et al. A neural network approach tocontext-sensitive generation of conversational responses[J]. arXiv preprintarXiv:1506.06714, 2015.
[6] Li J, Galley M, Brockett C, et al. A diversity-promoting objective functionfor neural conversation models[J]. arXiv preprint arXiv:1510.03055, 2015.
[7] Xing C, Wu W, Wu Y, et al. Topic Aware Neural Response Generation[C]//AAAI.2017: 3351-3357.
[8] Zhao W X, Jiang J, Weng J, et al. Comparing twitter and traditional mediausing topic models[C]//European Conference on Information Retrieval. Springer,Berlin, Heidelberg, 2011: 338-349.
[9] Mou L, Song Y, Yan R, et al. Sequence to backward and forward sequences: Acontent-introducing approach to generative short-text conversation[J]. arXivpreprint arXiv:1607.00970, 2016.
[10] Wang Z, He W, Wu H, et al. Chinese poetry generation with planning basedneural network[J]. arXiv preprint arXiv:1610.09889, 2016.
[11] Serban I V, Sordoni A, Bengio Y, et al. Building End-To-End DialogueSystems Using Generative Hierarchical Neural Network Models[C]//AAAI. 2016:3776-3784.


推荐阅读


上一篇：怪客数码■努比亚Play深度体验两天以后，说说该机的优点和缺点！

下一篇：微距镜头@iQOO Neo3&Nova7，两千价位碰一碰