江苏龙网

  1. 首页 > 人文 > >

沈向洋：从深度学习到深度理解( 四 )


  • 自然语言生成（Natural LanguageGeneration, NLG）：将系统动作转换成自然语言输出 。

    • 沈向洋：从深度学习到深度理解
    本文插图
    那么一个robust AI 系统是什么样子的呢？如上所示 ， 有两部分 ， 第一部分是Narrow AI ，与经典的模块化对话系统并无区别 ， 系统的第二部分试图将知识纳入体系 ， 希望构建深度理解模型 。 这种深度学习与知识相结合的混合模型 ， 构建起来非常困难 ， 需要用现代机器学习手段实现知识/推理/认知模型 ， 用深度学习的方式表示知识与常识（entity linking） ， 还需要用于对话状态跟踪（dialog statetracking）的强化学习、用迁移学习进行预训练与微调等等 。
    沈向洋：从深度学习到深度理解
    本文插图
    上面论文中提到的SOLOIST就是robust AI 系统的一种尝试 ， 其主要思想是：基于Transformer的自动回归语言模型对对话系统进行参数化 ， 并可以将不同的对话模块归入一个单一的神经网络模型 。
    沈向洋：从深度学习到深度理解
    本文插图
    GTG模型与GPT模型对比也有比较大的优势：GPT是学习如何理解和生成自然语言 ， 而GTG是学习预测对话状态 ， 产生grounded responses（真实响应）来完成任务 。 具体任务测试对比如上图所示 。
    沈向洋：从深度学习到深度理解
    本文插图
    GTG在两个公开基准MultiWOZ和CamRest 中也进行了测试 ， 在考虑Inform、Success、BLEU三个维度后 ， 加总出一个综合得分 ， 已经优于当前的SOTA模型 。
    沈向洋：从深度学习到深度理解
    本文插图
    SOLOIST在新任务的“适应性”上也比当前的SOTA模型更加高效 。 所以 ， 一个基于混合模式的强人工智能系统真的非常有效 。
    最后 ， 我总结一下 ， 现在是时候从深度学习转向深度理解了 。 当然 ， 这也并不是说我们不应该继续“攻坚”深度学习 。
    沈向洋：从深度学习到深度理解
    本文插图
    【沈向洋：从深度学习到深度理解】更多交流


    推荐阅读


    上一篇：射雕英雄传 |“黄蓉”离婚内幕：爆红时遭骗婚，得知对方有妻儿后仍为其生子

    下一篇：特朗普|特朗普：我愿意和中方“谈判”！