江苏龙网

  1. 首页 > 人文 > >

沈向洋：从深度学习到深度理解


沈向洋：从深度学习到深度理解
本文插图
作者 | 蒋宝尚
编辑 | 丛 末
7月19日 ， 深圳市人工智能与机器人研究院与香港中文大学（深圳）联合主办的“全球人工智能与机器人前沿研讨会”( FAIR 2020 )在线上开幕 。
此次研讨会邀请到了18位全球人工智能与机器人领域的顶级专家学者发表演讲 ， 其中清华大学高等研究院双聘教授沈向洋做了《从深度学习到深度理解》的演讲报告 。
在报告中 ， 沈向洋对过去十年 ， 人工智能发生的变化做了总结 。 他提到 ， 当前我们在大数据利用 ， 计算架构方面的创新有着很大的进步 ， 但是通用人工智能的进展一直缓慢 。
另外 ， 他还表示 ， 我们必须认真思考智能的真正含义是什么 ， 深度学习只是狭义的人工智能 ， 必须构建 robust AI 才能实现真正的强人工智能 。
AI科技评论对整个报告做了不改变原意的整理 ， 感谢沈向洋博士对本文的亲自修改 。
沈向洋：从深度学习到深度理解
本文插图
今天和大家分享一下最近在AI方面的学习心得 ， 主题是“深度学习到深度理解” 。
谈到深度学习 ， DNN是绕不开的话题 ， 它的强大之处已经在语音、视觉、自然语言处理等领域得到了验证 。
沈向洋：从深度学习到深度理解
本文插图
而真正把深度神经网络用于语音识别的重要文章是2012年的《Deep Neural Networks for Acoustic Modeling in Speech Recognition》 ， 这篇文章由包括Hinton在内的四个研究小组参与 ， 那时的深度学习刚开始发挥威力 ， 一切听起来都是那么的棒 。
沈向洋：从深度学习到深度理解
本文插图
自从这篇文章问世之后 ， 深度学习不断取得进展 。 过去十年 ， 尤其是DNN问世到现在 ， 我们的“人工智能”有着怎样的变化？个人总结有三点：
1、在大数据利用方面有着惊人的有效性 。 表现是：DNN的巨大进步离不开海量数据的支撑 。
2、对计算能力的需求日益增长 。 表现是：我们设计的算法越来越依赖于算力处理数据 。
3、虽然DNN有巨大进展 ， 但通用人工智能的进展缓慢 。
1
现状：NLP需要更多参数 ， 视觉需要更多层网络
先从数据谈起 。 当前我们需要海量的数据来应对计算机视觉的一些任务 ， 包括面部识别、目标检测等等 。
沈向洋：从深度学习到深度理解
本文插图
然而 ， 对于深度学习而言 ， 海量数据背后对应的是更多层的网络结构、更多层的网络参数 。 举例而言 ， 如上图所示 ， 2012年的AlexNet只有8层 ， 到了2014年 ， 19层的GoogLeNet和VGG拿下了当年ImageNet挑战赛(ILSVRC14)的双雄 ， 又过了一年 ， 152层的ResNet出现 ， 于是为计算机视觉奠定了标准 。
上面是计算机视觉的情况 ， 那么NLP又如何呢？我敢肯定 ， NLP领域从计算机视觉那里“学”到了很多 。
沈向洋：从深度学习到深度理解
本文插图
特别是近几年 ， 模型之间的竞争非常激烈 ， 从上图可以看到 ， 从2018年的ELMo开始 ， 其模型大小最初只有94M；2019年BERT出世 ， 大小是ELMo 3倍多 。 尤其是著名的GPT-2 ， 已经有了1.5B参数量 ， 而最近刚发布的GPT-3更是达到了175B 。
GPT-3的纪录也没有保持多长时间 ， 谷歌推出的G-Shard带着600B参数走进大众的视野 。 所以 ， 你可以想象 ， 这场“竞赛”将会继续 ， 人们接下来还会借用“DNN模型”学习更多的数据 。


推荐阅读


上一篇：射雕英雄传 |“黄蓉”离婚内幕：爆红时遭骗婚，得知对方有妻儿后仍为其生子

下一篇：特朗普|特朗普：我愿意和中方“谈判”！