江苏龙网

  1. 主页 > 生活百科 > >

一篇适合新手的深度学习综述( 二 )

深度学习


Wang 等人（2017）以时间顺序的方式描述了深度学习模型的演变 。该短文简要介绍了模型 ， 以及在 DL 研究中的突破 。该文以进化的方式来了解深度学习的起源 ， 并对神经网络的优化和未来的研究做了解读 。
Goodfellow 等人（2016）详细讨论了深度网络和生成模型 ， 从机器学习（ML）基础知识、深度架构的优缺点出发 ， 对近年来的 DL 研究和应用进行了总结 。
LeCun 等人（2015）从卷积神经网络（CNN）和递归神经网络（RNN）概述了深度学习（DL）模型 。他们从表征学习的角度描述了 DL ， 展示了 DL 技术如何工作、如何在各种应用中成功使用、以及如何对预测未来进行基于无监督学习（UL）的学习 。同时他们还指出了 DL 在文献目录中的主要进展 。
Schmidhuber（2015）从 CNN、RNN 和深度强化学习 (RL) 对深度学习做了一个概述 。他强调了序列处理的 RNN ， 同时指出基本 DL 和 NN 的局限性 ， 以及改进它们的技巧 。
Nielsen (2015) 用代码和例子描述了神经网络的细节 。他还在一定程度上讨论了深度神经网络和深度学习 。
Schmidhuber (2014) 讨论了基于时间序列的神经网络、采用机器学习方法进行分类 ， 以及在神经网络中使用深度学习的历史和进展 。
Deng 和 Yu (2014) 描述了深度学习类别和技术 ， 以及 DL 在几个领域的应用 。
Bengio (2013) 从表征学习的角度简要概述了 DL 算法 ， 即监督和无监督网络、优化和训练模型 。他聚焦于深度学习的许多挑战 ， 例如：为更大的模型和数据扩展算法 ， 减少优化困难 ， 设计有效的缩放方法等 。
Bengio 等人 (2013) 讨论了表征和特征学习即深度学习 。他们从应用、技术和挑战的角度探讨了各种方法和模型 。
Deng (2011) 从信息处理及相关领域的角度对深度结构化学习及其架构进行了概述 。
Arel 等人 (2010) 简要概述了近年来的 DL 技术 。
Bengio (2009) 讨论了深度架构 ， 即人工智能的神经网络和生成模型 。
最近所有关于深度学习（DL）的论文都从多个角度讨论了深度学习重点 。这对 DL 的研究人员来说是非常有必要的 。然而 ， DL 目前是一个蓬勃发展的领域 。在最近的 DL 概述论文发表之后 ， 仍有许多新的技术和架构被提出 。此外 ， 以往的论文从不同的角度进行研究 。我们的论文主要是针对刚进入这一领域的学习者和新手 。为此 ， 我们将努力为新研究人员和任何对这一领域感兴趣的人提供一个深度学习的基础和清晰的概念 。

一篇适合新手的深度学习综述

文章插图
 
3. 最新进展
在本节中 ， 我们将讨论最近从机器学习和人工神经网络 (ANN) 的中衍生出来的主要深度学习 (DL) 方法 ， 人工神经网络是深度学习最常用的形式 。
3.1 深度架构的演变
人工神经网络 (ANN) 已经取得了长足的进步 ， 同时也带来了其他的深度模型 。第一代人工神经网络由简单的感知器神经层组成 ， 只能进行有限的简单计算 。第二代使用反向传播 ， 根据错误率更新神经元的权重 。然后支持向量机 (SVM) 浮出水面 ， 在一段时间内超越 ANN 。为了克服反向传播的局限性 ， 人们提出了受限玻尔兹曼机（RBM） ， 使学习更容易 。此时其他技术和神经网络也出现了 ， 如前馈神经网络 (FNN)、卷积神经网络 (CNN)、循环神经网络 (RNN) 等 ， 以及深层信念网络、自编码器等 。从那时起 ， 为实现各种用途 ， ANN 在不同方面得到了改进和设计 。
Schmidhuber (2014)、Bengio (2009)、Deng 和 Yu (2014)、Goodfellow 等人 (2016)、Wang 等人 (2017) 对深度神经网络 (DNN) 的进化和历史以及深度学习 (DL) 进行了详细的概述 。在大多数情况下 ， 深层架构是简单架构的多层非线性重复 ， 这样可从输入中获得高度复杂的函数 。
4. 深度学习方法
深度神经网络在监督学习中取得了巨大的成功 。此外 ， 深度学习模型在无监督、混合和强化学习方面也非常成功 。
4.1 深度监督学习
监督学习应用在当数据标记、分类器分类或数值预测的情况 。LeCun 等人 (2015) 对监督学习方法以及深层结构的形成给出了一个精简的解释 。Deng 和 Yu(2014) 提到了许多用于监督和混合学习的深度网络 ， 并做出解释 ， 例如深度堆栈网络 (DSN) 及其变体 。Schmidthuber(2014) 的研究涵盖了所有神经网络 ， 从早期神经网络到最近成功的卷积神经网络 (CNN)、循环神经网络 (RNN)、长短期记忆 (LSTM) 及其改进 。


推荐阅读


上一篇：javascript中的navigator对象和screen对象

下一篇：全球气候变化影响肯尼亚茶叶出口前景