江苏龙网

  1. 主页 > 生活百科 > >

一篇适合新手的深度学习综述( 三 )

深度学习


4.2 深度无监督学习
当输入数据没有标记时 ， 可应用无监督学习方法从数据中提取特征并对其进行分类或标记 。LeCun 等人 (2015) 预测了无监督学习在深度学习中的未来 。Schmidthuber(2014) 也描述了无监督学习的神经网络 。Deng 和 Yu(2014) 简要介绍了无监督学习的深度架构 ， 并详细解释了深度自编码器 。
4.3 深度强化学习
强化学习使用奖惩系统预测学习模型的下一步 。这主要用于游戏和机器人 ， 解决平常的决策问题 。Schmidthuber(2014) 描述了强化学习 (RL) 中深度学习的进展 ， 以及深度前馈神经网络 (FNN) 和循环神经网络 (RNN) 在 RL 中的应用 。Li(2017) 讨论了深度强化学习 (Deep Reinforcement Learning, DRL)、它的架构 (例如 Deep Q-Network, DQN) 以及在各个领域的应用 。
Mnih 等人 (2016) 提出了一种利用异步梯度下降进行 DNN 优化的 DRL 框架 。
van Hasselt 等人 (2015) 提出了一种使用深度神经网络 (deep neural network, DNN) 的 DRL 架构 。
5. 深度神经网络
在本节中 ， 我们将简要地讨论深度神经网络 (DNN) ， 以及它们最近的改进和突破 。神经网络的功能与人脑相似 。它们主要由神经元和连接组成 。当我们说深度神经网络时 ， 我们可以假设有相当多的隐藏层 ， 可以用来从输入中提取特征和计算复杂的函数 。Bengio(2009) 解释了深度结构的神经网络 ， 如卷积神经网络 (CNN)、自编码器 (AE) 等及其变体 。Deng 和 Yu(2014) 详细介绍了一些神经网络架构 ， 如 AE 及其变体 。Goodfellow 等 (2016) 对深度前馈网络、卷积网络、递归网络及其改进进行了介绍和技巧性讲解 。Schmidhuber(2014) 提到了神经网络从早期神经网络到最近成功技术的完整历史 。
5.1 深度自编码器
自编码器 (AE) 是神经网络 (NN) ， 其中输出即输入 。AE 采用原始输入 ， 编码为压缩表示 ， 然后解码以重建输入 。在深度 AE 中 ， 低隐藏层用于编码 ， 高隐藏层用于解码 ， 误差反向传播用于训练. 。
5.1.1 变分自编码器
变分自动编码器 (VAE) 可以算作解码器 。VAE 建立在标准神经网络上 ， 可以通过随机梯度下降训练 (Doersch,2016) 。
5.1.2 多层降噪自编码器
在早期的自编码器 (AE) 中 ， 编码层的维度比输入层小（窄） 。在多层降噪自编码器 (SDAE) 中 ， 编码层比输入层宽 (Deng and Yu, 2014) 。
5.1.3 变换自编码器
深度自动编码器 (DAE) 可以是转换可变的 ， 也就是从多层非线性处理中提取的特征可以根据学习者的需要而改变 。变换自编码器 (TAE) 既可以使用输入向量 ， 也可以使用目标输出向量来应用转换不变性属性 ， 将代码引导到期望的方向 (Deng and Yu,2014) 。

一篇适合新手的深度学习综述

文章插图
 
5.2 深度卷积神经网络
四种基本思想构成了卷积神经网络 (CNN) ， 即：局部连接、共享权重、池化和多层使用 。CNN 的第一部分由卷积层和池化层组成 ， 后一部分主要是全连接层 。卷积层检测特征的局部连接 ， 池层将相似的特征合并为一个 。CNN 在卷积层中使用卷积而不是矩阵乘法 。
Krizhevsky 等人 (2012) 提出了一种深度卷积神经网络 (CNN) 架构 ， 也称为 AlexNet ， 这是深度学习 (Deep Learning, DL) 的一个重大突破 。网络由 5 个卷积层和 3 个全连接层组成 。该架构采用图形处理单元 (GPU) 进行卷积运算 ， 采用线性整流函数 (ReLU) 作为激活函数 ， 用 Dropout 来减少过拟合 。
Iandola 等人 (2016) 提出了一个小型的 CNN 架构 ， 叫做「SqueezeNet」 。
Szegedy 等人 (2014) 提出了一种深度 CNN 架构 ， 名为 Inception 。Dai 等人 (2017) 提出了对 Inception-ResNet 的改进 。
Redmon 等人 (2015) 提出了一个名为 YOLO (You Only Look Once) 的 CNN 架构 ， 用于均匀和实时的目标检测 。
Zeiler 和 Fergus (2013) 提出了一种将 CNN 内部激活可视化的方法 。
Gehring 等人 (2017) 提出了一种用于序列到序列学习的 CNN 架构 。
Bansal 等人 (2017) 提出了 PixelNet ， 使用像素来表示 。
Goodfellow 等人 (2016) 解释了 CNN 的基本架构和思想 。Gu 等人 (2015) 对 CNN 的最新进展、CNN 的多种变体、CNN 的架构、正则化方法和功能以及在各个领域的应用进行了很好的概述 。
5.2.1 深度最大池化卷积神经网络


推荐阅读


上一篇：javascript中的navigator对象和screen对象

下一篇：全球气候变化影响肯尼亚茶叶出口前景