江苏龙网

  1. 主页 > 生活百科 > >

一篇适合新手的深度学习综述( 六 )

深度学习


5.14 Highway Networks
Srivastava 等人 (2015) 提出了高速路网络（Highway Networks） ， 通过使用门控单元来学习管理信息 。跨多个层次的信息流称为信息高速路 。
5.14.1 Recurrent Highway Networks
Zilly 等人 (2017) 提出了循环高速路网络 (Recurrent Highway Networks ， RHN) ， 它扩展了长短期记忆 (LSTM) 架构 。RHN 在周期性过渡中使用了 Highway 层 。
5.15 Highway LSTM RNN
Zhang 等人 (2016) 提出了高速路长短期记忆 (high - Long short Memory, HLSTM) RNN ， 它在相邻层的内存单元之间扩展了具有封闭方向连接 (即 Highway) 的深度 LSTM 网络 。
5.16 长期循环 CNN
Donahue 等人 (2014) 提出了长期循环卷积网络 (LRCN) ， 它使用 CNN 进行输入 ， 然后使用 LSTM 进行递归序列建模并生成预测 。
5.17 深度神经 SVM
Zhang 等人 (2015) 提出了深度神经 SVM(DNSVM) ， 它以支持向量机 (Support Vector machine, SVM) 作为深度神经网络 (Deep Neural Network, DNN) 分类的顶层 。
5.18 卷积残差记忆网络
Moniz 和 Pal(2016) 提出了卷积残差记忆网络 ， 将记忆机制并入卷积神经网络 (CNN) 。它用一个长短期记忆机制来增强卷积残差网络 。
5.19 分形网络
Larsson 等人 (2016) 提出分形网络即 FractalNet 作为残差网络的替代方案 。他们声称可以训练超深度的神经网络而不需要残差学习 。分形是简单扩展规则生成的重复架构 。
5.20 WaveNet
van den Oord 等人 (2016) 提出了用于产生原始音频的深度神经网络 WaveNet 。WaveNet 由一堆卷积层和 softmax 分布层组成 ， 用于输出 。
Rethage 等人 (2017) 提出了一个 WaveNet 模型用于语音去噪 。

一篇适合新手的深度学习综述

文章插图
 
5.21 指针网络
Vinyals 等人 (2017) 提出了指针网络 (Ptr-Nets) ， 通过使用一种称为「指针」的 softmax 概率分布来解决表征变量字典的问题 。
6. 深度生成模型
在本节中 ， 我们将简要讨论其他深度架构 ， 它们使用与深度神经网络类似的多个抽象层和表示层 ， 也称为深度生成模型 (deep generate Models, DGM) 。Bengio(2009) 解释了深层架构 ， 例如 Boltzmann machine (BM) 和 Restricted Boltzmann Machines (RBM) 等及其变体 。
Goodfellow 等人 (2016) 详细解释了深度生成模型 ， 如受限和非受限的玻尔兹曼机及其变种、深度玻尔兹曼机、深度信念网络 (DBN)、定向生成网络和生成随机网络等 。
Maaløe 等人（2016）提出了辅助的深层生成模型（Auxiliary Deep Generative Models） ， 在这些模型中 ， 他们扩展了具有辅助变量的深层生成模型 。辅助变量利用随机层和跳过连接生成变分分布 。
Rezende 等人 (2016) 开发了一种深度生成模型的单次泛化 。
6.1 玻尔兹曼机
玻尔兹曼机是学习任意概率分布的连接主义方法 ， 使用最大似然原则进行学习 。
6.2 受限玻尔兹曼机
受限玻尔兹曼机 (Restricted Boltzmann Machines, RBM) 是马尔可夫随机场的一种特殊类型 ， 包含一层随机隐藏单元 ， 即潜变量和一层可观测变量 。
Hinton 和 Salakhutdinov(2011) 提出了一种利用受限玻尔兹曼机 (RBM) 进行文档处理的深度生成模型 。
6.3 深度信念网络
深度信念网络 (Deep Belief Networks, DBN) 是具有多个潜在二元或真实变量层的生成模型 。
Ranzato 等人 (2011) 利用深度信念网络 (deep Belief Network, DBN) 建立了深度生成模型进行图像识别 。
6.4 深度朗伯网络
Tang 等人 (2012) 提出了深度朗伯网络 (Deep Lambertian Networks ， DLN) ， 它是一个多层次的生成模型 ， 其中潜在的变量是反照率、表面法线和光源 。DLNis 是朗伯反射率与高斯受限玻尔兹曼机和深度信念网络的结合 。
6.5 生成对抗网络
Goodfellow 等人 (2014) 提出了生成对抗网络 (generate Adversarial Nets, GAN) ， 用于通过对抗过程来评估生成模型 。GAN 架构是由一个针对对手（即一个学习模型或数据分布的判别模型）的生成模型组成 。Mao 等人 (2016)、Kim 等人 (2017) 对 GAN 提出了更多的改进 。
Salimans 等人 (2016) 提出了几种训练 GANs 的方法 。
6.5.1 拉普拉斯生成对抗网络
Denton 等人 (2015) 提出了一种深度生成模型 (DGM) ， 叫做拉普拉斯生成对抗网络 (LAPGAN) ， 使用生成对抗网络 (GAN) 方法 。该模型还在拉普拉斯金字塔框架中使用卷积网络 。


推荐阅读


上一篇：javascript中的navigator对象和screen对象

下一篇：全球气候变化影响肯尼亚茶叶出口前景