追着幸福跑|为什么深度神经网络这么难训练？| 赠书( 六 )
5.2.1 为何出现梯度消失
梯度的完整表达式如下：
除了最后一项 ， 该表达式几乎就是一系列
的乘积 。 为了理解每一项 ， 先看看sigmoid函数的导数的图像 ， 如图5-11所示 。
该导数在
时达到峰值 。 如果使用标准方法来初始化神经网络中的权重 ， 那么会用到一个均值为0、标准差为1的高斯分布 ， 因此所有权重通常会满足
。 基于这些信息 ， 可知有
。 另外 ， 在对所有这些项计算乘积后 ， 最终结果肯定会呈指数级下降：项越多 ， 乘积下降得越快 。 梯度消失的原因初见端倪 。
更具体一点 ， 比较和稍后面一个偏置的梯度 ， 例如 。 当然 ， 还未明确给出的表达式 ， 但计算方式是和相同的 。 二者的对比如图5-12所示 。
这两个表达式有很多项相同 ， 但多了两项 。 由于这些项都小于
， 因此会是的
或者更小 ， 这其实就是梯度消失的根本原因 。
当然 ， 以上并非梯度消失问题的严谨证明 ， 而是一个不太正式的论断 ， 可能还有别的一些原因 。 我们尤其想知道权重在训练中是否会增长 ， 如果会 ， 项
是否不再满足这个条件 。 实际上 ， 如果项变得很大——超过1——那么梯度消失问题将不会出现 。 当然 ， 这时梯度会在反向传播中呈指数级增长 ， 即出现了梯度爆炸问题 。
5.2.2 梯度爆炸问题
下面分析梯度爆炸的原因 。 举的例子可能不那么自然：固定神经网络中的参数 ， 以确保发生梯度爆炸 。 即使不太自然 ， 这个例子也能说明梯度爆炸确实会发生（而非假设） 。
5.2.3 梯度不稳定问题
根本问题其实不是梯度消失问题或梯度爆炸问题 ， 而是前面的层上的梯度来自后面的层上项的乘积 。 当层过多时 ， 神经网络就会变得不稳定 。 让所有层的学习速度都近乎相同的唯一方式是所有这些项的乘积达到一种平衡 。 如果没有某种机制或者更加本质的保证来达到平衡 ， 那么神经网络就很容易不稳定 。 简而言之 ， 根本问题是神经网络受限于梯度不稳定问题 。 因此 ， 如果使用基于梯度的标准学习算法 ， 那么不同的层会以不同的速度学习 。
推荐阅读
- 奔驰E级|奔驰E级：开始清仓，为什么降到35万还有库存
- 烹饪|为什么大白菜上有“小黑点”？到底能不能吃？为了健康快告诉家人
- 笙笙千离|惠若琪李宇春同框颁奖，春春身高176还自卑，巨人身高收获幸福
- 资讯早知道|9年后再看《步步惊心》，发现若曦无论跟谁都不会幸福
- 弹钢琴|原创吉娜为1岁宠物兔庆生，郎朗弹钢琴助兴，幸福温馨像一家三口
- 人民日报|岳阳君山区：消费扶贫托起贫困户稳稳的幸福
- “全国人大 ”微信公众号|何健忠：以实施民法典提升人民美好生活的“幸福指数”
- 经济日报-中国经济网|【幸福花开新边疆】219国道旁的“脱贫事”
- 新华网|【幸福花开新边疆】奋发学技能 靠己奔小康
- 【渣男】乖乖女为什么会爱渣男，痛苦也不分手？