追着幸福跑|为什么深度神经网络这么难训练？| 赠书( 八 )
一个小的输入激活值区间 ， 以此避免梯度消失问题 。
恒等神经元：考虑一个只有单一输入的神经元
， 对应的权重为
， 偏置为
， 输出上的权重为
。 请证明：通过合理选择权重和偏置 ， 可以确保
， 其中
。
这样的神经元可用作恒等神经元 ， 即输出和输入相同（按权重因子成比例缩放） 。提示：可以重写
， 假设很小 ， 以及对
使用泰勒级数展开 。
复杂神经网络中的梯度不稳定
前面研究了简单的神经网络 ， 其中每个隐藏层只包含一个神经元 。 那么 ， 每个隐藏层包含很多神经元的深度神经网络又如何呢？图5-13展示了一个复杂的深度神经网络 。
实际上 ， 在这样的神经网络中 ， 同样的情况也会发生 。 在介绍反向传播时 ， 本书提到了在一个共L层的神经网络中 ， 第l层的梯度是：
其中
是一个对角矩阵 ， 它的每个元素是第l层的带权输入
，
是不同层的权重矩阵 ，
是每个输出激活值的偏导数向量 。
相比单一神经元的情况 ， 这是更复杂的表达式 ， 但仔细看的话 ， 会发现本质上形式还是很相似的 ， 主要区别是包含了更多形如
推荐阅读
- 奔驰E级|奔驰E级：开始清仓，为什么降到35万还有库存
- 烹饪|为什么大白菜上有“小黑点”？到底能不能吃？为了健康快告诉家人
- 笙笙千离|惠若琪李宇春同框颁奖，春春身高176还自卑，巨人身高收获幸福
- 资讯早知道|9年后再看《步步惊心》，发现若曦无论跟谁都不会幸福
- 弹钢琴|原创吉娜为1岁宠物兔庆生，郎朗弹钢琴助兴，幸福温馨像一家三口
- 人民日报|岳阳君山区：消费扶贫托起贫困户稳稳的幸福
- “全国人大 ”微信公众号|何健忠：以实施民法典提升人民美好生活的“幸福指数”
- 经济日报-中国经济网|【幸福花开新边疆】219国道旁的“脱贫事”
- 新华网|【幸福花开新边疆】奋发学技能 靠己奔小康
- 【渣男】乖乖女为什么会爱渣男，痛苦也不分手？