中年技术分享——深度学习的基础入门( 二 )


但是 , 根据问题的性质 , 我们可能能够做出更好的选择 , 以实现网络的轻松 , 快速融合 。

  • 在分类器的情况下 , Sigmoid函数及其组合通常效果更好
  • 由于逐渐消失的梯度问题 , 有时会避免出现S型和tanh函数
  • ReLU功能是一般的激活功能 , 目前在大多数情况下都使用
  • 如果我们在网络中遇到死神经元的情况 , 漏液的ReLU功能是最佳选择
  • 始终牢记ReLU功能只能在隐藏层中使用
  • 根据经验 , 您可以先使用ReLU功能 , 然后再移至其他激活功能 , 以防ReLU无法提供最佳效果


推荐阅读