宝石流云|梯度下降算法被高估了！了解有趣的无梯度神经网络优化方法全文共3284字

全文共3284字，预计学习时长9分钟
图源：unsplash
梯度下降算法于1847年因柯西（Cauchy）而问世， Haskell Curry在1944年进一步将其阐述为非线性优化问题。到现在，梯度下降已用于从线性回归到深度神经网络的所有算法。
在机器学习中，梯度下降法是最为重要的概念之一。给定一些要最小化的代价函数，该算法会以迭代方式采取最大向下斜率步骤，理论上经过足够的迭代次数后，便会得到一个最小值。
如今，梯度下降及其反向传播形式的再次利用已成为机器学习最伟大的突破之一，但是，神经网络的优化仍未解决。网上有许多人尽其所能，极力宣称“梯度下降很糟糕” ，虽然可能有些言过其实，但梯度下降算法确实存在许多问题。
· 优化器容易出现局部极小值问题。诚然，可以帮助优化器越过大坡的动量、随机梯度下降法，还有消除误差空间的批归一化都是很巧妙的解决方法，但局部极小值问题仍然是神经网络许多分支问题的根源。
· 由于优化器深受局部极小值驱使，即便它极力摆脱后者，也要用很长时间。因收敛速度慢，梯度下降法通常十分冗长，即使是适应像批量梯度下降这样的大数据集之后也是如此。
· 学习率决定优化器的可靠程度和风险度。学习率设置过高可能会导致优化器忽略全局最小值，而过低则会导致运行时崩溃。解决此问题需要设置随着衰减而变化的学习率，但是在决定学习率的许多其他变量中选择衰减率很困难。
· 梯度下降对优化器的初始化尤为敏感。例如，优化器在第二个局部最小值而非第一个局部最小值附近进行初始化，则优化器的性能可能会更优，但这都是随机决定的。
· 梯度下降需要梯度，这意味着除了无法处理不可微函数之外，还容易出现诸如梯度消失或梯度爆炸等梯度问题。
当然，梯度下降已受到广泛研究，且有许多解决方案——其中一些是梯度下降变体，另一些基于网络架构——在某些情况下起作用。不能仅因为梯度下降被高估就意味着它不是现阶段可用的最佳解决方案。不过，使用批归一化来消除误差空间或选择复杂的优化器（如Adam或Adagrad）等并不是本文的重点，即使它们通常表现更好。
相反，本文想要对更为模糊和确定的一些有趣优化方法进行一些有价值的说明，这些方法不符合基于梯度的标准要求，就像其他用于提高神经网络性能的技术一样，在特定任务中效果显著，但在其他时候效果不行。然而，不论这些方法在某个特定任务上的表现如何，它们都令人着迷，创造性十足，且是未来机器学习一个前景广阔的研究领域。
粒子群优化粒子群优化（PSO）是一种基于群组的方法：定义一组探索搜索空间的“粒子” ，试图求解最小值。 PSO基于一定的质量度量迭代地改进候选解，根据简单的数学规则移动一群潜在的解(“粒子”) ，如粒子的位置和速度，以此来解决问题。
每个粒子的运动都会受到局部位置的影响，此局部位置是粒子本身找到的最优位置，但也会被搜索位置中最优越的位置（被其他粒子发现）吸引。理论上，粒子群经过数次迭代移动找到最佳解决方案。
相较于神经网络， PSO对初始化不那么敏感，且粒子间基于某些研究结果的通信交流证明它对搜索稀疏区和大面积区非常有效。

宝石流云|梯度下降算法被高估了！了解有趣的无梯度神经网络优化方法

推荐阅读

[雅马哈]1.5w左右预算怎么选车（二），为大家带来名厂性价比好车

「南山的摄影」盗图维权？不再艰难！

俸禄|宋江一年的俸禄，折合成人民币是多少怪不得他之前都不愿上梁山

中新经纬|涪陵榨菜：上半年净利同比增28.44%

感冒熬姜汤怎么熬感冒熬姜汤需要放什么

中铁|今天，沪苏通长江公铁大桥建成通车

洗牙要多少钱一次(洗一次牙结石大概多少钱)

范丞丞|董小姐何辜！是时候为郭美美周公子平反了

重庆高新区山体滑坡已有5人获救救援仍在进行中

陈晓|平台贩卖王一博陈晓戏服碎片，一份要价238元，网友：公然割韭菜

世界十大名犬世界十大名犬排行榜

绿芸豆拌海带的做法

阿隆索重返雷诺回归F1？疑点太多了

叁号七分甜：99万＋囍囍囍囍！，猪猪猪：不简单！5月8日前一定要点开

龙眼常温还是冷藏龙眼常温下可以放多久

怎么样在短时间内（半年或者一年）自学一个啥技能能利用它得到收入。

总决赛|总决赛G5必爆发？詹皇本季收官战场均34＋12＋9 他还能拿FMVP

?云南省2020年高考成绩7月23日公布

华为微信视频美颜设置微信视频怎么开启美颜功能

香港|无人参加乱港事件汉鼎书院如何做到不“恋殖”不“反中”