宝石流云|梯度下降算法被高估了！了解有趣的无梯度神经网络优化方法( 二 )
因为粒子群优化并非基于梯度（gasp！） ， 它不需要可微的优化问题 ， 因而使用PSO来优化神经网络或任何其他算法会在其他算法中对激活函数或等效作用的选择中拥有更多的自由和更低的敏感性 。 此外 ， 它对正在优化的问题几乎不做任何假设 ， 可以在非常巨大的空间中搜索 。
可以想象 ， 基于种群的方法的计算量可能比基于梯度的优化器稍大一些 ， 但这并不是必要的 。 因为算法十分开放且非刚性 ， 基于变化的算法通常可以控制粒子数量、粒子移动的速度、全球共享的信息的数量等等 ， 就像可以调整神经网络的学习率的方法一样 。
图源：unsplash
替代优化替代优化是一种求解最小值的优化方法 ， 尝试用另一个完善的函数来建立损失函数的模型 。 该技术从损失函数中采样数据点 ， 尝试取不同的参数值（x）并存储损失函数的值（y） 。 在收集了足够的数据点后 ， 替代函数（本例中为7级多项式）与收集的数据拟合 。
因为求解多项式最小值已被深入研究过 ， 且存在许多利用导数求解全局最小值的方法 ， 这些方法都十分有效 ， 因而可以假设替代函数的全局最小值与损失函数相同 。
替代优化技术上是一种非迭代方法 ， 但替代函数的训练通常是迭代的 。 此外 ， 替代优化技术上是一种无梯度方法 ， 但通常用来找寻模型函数全局最小值的有效的数学方法都基于导数 。 但因为迭代属性和基于梯度属性都是次要的替代优化 ， 它可以处理大数据和不可微的优化问题 。
利用替代函数进行优化在一些方面确实相当巧妙：
· 本质上来说 ， 它使损失函数曲面更加光滑 ， 减少参差不齐的局部极小值 ， 避免凌乱的局部极小值给神经网络增加额外训练时间 。
· 它将难题变得更为简单：不论是多项式、径向基函数、类属编程、MARS或其他替代模型 ， 求解全局极小值需要数学知识来推动 。
· 替代模型的过度拟合算不上一个棘手的问题 ， 因为即便有大量过度拟合 ， 替代函数和真正损失函数相比还是更为平滑且整齐 。 在构建更具有数学倾向且已被简化的模型时 ， 还有许多其他标准考虑事项 ， 因此训练替代模型要容易得多 。
· 替代优化并不局限于目前所处的位置 ， 它着眼于整个函数 ， 反对梯度下降 ， 梯度下降必须继续就其所认为的下一个山形中即将出现的更小的极小值做出风险选择 。
替代优化几乎总是比梯度下降快 ， 但精确度却不如后者 。 利用替代优化仅能精确找到全局极小值的粗略定位 ， 但即使这样它仍然大有帮助 。
替代方法为混合模型——替代优化将神经网络参数粗略定位 ， 之后便能利用梯度下降寻找准确的全局最小值 。 另一个替代方法为使用替代模型引导优化器的决定 ， 因为替代函数既能够纵览全局 ， 又对损失函数的特定起伏不敏感 。
模拟退火模拟退火是一个基于冶金学的退火概念 ， 将材料加热至重结晶温度 ， 以此来降低硬度 ， 改变其他物理性质 ， 偶尔也会改变其化学性质 ， 接着将材料静置冷却至其重新坚固 。
图源：unsplash
推荐阅读
- 地牢|迷你世界如何获得远古宝石？地牢宝箱几率获取，这点很关键！
- 王者荣耀|王者S20辅助梯度排行：国服瑶独占一梯度，T1张飞成最值练习
- 青年|射手梯度排名更新，又一无解T0诞生，张大仙我愿称他为射手巅峰
- 宝石流云|迈入芯片强国吗？，中国光刻机明年可以达到世界较为先进的水平
- 宝石流云|麒麟9000断供在即，华为开发者大会憋大招，不止鸿蒙、HMS
- 宝石流云|被高估的一款vivo！双模5G＋奥利奥四摄＋4500mAh，沦为千元机
- 绝地养鸡王|魔兽怀旧服：双开恢复宝石成坏事，争执不断，第二件该如何拍？
- 宝宝游戏|搭配20级宝石，属性炸了！，梦幻西游手游：200级无级别装备
- 宝石流云|程序员：常用的 Iterator 中的迭代器模式
- 宝石流云|光影魔术手：免费、简单、易用、好用的图片处理软件