宝石流云|梯度下降算法被高估了！了解有趣的无梯度神经网络优化方法( 三 )
利用缓冷概念 ， 模拟退火随着解空间的探索程度缓慢提升接受较优解的概率 。 因为接受较差解考虑到更广泛地寻找全局最小值（思考越过山形寻找更深的低点） ， 模拟退火假设这些可能性在第一次迭代中得到适当描述和探索 。 随着时间的推进 ， 算法从探索转向开发 。
【宝石流云|梯度下降算法被高估了！了解有趣的无梯度神经网络优化方法】下列是模拟退火算法运行的大致步骤：
· 温度设为初始正值 ， 逐步趋于零 。
· 在每个时间步上 ， 算法随机选择接近当前解的解 ， 测量其质量 ， 并根据当前温度向其移动（接受较优或较差解的可能性） 。
· 理论上 ， 当温度为零时 ， 此算法便会集中于一个全局极小解 。
本模拟与动力学方程或随机抽样一同进行 。 模拟退火法之前用来解决旅行推销员问题 ， 推销员试图在数百个位置之间找到最短距离 ， 这些位置由数据点表示 。 显而易见 ， 组合无穷无尽 ， 但模拟退火有强化学习回忆 ， 运行良好 。
模拟退火解决旅行推销员问题
模拟退火尤其适用于在短时间内需要近似解的情况 ， 比梯度下降速度更快 。 正如替代优化 ， 模拟退火可与梯度下降混合使用以实现两者优势：模拟退火的速度与梯度下降的精度 。
这些只是无梯度方法中的沧海一粟 ， 还有许多其他算法有待探索 ， 如模式搜索和多目标优化 。 人类的存在验证了它的正确性 ， 诸如粒子群优化的遗传算法和种群算法对于创造真正的智能媒介前景广阔 。
优化的无梯度方法令人着迷 ， 它们充分发挥创造力 ， 不受梯度数学链的限制 。 无梯度方法不太可能变成主流 ， 然而 ， 在这样一个达到计算极限的时代 ， 利用无梯度和梯度方法和混合优化器一起显示出极高潜力 ， 未来势必拥有无限可能 。
留言点赞关注
我们一起分享AI学习与发展的干货
如转载 ， 请后台留言 ， 遵守转载规范
推荐阅读
- 地牢|迷你世界如何获得远古宝石？地牢宝箱几率获取，这点很关键！
- 王者荣耀|王者S20辅助梯度排行：国服瑶独占一梯度，T1张飞成最值练习
- 青年|射手梯度排名更新，又一无解T0诞生，张大仙我愿称他为射手巅峰
- 宝石流云|迈入芯片强国吗？，中国光刻机明年可以达到世界较为先进的水平
- 宝石流云|麒麟9000断供在即，华为开发者大会憋大招，不止鸿蒙、HMS
- 宝石流云|被高估的一款vivo！双模5G＋奥利奥四摄＋4500mAh，沦为千元机
- 绝地养鸡王|魔兽怀旧服：双开恢复宝石成坏事，争执不断，第二件该如何拍？
- 宝宝游戏|搭配20级宝石，属性炸了！，梦幻西游手游：200级无级别装备
- 宝石流云|程序员：常用的 Iterator 中的迭代器模式
- 宝石流云|光影魔术手：免费、简单、易用、好用的图片处理软件