深度学习|Adam又要“退休”了？耶鲁大学团队提出AdaBelief优化器( 二 ) |优化器|AI|

在CIFAR-10和CIFAR-100数据集上，用VGG11、ResNet34和DenseNet121三种网络进行训练， AdaBelief都显示出更好的收敛结果。
而且在ImageNet数据上， AdaBelief在Top-1准确率上仅次于SGD 。

本文插图

时间序列建模
在Penn TreeBank数据集上，用LSTM进行实验， AdaBelief都实现了最低的困惑度。

本文插图

GAN
在WGAN和WGAN-GP上的实验表明，经AdaBelief训练的结果都得到了最低的FID 。

本文插图

网友质疑
虽然AdaBelief在多个任务上取得了不错的效果，但该方法还是遭到不少网友质疑。
因为这些年来号称取代Adam的优化器不计其数，但最终获得时间检验的却寥寥无几。
网友首先质疑的是实验baseline的选取问题。
有人认为，在CIFAR上，很难相信2020年SOTA模型的准确率低于96％，因此AdaBelief论文最终在选取baseline时有可能是选择了与不太好的结果进行比较。
在ImageNet测试的表2里，为什么要使用ResNet18代替更标准的ResNet50？而且AdaBelief不是最优结果，却用加粗方式标出，容易让人产生误解。绝妙的技巧是将提出的方法的得分加粗。
另外，还有人在作者未测试的NLP任务上进行实验，很快AdaBelief就“崩溃”了，而SGD能够很好地收敛。

本文插图

【深度学习|Adam又要“退休”了？耶鲁大学团队提出AdaBelief优化器】AdaBelief不会是最后一个意图取代Adam的优化器，它的泛化能力究竟如何，还有待更多研究者进一步地检验。

深度学习|Adam又要“退休”了？耶鲁大学团队提出AdaBelief优化器( 二 )

推荐阅读

网友逆向工程微信安装包：11年膨胀575倍到底更新了啥？

牙膏的妙用，这么强大，你还不知道？牙膏的作用

青枣放冰箱好还是放外面好吃青枣放冰箱好还是放外面好

科技壹零扒什么是计算摄影？从自拍照到黑洞

小米3s屏幕多大

上海|秋季时令水果大量上市百余种果品“双节”上海“赶集”

「土耳其」通讯：“职责所在，祝福远方亲人”——记土耳其储气库

没钱？预算不足时买冰箱，别选这三种功能

吉尼斯世界纪录：最后一位男子挑战不成反送命，网友：没必要吧？

字母哥|轰28+20+5！字母哥再创纪录，献360度死亡隔扣，晋级概率达95%

刘海|女人不管年纪多大，扎马尾别犯这3个错误！不然看起来很像村花

[经济观察报]与社交边界愈加模糊，百合佳缘集团CEO吴琳光谈云相亲：“破冰”是关键

陈乔恩|《妻子的浪漫旅行6》中，陈乔恩觉得爱情就是亲情，太有共鸣了

川渝■成都重庆建设环四川盆地高速四川一地级市将成川渝中心

第一财经|财经夜行线 1015丨海外疫情升温市场承压全球股市多数下行

潮车行天下预计12-20万这个范围买什么SUV？，打算买辆车

青年|DNF：周边商城希洛克宠物加算变乘算。玩家：已退货，真有你的史派克

青年|什么鬼？90后小伙靠英雄联盟比赛实现财务自由，月入过万！围观

军事精彩资讯|为啥我国部队还在用木柄手榴弹？，我国有最先进手榴弹

诛仙|当手游续写故事，《一梦江湖》解锁方思明，这款完结后依然巅峰