量子位别再SOTA了，那叫“微调”！Science发文炮轰论文灌水
金磊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
AI算法的发展 ， 真有那么迅猛吗？
为了一探究竟 ， 来自MIT的研究人员 ， 便对81种AI算法做了横测 ， 结果令人大跌眼镜：
没有明确证据表明 ， 这些算法在10年内 ， 对任务效果有明显改善 。
本文插图
针对类似的问题 ， Science最近也发文表示：
人工智能在某些领域的进步引人注目 ， 但这并不是真正的进步 。
本文插图
那么 ， 这到底是怎么一回事？
“是微调 ， 不是核心创新”
MIT研究人员横测的对象 ， 是81种剪枝算法 。
这类算法简单来说 ， 就是对神经网络的连接做“修修剪剪” ， 以此来提高效率 。
然而 ， 这种算法的发展现状 ， 正如Science发文作者Matthew Hutson所说：
很多科研工作者就在此之上 ， 做了些许“微调” ， 然后就宣称自己的算法具有优势 。
因此 ， MIT的研究人员便对这些算法做了元分析 ， 还提出了一种框架——ShrinkBench ， 用来促进剪枝算法的标准化评估 。
真正的好算法 ， 需要经得起考验 ， 那么结果又如何呢？
第一轮考验：剪枝 vs 架构
研究人员基于ImageNet ， 绘制了剪枝后模型的准确率和压缩/加速水平 ， 以及没有做过剪枝、不同架构的相同指标 ， 结果如下图所示 。
本文插图
不难看出 ， 一个给定架构经过剪枝后 ， 可以改善其时间/空间与精度之间的权衡 ， 有时候还可以提高精度 。
但剪枝的效果 ， 通常不如换个架构效果来得好 。
第二轮考验：“同行”算法比较
这一维度的考虑 ， 是因为研究人员发现 ， 许多工作都高举“SOTA”旗帜 ， 然而比较的对象却不全 。
【量子位别再SOTA了，那叫“微调”！Science发文炮轰论文灌水】很明显的现象就是 ， 缺少与2010年之前提出的算法的比较 ， 甚至都没有跟其它号称SOTA的算法做对比 ， 如下图所示 。
本文插图
第三轮考验：数据集和架构的组合
在81篇论文中 ， ImageNet和VGG-16的组合最为常见 ， 并且 ， 在前六种最常见的组合中 ， 有三种涉及MNIST 。
但MNIST与其它主流图像分类数据集有很大的区别：它的图像是灰度的 ， 大部分是由0组成 ， 用简单的模型进行分类 ， 准确率就可以达到99%以上 。
本文插图
第四轮考验：度量指标
还有五花八门的度量指标 ， 啥也不说了 ， 直接上图 。
本文插图
本文插图
本文插图
当然 ， 还有诸如数据预处理、调参策略等一系列问题 ， 都会导致结果的不同 。
研究一作Davis Blalock表示：
这些改进都是所谓的“微调” ， 而不是科研人员声称的“核心创新” ， 甚至有些改进方法可能根本就不存在 。
于是乎 ， MIT的研究人员便开发了一套方便开发、标准化评价神经网络的剪枝方法 。
推荐阅读
- 老程健康谈|长期熬夜的人，若身体有5个表现，是大病来袭的信号，别再熬夜了
- 教育部网站|“神押题”“内部指标”“判卷内幕”？这些高考谣言别再信了
- 追着幸福跑|两只“量子柴郡猫”交换笑脸
- 【】“神押题”“内部指标”“判卷内幕”？这些高考谣言别再信了
- 绅士老司机|《爱的迫降》：不爱你的人，就别再勉强了
- 业主|这3种物业费不再交？业主别再“傻傻”送钱了，今年起
- 楼市战略|这3种物业费不再交？业主别再“傻傻”送钱了，今年起
- 博科园量子计算机诞生，再连接光量子通信网络，就能实现量子互联网啦！
- |今年起，这3种物业费不再交？业主别再“傻傻”送钱了
- 博科园|再连接光量子通信网络，就能实现量子互联网啦！，量子计算机诞生