江苏龙网

  1. 首页 > 社会 > >

子非鱼|SOTA论文也未必能被接收，谷歌科学家Eric Jang谈顶会审稿尺度


选自evjang.com
作者：Eric Jang
机器之心编译
编纂：Panda
数据集过于简朴、只在一两项指标上达到 SOTA、没有充分说明之前的研究都可能成为你论文被拒的原因 。
子非鱼|SOTA论文也未必能被接收，谷歌科学家Eric Jang谈顶会审稿尺度
本文插图

会议论文评审已经成为了人工智能和机器学习领域的热点争议话题 ， 既有审稿人在线吐槽论文灌水严峻 ， 半成品太多 ， 也有投稿人网上喊冤 ， 质疑审稿人的资格和敬业程度 。 纷纷扰扰之中 ， 也许一个重要的原因是论文评审缺乏明晰的尺度 ， 严峻依靠审稿人的主观判定 。 近日 ， 谷歌 Robotics 研究科学家 Eric Jang 基于他十多场会议和研讨会的审稿经验 ， 罗列了审稿人在评审论文时可能会考虑的尺度 ， 然后他说明了自己个人的审稿尺度 。 这固然只是一位审稿人的个人看法 ， 但假如审稿人都能公然说明自己的审稿尺度 ， 当前会议论文评审方面的争议之声大概也会小一些 。
审稿人到底会考虑哪些尺度？
NeurIPS 2020 已经宣布了论文的收拒情况：在收到的 9454 篇论文中 ， 有 1900 篇被接收（接收率为 20%） 。 接收详情请参阅《NeurIPS 2020 放榜 ， 接收率史上最低！AC：低接收率带不来有趣的论文》 。 不管接收结果如何 ， 都要祝贺各位辛劳研究取得了成果 。
机器学习研究者大概都知道 ， NeurIPS 和其它一些会议的接收决定就像是一种经由加权的掷骰子游戏 。 在这个被称为「学术出版」的戏院中 ， 评议五花八门 ， 由于每个审稿人在机器学习论文方面都有各自的偏好（随便一提 ， 现在的学术出版也与实际的研究有些脱节） 。
审稿人可能会考虑以下尺度：
正确性：这是科学论文的最低要求 。 论文中给出的主张在科学上是否准确？作者是否留意了不在测试集上进行练习？假如一篇论文提出了一种新算法 ， 作者是否给出了让人信服的证据说明该算法有效的原因就是其给出的原因？
新信息：你的论文必需要能为这一领域贡献新知识 。 这个新知识可能是新算法、新的实验数据或某种解释现有概念的不同方法 。 甚至综述论文也应该包含一些新信息 ， 好比某个可以同一多个独立研究成果的全面视角 。
适当的引用：论文中应该包含一个相关研究部门 ， 其中说明了该研究与之前的研究的联系以及当前研究的新奇之处 。 某些审稿人会直接拒收没有充分说明之前的研究或与之前的研究没有足够区别的论文 。
当前最佳结果（SOTA）：审稿人通常对论文有这样两个要求：（1）提出了一种新算法 ， （2）在某个基准上实现了 SOTA 。
不能「只是」 SOTA：没有人会由于你取得了 SOTA 而惩罚你 ， 但某些专家不仅但愿看到在某项基准上取得突破 ， 好比在列表中一两项指标上的突破 。 一些审稿人甚至还会打击该领域这种「追逐 SOTA」的文化 ， 他们会以为这样的研究「立异不足」或「只是增量式研究」 。
简洁性：许多研究者都表示支持「简朴的思惟」 。 但是 ， 「你的简朴思惟」和「你对其他人的简朴思惟的简朴扩展」是两码事 ， 固然两者之间的区别并不老是显著 。
【子非鱼|SOTA论文也未必能被接收，谷歌科学家Eric Jang谈顶会审稿尺度】复杂性：某些审稿人以为没有给出任何新方法或漂亮的数学证实的论文是「简朴琐碎的」或「不严谨的」 。
清晰度和可理解性：某些审稿人关心所提出的算法的机制细节以及对机器学习的进一步理解 ， 而不只是得到更好的结果 。 这与「正确性」紧密相关 。
是否「激动人心」：NeurIPS 2020 的领域主席之一 Julian Togelius 提到 ， 他拒绝很多论文的原因就只是它们不够激动人心 。 只有 Julian 自己知道什么样的论文能感动他的心 ， 不外我以为他的意思是在选择研究课题和解决方案上「有良好的品味」 。


推荐阅读


上一篇：下饭视频|开学后，家长发现一年级知识不难，功课辅导难度却很大，原因是？

下一篇：怎样不秃顶|关于考研，有这些误区，现在知道还不晚