机器之心Pro|揭秘同行评审「十宗罪」，这样做才能改进论文评审机制( 三 )

什么阻止了这些改进？
现在，读者可能会和这篇论文的匿名评审一样失望，觉得没提出什么新鲜玩意儿。而这正是这个问题的难点：我们不缺概念创新，我们缺少的是实现。作为研究者，我们倾向于仅重视概念创新。
从组织角度，每一届 ACL 会议都由一组新的人组织，他们会设立自己的政策。这种多样性是件好事，但很多事情被同时改变，没有系统化的对比，甚至显著的成功创新也未必能留存。后果就是，下一年我们仍然不知道哪些政策有效、哪些无用。我们一直在不停地实验，但却从不检查结果。
从社区角度来看，我们没有对社交媒体上的同行评审讨论进行任何定量研究，而只是作为 Twitter #NLProc 社区的积极成员，在 rebuttal 和通知论文接收结果时看到同行评审话题的火爆（如图 3 所示）。同时，还有一些苦涩的抱怨和改革建议，但是却没有真正的行动（这也使得下一次会议时同样的事情循环出现）。

本文插图

归根结底，同行评审是一个标注问题，我们可以尝试解决它，因为我们对实验方法论、标注者间信度和偏差了解甚多。然而，我们在以下方面失败了：