江苏龙网

  1. 首页 > 资讯 > 科技 > >

深度度量学习的这十三年，难道是错付了吗？( 三 )


研究者发现 ， 这些论文过分夸大了自己相对于两种经典方法——对比损失（contrastive loss）和三元组损失（triplet loss）——的改进 。 许多论文表示 ， 自己方法的性能超出了对比损失一倍还多 ， 比三元组损失也高出 50% 以上 。 这些提升是因为这些损失造成了非常低的准确性 。
这些数据有一些是来源于 2016 年的提升结构损失论文 ， 在他们的对比损失和三元组损失的实现中 ， 他们每批采样 N/2 样本对和 N/3 样本三元组（N 是批的大小） 。 因此 ， 他们只用到了每批里的一小部分数据信息 。
他们将三元组的 margin 设置为 1 ， 而最优的值大约是 0.1 。 尽管有这些实现缺陷 ， 大多数论文仍旧只是简单地引用这些较低的数字 ， 而不是依靠自己实现损失去获得一个更有意义的基线 。
通过这些基线损失所呈现的良好实现、公平竞争环境和机器学习实践 ， 研究者获得了如图 4(b) 所示的趋势图——事实上它似乎是平滑的走向 。 这表明无论是在 2006 年还是在 2019 年 ， 各种方法的性能都是相似的 。 换句话说 ， 度量学习算法并没有取得论文中所说的那么夸张的进展 ， 论文中没有提到的前沿论文也值得怀疑 。
这十几年的研究投入 ， 终究是错付了吗？
在这篇论文出现以后 ， 很多人在讨论：度量学习是否已经到了一个瓶颈期？我们还要继续在这个研究方向上前进吗？
第一个问题的答案是肯定的 ， 第二个问题的答案也是肯定的 。
中科院计算所博士生、知乎用户 @ 王晋东认为：「其实大可不必心潮澎湃、攻击别人、对该领域前途失望 。 」
其实每个领域经历过一段长时间的发展以后 ， 都必然会有研究者回过头来进行反思 。 学术研究也适用于这条定律：「走得太远 ， 忘记了为什么出发 。 」
深度度量学习的这十三年，难道是错付了吗？
本文插图

图源：知乎 @ 王晋东不在家 。 https://www.zhihu.com/question/394204248/answer/1219383067
也有深度度量学习领域研究者、CVPR 2019 论文一作前来回答 ， 并将这篇论文放在了自身研究介绍项目的开篇 ， 希望「能让做这个领域的人看到 ， 引导新入这个坑的人向着正确的方向走 。 因为 ， 我也曾是踩过这些坑过来的」 。
深度度量学习的这十三年，难道是错付了吗？
本文插图

图源：知乎 @ 王珣 。 https://www.zhihu.com/question/394204248/answer/1219001568
质疑会带来讨论 ， 讨论则引起反思 。 停下脚步后的思考 ， 与赶路一样重要 。 在你的领域 ， 也曾经有过这样的讨论吗？
参考链接：https://www.zhihu.com/question/394204248


推荐阅读


上一篇：逆光老对不上焦？被自动对焦虐惨了？此文让你学会手动对焦

下一篇：腾讯优图：带噪学习和协作学习，不完美场景下的神经网络优化策略