江苏龙网

  1. 首页 > 资讯 > 科技 > >

|图灵奖的「张冠李戴」？援引200条文献，力证2018图灵奖颁错人了( 二 )


我要纠正一下 ACM 对深度学习历史的曲解 ，I-XXI 部分可以找到大量的参考文献 ， 这些参考文献的顺序与 ACM 颁奖词所列举的领域一一对应 。
Sec. II：与 ACM 的说法相反 ， 用于模式识别的神经网络的出现要远远早于 20 世纪 80 年代 。
1965 年 ， Ivakhnenko & Lapa 就开始了基于多层感知机的深度学习研究 ， 这是在 LBH 三人之前很久就开始的 。 但 LBH 从未在研究中引用过这些方法 ， 甚至在最近的研究中也没有 。
80 年代 ， 基于梯度的「现代」学习方法仅适用于较浅层的神经网络 ， 但 1991 年我的实验室让这种方法变「深」了 。 首先是通过神经网络无监督的预训练 ， 然后是通过有监督的 LSTM 。
Sec. I 包含 ABCD 四个深度学习领域的突破 ， 但 ACM 没有提到的是 ， 它们大部分是基于我们团队的技术：
Sec A 语音识别：第一个高级的端到端神经语音识别结合了我实验室的两种方法 ， LSTM(1990s-2005) 和 CTC(2006) ， 2007 年应用于语音识别 。
Hinton（2012）和 Bengio（XV）仍然在使用上世纪八九十年代的老式混合方法 ， Hinton 等人（2012）没有将其与我们革命性的 CTC-LSTM 方法（很快就出现在了大部分智能手机上）进行对比 。
Sec B 自然语言处理：第一个高级的端到端的神经机器翻译模型（很快就被大型平台用于日均数十亿次翻译）也是基于我们的 LSTM 。
Sec C 机器人技术：强化学习训练后的 LSTM 也是机器人技术和视频游戏中最显著最核心的突破 。
Sec D 被卷积神经网络（CNN）颠覆的计算机视觉：基础的 CNN 架构是 Fukushima 在 1979 年奠定的 。 后来 ， Waibel 将 CNN 与反向传播和权值共享相结合 ， 并应用于语音 。 所有这些都是在 LeCun 的 CNN 研究之前的 。 我们的研究两次表明（1991-95 和 2006-10） ， 深度神经网络不需要无监督的预训练（这与 Hinton 的说法正好相反） 。 我们的团队（Ciresan 等）在 2011 年提出了够快、够深的 CNN 来适应高级的计算机视觉任务需求 ， 并连续赢得了 4 个图像识别竞赛 ， 这是在 Hinton 团队赢得 ImageNet 挑战赛之前 。 包括 ImageNet 2015 年冠军 ResNet 也是我们早期 Highway Net 的一个特例 。
Sec XIV：ACM 再次认可了那些未引用前人成果的研究 。
在 Hinton（2012）之前很久 ， Hanson 在 1990 年有一项研究是 dropout 的变体 ，v. d. Malsburg 在 1973 年就提出了线性整流神经元 ， 但 Hinton 没有引用这些研究 。 早在 2011 年 ， 我们的快速且深度的 CNN 在计算机视觉挑战赛中就已经将「目标识别的错误率降低了一半以上」 ， 远远早于 Hinton（2012） 。
Sec XI：ACM 提到的「GPU 加速的神经网络」其实是 Jung & Oh（2004）初创的 ， 但 LBH 并没有引用他们的文章 。
2010 年 ， 我们的深度 GPU-NN 揭示了无监督的预训练方法（我在 1991 年提出 ， 后来由 Hinton 提倡） 。 2011 年 ， 我们的 GPU-CNN 最先赢得计算机视觉挑战赛（ACM 明确提到了这一点） 。
Sec. XVIII：ACM 认为 LeCun 发展了卷积神经网络 。 然而 ， 卷积神经网络的基础是由 Fukushima 和 Waibel 奠定的 。
ACM 还明确提到了自动驾驶和医学图像分析 。 但第一支通过深度卷积神经网络赢得相关领域国际挑战赛的团队是我们（2011、2012、2013） 。
Sec. VII：ACM 明确提到了医学和材料科学 。 我们的深度神经网络是第一个赢得医学影像挑战赛的（2012 年和 2013 年） ， 也是第一个将深度神经网络应用于工业材料缺陷检测的（自 2010 年以来） 。
当代反向传播最初是由 Linnainmaa 在 1970 年发表的 ， 而不是 LeCun、Hinton 或者他们的同事（1985）提出的 ， 但是他们并没有引用 Linnainmaa ， 甚至在后续的研究中也没有提及 。
Ivakhnenko 的深度前馈网络（1965）在 Hinton（20 世纪 80 年代）很久之前就已经学习了中间表征 ， 而且比 Hinton 提出的网络要深 ， 但 Hinton 从未引用他 。


推荐阅读


上一篇：八七玩数码|灰色简约风——FIIL CC使用体验

下一篇：IT小灵通|小米顶级旗舰MIX4：100%屏占比+1.5亿像素，预定下半年机皇？