研究|人类和机器感知比较中常见的三大陷阱，你中了几条？
文章图片
编译 | 龚 倩
编辑 | 丛 末
深度神经网络（DNNs）已经在人工智能领域取得了极大的成功，它们以图像识别、自动化机器翻译、精确医疗和许多其他解决方案为载体，直接影响着我们的生活。
不仅如此，这些现代人工算法和人脑之间有许多相似之处：首先是两者在功能上的相似，（比如说，它们都可以解决非常复杂的任务），以及它们在内在结构上的相似性（比如它们包含许多具有层级结构的神经元）。
既然这两个系统很明显存在众多相似性，于是人们不禁提出许多问题：人类视觉和机器视觉到底有多大的相似性？我们可以通过研究机器视觉来理解人类视觉系统吗？或者从另一个角度来说：我们能从人类视觉的研究中获得一些启发来改进机器视觉的效能吗？所有这些问题都促使我们对这两个奇妙的系统进行比较研究。
虽然比较研究可以增进我们对这两个系统的理解，但实践起来并不那么容易。两个系统之间存在的众多差异可能会使研究工作变得十分复杂，同时也带来许多挑战。因此，谨慎地进行DNNs与人脑之间的比较研究就显得至关重要。
文章图片
论文地址：https://arxiv.org/pdf/2004.09406.pdf
论文《The Notorious Difficulty of Comparing Human and Machine Perception》（《比较人类和机器感知中最难攻克的困难》）中，作者强调了容易得出错误结论的三个最常见的陷阱:
人们总是过于急切地得出结论：机器学习能够学会和人类类似的行为。这就好像我们仅仅因为动物的脸上可能有与人类类似的表情，就迅速得出结论认为动物也会和人类一样感到快乐或悲伤。
要得出超出测试架构和训练过程的一般性结论可能会很困难。
在比较人和机器时，实验条件应该是完全相同的。
陷阱1：人们总是过于急切地得出结论：机器学习能够学会和人类类似的行为
先来做一个小实验：下面的图像是否包含闭合轮廓？
文章图片
这张呢？
文章图片
你可能很容易判断出这两幅图像都有一个闭合的轮廓。根据格式塔理论（Gestalt Theory），对闭合轮廓的知觉被认为是人类视觉系统能够从外界获得物体意义的重要原因。人类会利用全局信息以判断一条线是否是闭合轮廓，因为图像的局部区域不足以提供完整的信息，这个过程通常被称为“轮廓整合”（contour integration）。
我们假设卷积神经网络很难完成全局轮廓整合。就其性质而言，卷积在其大部分层中主要是处理大量的局部信息，而处理全局信息的能力相对要弱一些，这就使得在对象识别中，相对于形状，卷积更擅长处理纹理信息（相关工作可参考，Geirhos等人2018年的工作《ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness》，Brendel 和Bethge 2019年的工作《Approximating CNNs with Bag-of-local-Features models works surprisingly well on ImageNet》）。
我们用下面这组具有闭合和开放轮廓的图像训练模型：
文章图片
为了测试DNN能否按有无闭合轮廓将图像分类，我们创建了自己的数据集。
令人惊讶的是，经过训练的模型几乎完美地完成了这项任务：它可以很轻易地区分出图像中是否包含闭合轮廓。如下图所示，y轴表示准确度，即正确预测的分数，其值为1意味着模型正确地预测了所有图像，而0.5则是指模型的表现比较随机。
文章图片
我们训练CNN，以让它按是否包含闭合轮廓进行图像分类。绘制的效果表明，它在和训练数据一样独立分布的测试集上表现良好。
这是否意味着DNNs可以像人类一样毫不费力地完成全局轮廓整合"/>
文章图片
我们的DNN通用性较好，不需要再次训练（用o.o.d.测试）也能很好地处理不同的数据集。与原始数据集不同，图形从原来的直线变成曲线，大多数图形轮廓包含更多的边缘或多个曲线形状。
根据这些数据，我们可以得出结论，DNNs的确可以学习“闭合”这一抽象概念。然而，这还不是最后的结论。我们研究了更多不同的数据集。这一次，我们改变了线条的颜色或粗细。然而对于这些新图形，我们的模型就无法判断图像是否包含闭合轮廓了，其准确率下降到50%左右，相当于随机猜测。
文章图片
虽然我们的DNN可以泛化到一些不同的数据集，但对于其他变化则会出现问题
在这些新图形上出现的问题，表明DNN所学习的分辨图形的策略并不能处理所有不同的数据集。接下来一个自然的问题就是探究模型究竟学到了什么策略。
正如我们最开始所假设的那样，模型似乎需要全局信息，才能很好地完成我们的任务。为了验证这个假设，我们使用了一个只能访问局部区域的模型。
推荐阅读
- 进行|“互联网时代+”背景下品牌童装折扣店的发展对策研究
- |《我的女友是机器人》首曝花絮，辛芷蕾包贝尔搞怪
- 林志颖|当明星都嫌来钱慢？林志颖研究自己，张庭夫妇卖面膜
- 疯狂抹黑！两名中国籍高校研究人员在美被捕，美司法部宣称其“破坏证据”“窃取机密”
- 机器人|AI训练师让机器人更聪明
- 澳大利亚战略政策研究所：臭名昭著的“牵线木偶”！
- 起底澳大利亚战略政策研究所：臭名昭著的“牵线木偶”！
- 「新浪科技」详解马斯克Neuralink外科手术机器人新浪科技2020-08-29 08:30:180阅
- IT|研究发现无神论者在睡眠质量方面胜过宗教教徒
- 论文|中科大学术委员会回应“情侣送礼研究”博士论文：不评价好坏