神经|人工神经网络比我们想象得更类似于大脑( 二 )


《直接适应自然》的作者承认 ,
生物和人工神经网络在其电路结构、学习规则和目标功能方面存在很大差异 。
研究人员写道:“但是 , 鉴于网络的输入或环境 , 所有网络都使用迭代优化过程来追求目标 , 这一过程我们称为
'直接拟合' 。 ” “直接拟合”一词的灵感来自于进化过程中观察到的
盲拟合过程 , 这是一种优雅而漫不经心的优化过程 , 在此过程中 , 不同的生物通过长期进行的一系列随机遗传转化来适应其环境 。
作者写道 , 这个框架削弱了传统实验方法的假设 , 并出乎意料地与发展心理学和生态心理学中长期存在的争论产生了联系 。
人工智能界面临的另一个问题是可解释性和泛化性之间的权衡 。科学家和研究人员一直在寻找可以在更大范围内推广AI功能的新技术和结构 。经验表明 , 对于人工神经网络 , 规模可以提高泛化性能力 。处理硬件的进步和大型计算资源的可用 , 性使研究人员能够在合理的时间内创建和训练大型神经网络 。事实证明 , 这些网络在执行复杂任务(例如计算机视觉和自然语言处理)方面具有显着的优势 。
然而 , 人工神经网络的问题在于 , 它们变得越大 , 就会导致它们变得越不透明 。由于其逻辑分布在数以百万计的参数中 , 因此与为每个特征分配一个系数的简单回归模型相比 , 它们变得难以解释 。简化人工神经网络的结构(例如 , 减少层次或变量的数量)将使解释它们如何将不同的输入特征映射到其结果变得更加容易 。但是 , 较简单的模型也无法处理自然界中复杂而混乱的数据 。
我们认为神经计算是建立在蛮力直接拟合基础上的 , 蛮力直接拟合依赖于过度参数化的优化算法来提高预测能力(泛化) , 而无需明确建模世界的基本生成结构 。
人工智能的泛化问题
假设您要创建一个AI系统来检测图像和图片中的椅子 。理想情况下 , 您将为算法提供一些椅子图像 , 并且能够检测所有类型的正常以及古怪和时髦的图像 。
神经|人工神经网络比我们想象得更类似于大脑
本文插图

这是人工智能长期以来追求的目标之一 , 创建可以很好地“外推”的模型 。这意味着 , 在给出问题域的一些示例的情况下 , 该模型应该能够提取基本规则 , 并将其应用于以前从未见过的大量新颖示例中 。
当处理简单的(大多数是人工的)问题域时 , 可能可以通过将深层神经网络调整为一小组训练数据来达到推断水平 。例如 , 在具有有限特征(例如销售预测和库存管理)的域中 , 可以达到这种概括水平 。(但是正如我们在这些页面中所看到的 , 当环境发生根本性变化时 , 即使是这些简单的图像 , AI模型也可能会崩溃 。 )
但是 , 当涉及到诸如图像和文本之类的杂乱无章的数据时 , 小数据方法往往会失败 。在图像中 , 每个像素有效地变成一个变量 , 因此分析一组100×100像素图像成为10,000个维的问题 , 每个维都有成千上万个可能性 。
普林斯顿大学的研究人员写道:“在参数空间的不同部分 , 存在复杂的非线性和变量之间的相互作用的条件下 , 进行有限的数据推断必然会失败 。 ”
许多认知科学家认为 , 人类的大脑可以依赖内隐生成规则 , 而不需要接触来自环境的丰富数据 。 另一方面 , 人们普遍认为 , 人工神经网络不具备这样的能力 。
将神经网络直接拟合到问题域
本质上 , 有了足够的样本 , 您将能够捕获够大的问题域 。这样就可以通过简单的计算在样本之间进行内插 , 而无需提取抽象规则来预测超出训练示例范围的场景 。
随着计算硬件的发展 , 过去十年来 , 非常大的数据集的可用性使人们可以创建直接拟合的人工神经网络 。互联网拥有来自各个领域的各种数据 。科学家从Wikipedia , 社交媒体网络 , 图像存储库等创建大量的深度学习数据集 。物联网(IoT)的出现也使从物理环境(道路 , 建筑物 , 天气 , 身体等)的丰富采样成为可能 。


推荐阅读