机器之心的进化 / 理解 AI 驱动的软件 2.0 智能革命(11)


在虚拟世界中做模拟,Meta 和 Nvidia 自然不能缺席 。佐治亚理工学院的计算机科学家 Dhruv Batra 也是 Meta AI 团队的主管,他们创造了一个名叫 AI 栖息地(AI Habitat)虚拟世界,目标是希望提高模拟速度 。在这里智能代理只需挂机 20 分钟,就可以学成 20 年的模拟经验,这真是 元宇宙一分钟,人间一年呀 。Nvidia 除了给机器人提供计算模块之外,由 Omniverse 平台提供支持的 NVIDIA Isaac Sim 是一款可扩展的机器人模拟器与合成数据生成工具,它能提供逼真的虚拟环境和物理引擎,用于开发、测试和管理智能代理 。
机器人本质上是具体化的 智能代理,许多研究人员发现在虚拟世界中训练成本低廉、受益良多 。随着参与到这个领域的公司越来越多,那么数据和训练的需求也会越来越大,势必会有新的适合 EAI 的 基础模型诞生,这里面潜力巨大 。
Amazon Prime 最新的科幻剧集《The Peripheral》,改编自 William Gibson 在 2014 年的出版的同名小说,女主角就可以通过脑机接口进入到未来的 智能代理 。以前一直觉得 Metaverse 是人类用来逃避现实世界的,但对于机器人来说,在 Metaverse 中修行才是用来征服现实世界的 。
ARK Invest 在他们的 Big Ideas 2022 报告中提到,根据莱特定律,AI 相对计算单元(RCU - AI Relative Compute Unit)的生产成本可以每年下降 39%,软件的改进则可以在未来八年内贡献额外 37% 的成本下降 。换句话说,到 2030 年,硬件和软件的融合可以让人工智能训练的成本以每年 60% 的速度下降 。
AI 硬件和软件公司的市值可以以大约 50% 的年化速度扩大,从 2021 年的 2.5 万亿美元剧增到 2030 年的 87万亿美元 。
通过将知识工作者的任务自动化,AI 应能提高生产力并大幅降低单位劳动成本,从生成式 AI 的应用的大爆发就可以看出端倪;但用来大幅降低体力劳动的成本,现实世界的 AI 还有更长的路要走 。我们原以为着 AI 会让体力劳动者失业,却不知道它们确有潜力让脑力劳动者先下岗了 。
06 AI 进化的未来
科幻小说家 Arthur Clarke 这样说过:" 任何先进的技术都与魔法无异"!如果回到 19 世纪,想象汽车在高速路上以 100 多公里的时速行驶,或者用手机与地球另一端的人视频通话,那都不可想象的 。自 1956 年 Dartmouth Workshop 开创了人工智能领域以来,让 AI 比人类更好地完成智力任务,我们向先辈们的梦想前进了一大步 。虽然,有些人认为这可能永远不会发生,或者是在非常遥远的未来,但 新的模型 会让我们更加接近大脑工作的真相 。对大脑的全面了解,才是 AI 通用化(AGI)的未来 。
6.1 透视神经网络
科学家们发现,当用不同的神经网络训练同一个数据集时,这些网络中存在 相同的神经元 。由此他们提出了一个假设:在不同的网络中存在着普遍性的特征 。也就是说,如果不同架构的神经网训练同一数据集,那么有一些神经元很可能出现在所有不同的架构中 。
这并不是唯一惊喜 。他们还发现,同样的 特征检测器 也存在与不同的神经网络中 。例如,在 AlexNet、InceptionV1、VGG19 和 Resnet V2-50 这些神经网络中发现了曲线检测器(Curve Detectors) 。。不仅如此,他们还发现了更复杂的 Gabor Filter,这通常存在于生物神经元中 。它们类似于神经学定义的经典"复杂细胞",难道我们的大脑的神经元也存在于人工神经网络中?
OpenAI 的研究团队表示,这些神经网络是可以被理解的 。通过他们的 Microscope 项目,你可以可视化神经网络的内部,一些代表抽象的概念,如边缘或曲线,而另一些则代表狗眼或鼻子等特征 。不同神经元之间的连接,还代表了有意义的算法,例如简单的逻辑电路(AND、OR、XOR),这些都超过了高级的视觉特征 。
大脑中的 Transformer
来自 University College London 的两位神经科学家 Tim Behrens 和 James Whittington 帮助证明了我们大脑中的一些结构在数学上的功能与 Transformer 模型的机制类似,具体可以看这篇《How Transformers Seem to Mimic Parts of the Brain》,研究显示了 Transformer 模型精确地复制在他们 大脑海马体 中观察到的那些工作模式 。
去年,麻省理工学院的计算神经科学家 Martin Schrimpf 分析了 43 种不同的神经网络模型,和大脑神经元活动的磁共振成像(fMRI)还有皮层脑电图(EEG)的观测做对比 。他发现 Transformer 是目前最先进的神经网络,可以预测成像中发现的几乎所有的变化 。计算机科学家 Yujin Tang 最近也设计了一个 Transformer 模型,并有意识的向其随机、无序的地发送大量数据,模仿人体如何将感官数据传输到大脑 。他们的 Transformer 模型,就像我们的大脑一样,能够成功地处理无序的信息流 。


推荐阅读