江苏龙网

  1. 主页 > 生活百科 > >

机器之心的进化 / 理解 AI 驱动的软件 2.0 智能革命( 八 )

人工智能


Transformer 将数据从一维字符串（如句子）转换为二维数组（如图像）的多功能性表明，这种模型可以处理许多其他类型的数据 。就在 10 年前，AI 领域的不同分支几乎没有什么可以交流的，计算机科学家 Atlas Wang 这样表述， “我认为 Transformer 之所以如此受欢迎，是因为 它暗示了一种变得通用的潜力，可能是朝着实现某种神经网络结构大融合方向的重要一步，这是一种通用的计算机视觉方法，或许也适用于其它的 机器智能任务” 。
更多基于Transformer 模型的 Generative AI案例，推荐好友 Rokey 的这篇《AI 时代的巫师与咒语》，这应该是中文互联网上写得最详细清晰的一篇 。
涌现和同质化
Foundation Models 的意义可以用两个词来概括：涌现和同质化 。 涌现 是未知和不可预测的，它是创新和科学发现的源头 。 同质化 表示在广泛的应用中，构建 Machine Learning 的方法论得到了整合；它让你可以用统一的方法完成不同的工作，但也创造了单点故障 。我们在 Bug 2.0 那一小节中提到的 数据污染会被快速放大，现在还会波及到所有领域 。
配图18：人工智能的涌现过程（来自斯坦福研究人员 2021 年 8 月的论文）
AI 的进化史一个不断涌现和同质化的过程 。随着 ML 的引入，可以从实例中学习（算法概率推论）；随着 DL 的引入，用于预测的高级特征出现；随着基础模型（ Foundation Models）的出现，甚至出现了更高级的功能， 在语境中学习 。同时，ML 将算法同质化（例如 RNN），DL 将模型架构同质化（例如 CNN），而基础模型将模型本身同质化（如 GPT-3） 。
一个基础模型如果可以集中来自各种模式的数据 。那么这个模型就可以广泛的适应各种任务 。
配图19：Foundation Model 的转换（来自斯坦福研究人员 2021 年 8 月的论文）
除了在翻译、文本创作、图像生成、语音合成、视频生成这些耳熟能详的领域大放异彩之外，基础模型也被用在了专业领域 。
DeepMind 的 AlphaFold 2 在 2020 年 12 月成功的把蛋白质结构预测的准确度提升到了 90% 多，大幅超过所有的竞争对手 。他们在《自然》杂志上发表的文章中提到，像处理文本字符串这样读取氨基酸链，用这个数据转换成可能的蛋白质折叠结构，这项工作可以加速药物的发现 。类似的应用也在药物公司发生，阿斯利康（AstraZeneca）和 NVIDIA 联合开发了 MegaMolBART，可以在未标记的化合物数据库上进行培训练，大幅提升效率 。
大规模语言模型
这种通用化的特征，让大规模神经网络的训练变得非常有意义 。自然语言又是所有可训练数据中最丰富的，它能够让基础模型在语境中学习，转换成各种需要的媒体内容， 自然语言 = 编程方式 = 通用界面 。
因此，大规模语言模型（LLMs - Large Scale Language Models）成了科技巨头和新创业公司必争之地 。在这个军备竞赛之中，财大气粗就是优势 ，它们可以花费数亿美元采购 GPU 来培训 LLMs，例如 OpenAI 的 GPT-3 有 1750 亿个参数，DeepMind 的 Gopher 有 2800 亿个参数，Google 自己的 GLaM 和 LaMDA 分别有 1.2 万亿个参数和 1370 亿个参数，Microsoft 与 Nvidia 合作的 Megatron-Turing NLG 有 5300 亿个参数 。
但 AI 有个特征它是 涌现 的，大多数情况挑战是科学问题，而不是工程问题 。在 Machine Learning 中，从算法和体系结构的角度来看，还有很大的进步空间 。虽然，增量的工程迭代和效率提高似乎有很大的空间，但越来越多的 LLMs 创业公司正在筹集规模较小的融资（1000 万至 5000 万美元) ，它们的假设是，未来可能会有更好的模型架构，而非纯粹的可扩展性 。
4.3 AI 江湖的新机会
随着模型规模和自然语言理解能力的进一步增强（扩大训练规模和参数就行），我们可以预期非常多的专业创作和企业应用会得到改变甚至是颠覆 。企业的大部分业务实际上是在“ 销售语言”—— 营销文案、邮件沟通、客户服务，包括更专业的法律顾问，这些都是语言的表达，而且这些表达可以二维化成声音、图像、视频，也能三维化成更真实的模型用于元宇宙之中 。机器能理解文档或者直接生成文档，将是自 2010 年前后的移动互联网革命和云计算以来，最具颠覆性的转变之一 。参考移动时代的格局，我们最终也会有三种类型的公司：
1、平台和基础设施
移动平台的终点是 iPhone 和 Android，这之后都没有任何机会了 。但在基础模型领域 OpenAI、Google、Cohere、AI21、Stability.ai 还有那些构建 LLMs 的公司的竞争才刚刚开始 。这里还有许多许新兴的开源选项例如 Eleuther 。云计算时代，代码共享社区 Github 几乎托管了 软件 1.0的半壁江山，所以像 Hugging Face 这种共享神经网络模型的社群，应该也会成为 软件 2.0时代智慧的枢纽和人才中心 。


推荐阅读


上一篇：Windows为啥难以摆脱隔代升级的魔咒？

下一篇：情人节礼物送什么给老婆女朋友好？ 情人节送老婆什么？