江苏龙网

  1. 主页 > 生活百科 > >

MIT学者独家撰文：ChatGPT的瓶颈与解药

ChatGPT

| 甲子光年科技产业智库，作者｜罗鸿胤，编辑｜王博、苏霍伊
*本文为麻省理工学院（MIT）学者罗鸿胤独家供稿，「甲子光年」经其授权后编辑发布 。罗鸿胤是人工智能领域的青年科学家、MIT 计算机学与人工智能实验室（CSAIL）的博士后研究员，主要关注自然语言处理方向，包括自训练算法、蕴含模型、语言模型推理问题 。他博士毕业于 MIT 电子工程与计算机科学系，师从 Jim Glass 博士；本科毕业于清华大学计算机系，师从刘知远教授 。
人工智能领域一直存在着学派之争 。
曾经，“建制派”的符号主义 AI 被看作“唯一的主导力量”，“逻辑驱动”的人工智能曾主宰数十年；另一派则是代表经验主义 AI 的深度学习，不追求解释和逻辑，以神经网络和大数据开启”暴力美学“的大门 。
以 GPT 系列为代表的大语言模型就是这条“暴力美学”路线的产物 。这条路现在看来是成功的，但也存在一定的局限性 。
从人工智能诞生的第一天起，计算机科学家们一直在比较以神经网络为代表的经验主义AI与以数理逻辑为代表的符号主义AI的优劣 。简单来说，经验主义AI主张通过对大量数据的学习来获取知识 ， 而符号主义AI则强调精确的任务定义和严谨的数学工具 。
随着近十年的算力进化，神经网络这一最典型的经验主义 AI 模型得到了飞速的发展 。由于无法匹敌神经网络处理非结构化信息的能力和泛用性、无法生成非结构化数据（如自然语言），符号主义 AI 的存在感和影响力快速降低 。
但是在我看来，基于符号和逻辑的推理 (reasoning) 远比基于经验和数据的感知 (perception) 复杂 。经验主义 AI发展的顶点，正是符号主义AI大放异彩的起点 。
著名语言模型批评者 Gary Marcus 博士曾锐评道：“大语言模型没法做一些有严格定义的工作：遵守国际象棋规则、五位数字相乘、在家谱中进行可靠的推理、比较不同物体的重量等等 。”
“火力全开”的 Marcus 博士指出了目前大语言模型存在的问题，但是这个问题并非没有解决方法，我认为：大语言模型（LLM）只是不能通过生成文本做有严格定义的工作 。大语言模型可以通过生成 “自然语言嵌入式程序”（natural language embedded program, NLEP）准确完成上述工作 。
NLEP 是我与麻省理工学院（MIT）、香港中文大学（CUHK）研究团队共同研发的一种兼顾符号推理和自然语言生成的程序 。它将语言智能抽象为「“思维”编程 + 程序执行」两个步骤，能让大语言模型同时具有生成自然语言和精确执行复杂推理任务的能力 。
在传统认知里，符号 AI 无法处理非结构化数据和生成自然语言 。而NLEP的方法证明，符号AI可以处理非结构化数据、自然语言，还可以强化非结构化数据深层的结构规律和推理能力 。
或许在不久的将来，符号主义有潜力替代经验主义 。
接下来，我将从 Marcus 博士的锐评出发，讨论以下内容：
01 大模型与醉酒的人相似
当前最先进的神经网络模型其实与醉酒的人相似 。
他们都努力与人互动、跟随简单指令生成信息，少数还试图驾驶交通工具 。同时，他们也都带来了商业机遇和社会风险，并可能引起广泛讨论 。
人类认知功能不完整时（如醉酒、梦呓、疾病等），语言行为往往是脱离逻辑思维的 。
这时 ， 人类只是依赖语言本能，把输入信号强行拼凑成有一定语法结构的句子（文本补全） 。表达的内容可能是如李白斗酒诗百篇般的艺术瑰宝，也可能只是毫无意义的胡言乱语 。
事实上，人类大脑语言区域的发现正是基于临床医生对认知功能受损、保留了部分语言能力患者的研究 。类似的科学方法也被大量应用于探索 AI 模型行为和规律的研究中 。
随着算力的快速发展 ， OpenAI 等机构花费数百亿美元构建了参数量远超人类语言器官的神经网络，和文本量远超人类阅读极限的训练数据，为体积远大于人脑的机器赋予了类似的文本补全能力 。
但此类模型生成的究竟是 “语言” 还是 “梦呓”？
这个问题已经在学术界引起了激烈争论 。争论的结果关乎社会和业界对 AI可解释性、可靠性、安全性的认可程度 。而决定结果的关键就在于语言模型是否存在可控、准确的思维能力 。
为了回答这一核心问题，谷歌旗下研究机构 DeepMind 的最新论文指出，语言模型本质上是信息的压缩模型 。


推荐阅读


上一篇：自然语言数据处理：ChatGPT与DataFocus的震撼力量

下一篇：VR虚拟现实和AR增强现实有什么区别