ChatGPT 的「神功」,是如何炼成的?( 七 )


后记
如果能耐着性子读到这里,读者应该自然语言的生成式 AI 的前世今生有了一点概念 。
回过头来再问一次,对于「预训练」这个深度模型里的重要概念 。读者有没有想过,预训练到底是什么?
对,具体而言,预训练就是在几千亿参数的支持下,类似 GPT 这样的超级模型灌入了难以计量的文本训练数据(说不定已经把全世界可以搜刮到的文本都拿来用了)来训练得到了一个通用大语言模型 。
不过,在更高的一个角度去畅想,当我们把全世界的文字信息直接灌进拥有数千亿参数的 AI 模型里,模型在网络的各个层级上抽取和记忆这些文字里的特征信息 。那么,GPT 这样的超级模型实际上就在通过所谓预训练方式,学习到了人类所有文字信息的全部特征,直接把人类的语言智慧记在了自己几千亿量级的神经网络大脑里 。
做到了这种程度,真的就像是我们用人类的全部知识体系来培养出了一个超级强大的机器大脑,这个大脑通过它超大规模的人工神经网络规模接纳学习了人类创造的所有内容 。进而,针对人类的任意问题,AI 可以做出连图灵测试都无法区分的真正智能回答 。
人类已经马上无法分辨,在小黑屋后面,那究竟是一个人还是一个 AI 了 。
这一天来得比想象更快 。
一个能容纳和理解人类全部文字知识,并做出真正智能回答的 AI,我们是不是可以简单认为:
今天,真正的机器智能,已然诞生 。
*头图来源:OpenAI
极客一问
你如何看待 ChatGPT?

【ChatGPT 的「神功」,是如何炼成的?】


推荐阅读