OpenAI最初提出的GPT1 ， 采取的是生成式预训练Transform模型（一种采用自注意力机制的深度学习模型） ， 此后整个GPT系列都贯彻了这一谷歌2017年提出 ， 经由OpenAI改造的伟大创新范式 。
简要来说 ， GPT1的方法包含预训练和微调两个阶段 ， 预训练遵循的是语言模型的目标 ， 微调过程遵循的是文本生成任务的目的 。
2019年 ， OpenAI继续提出GPT-2 ， 所适用的任务开始锁定在语言模型 。GPT2拥有和GPT1一样的模型结构 ， 但得益于更高的数据质量和更大的数据规模 ， GPT-2有了惊人的生成能力 。不过 ， 其在接受音乐和讲故事等专业领域任务时表现很不好 。
2020年的GPT3将GPT模型提升到全新的高度 ， 其训练参数是GPT-2的10倍以上 ， 技术路线上则去掉了初代GPT的微调步骤 ， 直接输入自然语言当作指示 ， 给GPT训练读过文字和句子后可接续问题的能力 ， 同时包含了更为广泛的主题 。
现在的ChatGPT则是由效果比GPT3更强大的GPT-3.5系列模型提供支持 ， 这些模型使用微软Azure AI超级计算基础设施上的文本和代码数据进行训练 。
具体来说 ， ChatGPT在一个开源数据集上进行训练 ， 训练参数也是前代GPT3的10倍以上 ， 还多引入了两项功能：人工标注数据和强化学习 ， 相当于拿回了被GPT3去掉的微调步骤 ， 实现了在与人类互动时从反馈中强化学习 。
也因此 ， 我们得以看到一个强大的ChatGPT：能理解人类不同指令的含义 ， 会甄别高水准答案 ， 能处理多元化的主题任务 ， 既可以回答用户后续问题 ， 也可以质疑错误问题和拒绝不适当的请求 。
当初 ， GPT-3只能预测给定单词串后面的文字 ， 而ChatGPT可以用更接近人类的思考方式参与用户的查询过程 ， 可以根据上下文和语境 ， 提供恰当的回答 ， 并模拟多种人类情绪和语气 ， 还改掉了GPT-3的回答中看似通顺 ， 但脱离实际的毛病 。
不仅如此 ， ChatGPT能参与到更海量的话题中来 ， 更好的进行连续对话 ， 有上佳的模仿能力 ， 具备一定程度的逻辑和常识 ， 在学术圈和科技圈人士看来时常显得博学而专业 ， 而这些都是GPT-3所无法达到的 。
尽管目前ChatGPT还存在很多语言模型中常见的局限性和不准确问题 ， 但毋庸置疑的是 ， 其在语言识别、判断和交互层面存在巨大优势 。同属于生成式AI范畴 ， ChatGPT在速度上已经比DeepMind研究人员提出的聊天机器人Sparrow（麻雀）模型领先一步 。
有分析指出 ， OpenAI一直坚定不移的只用自然文本的上文来训练模型推动了GPT3到ChatGPT的成果 ， 其顺应了人类思考的逻辑 ， 最终由量变推动了质变 。
商业模式的通路与障碍不少人已经注意到 ， ChatGPT的能力已经涉及到AI模型之间的合作：一位网友要求ChatGPT写一个描述女孩的文案 ， 然后用ChatGPT生成的文案画出了女孩的图像 。
除了GPT系列之外 ， OpenAI其实另有一条多模态领域研究支线闻名于世 ， 即今年发布的明星产品——人工智能图像生成器DALL-E2 。以DaLL E2为代表的Diffusion Model（扩散模型）几乎完成了此前爆火的AIGC（人工智能生成内容）领域的“大一统” ， 为AI绘画树立了全新标杆 。
顶级技术能力之外 ， OpenAI能抢在谷歌和Meta之前重新书写AIGC版图 ， 与其精细化的布局相关 。
OpenAI月内的两笔收购都切中AIGC的增长点交叉地带 ， 一桩投给了音频转录编辑器Descript ， 一桩落子在AI笔记应用Mem 。前者的处理场景刚好是文本、图片、音频以及视频 ， 后者的技术底座是Transfomer模型 ， 与ChatGPT同源 。也就是说 ， OpenAI在打造自身处理下游任务的能力的同时 ， 也在寻觅能承载下游任务的容器 。
OpenAI的研究领域包括机器学习、自然语言处理和强化学习 ， 其能在短短几年间迅速崛起 ， 与创始人奥特曼对AI的创意性理解力密切相关：“十年前的传统观点认为 ， 人工智能首先会影响体力劳动 ， 然后是认知劳动 ， 再然后 ， 也许有一天可以做创造性的工作 。现在看起来 ， 它会以相反的顺序进行 。”
推荐阅读
- FFplay音频滤镜分析
- 「Gradle 进阶」史上最全的 Gradle 构建技术知识点都在这里了
- 三种常见的服务器技术 什么是服务器技术？
- 危险爱人|《危险爱人》首播，夫妻悬疑剧，有很强的故事性，有伦理尺度
- 蔡少芬|蔡少芬：香港卖房子是按平方尺的，我80多平折合成平方尺是600多
- 天下兴亡匹夫有责的意思和作者是谁 天下兴亡匹夫有责的意思
- 一种类似于草果的香料，两者料性差异，明辨用途发现一种优秀佐料
- 心理学：男女之间，缘分已尽的时候，都是有“征兆”的
- 大S|台湾省女星利菁首次对大S事件表态，也是第一位站出来力挺大S的明星
- 整容|整容痕迹明显的女明星，却嘴犟不承认自己整容