江苏龙网

  1. 主页 > 生活百科 > >

生成式AI的五大模型：VAEs、GANs、Diffusion、Transformers、NeRFs( 二 )

生成式AI


生成式AI的五大模型：VAEs、GANs、Diffusion、Transformers、NeRFs

文章插图
Diffusion扩散模型由斯坦福大学的一组研究人员于2015年开发，用于模拟和反转熵和噪声 。扩散技术提供了一种模拟现象的方法，例如盐等物质如何扩散到液体中 ， 然后逆转它，此相同模型还有助于从空白图像生成新内容 。
扩散模型是当前图像生成的首选，它们是流行的图像生成服务的基本模型，例如Dall-E 2，Stable Diffusion，Midjourney和Imagen 。它们还用于管道中生成语音、视频和 3D 内容 。此外，扩散技术还可用于数据插补，其中预测和生成缺失数据 。
许多应用将扩散模型与LLM配对，用于文本到图像或文本到视频生成 。例如，Stable Diffusion 2 使用对比语言-图像预训练模型作为文本编码器，它还添加了用于深度和升级的模型 。
Masood预测，对稳定扩散等模型的进一步改进可能侧重于改进负面提示，增强以特定艺术家风格生成图像的能力，并改善名人图像 。
Transformers转换器模型是由google Brain的一个团队于2017年开发的，旨在改善语言翻译，它们非常适合以与给定顺序不同的顺序处理信息 ， 并行处理数据并使用未标记的数据扩展到大型模型 。
它们可用于文本摘要、聊天机器人、推荐引擎、语言翻译、知识库、超个性化（通过偏好模型）、情感分析和命名实体识别，以识别人、地点和事物 。它们还可用于语音识别，如OpenAI的耳语，视频和图像中的对象检测，图像字幕，文本分类活动和对话生成 。
尽管Transformers具有多功能性，但它们确实存在局限性 。它们的训练成本可能很高，并且需要大型数据集 。由此产生的模型也相当大，这使得识别偏差或不准确结果的来源变得具有挑战性 。马苏德说：“它们的复杂性也使得解释其内部运作变得困难，阻碍了它们的可解释性和透明度 。
生成式AI的五大模型：VAEs、GANs、Diffusion、Transformers、NeRFs

文章插图
Transformer模型架构
NeRFNeRF 于 2020 年开发，用于将光场的 3D 表示捕获到神经网络中 ， 第一次实施非常缓慢，需要几天时间才能捕获第一个3D图像 。
然而，在 2022 年，英伟达的研究人员找到了一种在大约 30 秒内生成新模型的方法 。这些模型可以表示3D对象 - 具有相当的质量 - 以几兆字节为单位，而其他技术可以占用千兆字节 。它们有希望能够带来更有效的技术来捕获和生成元宇宙中的 3D 对象 。英伟达研究总监亚历山大·凯勒（Alexander Keller）说，NeRFs“最终可能对3D图形的重要性与数码相机对现代摄影的重要性一样重要 。
Masood说，NeRF在机器人，城市测绘，自主导航和虚拟现实应用方面也显示出巨大的潜力 。然而 ， NERF的计算成本仍然很高，将多个 NERF 组合成更大的场景也很具有挑战性，今天NeRF唯一可行的用例是将图像转换为3D对象或场景 。尽管存在这些限制，Masood预测NeRF将在基本图像处理任务中找到新的角色，例如去噪，去模糊，上采样，压缩和图像编辑 。
GenAI生态系统进行时重要的是要注意，这些模型正在进行中，研究人员正在寻求改进单个模型以及将它们与其他模型和处理技术相结合的方法 。Lev预测，生成模型将变得更加通用，应用程序将扩展到传统领域之外，用户还可以更有效地指导AI模型，并了解它们如何更好地工作 。
在多模态模型上也有工作正在进行中，这些模型使用检索方法来调用针对特定任务优化的模型库 。他还希望生成模型能够开发其他功能，例如进行API调用和使用外部工具，例如 ， 根据公司的呼叫中心知识微调的LLM将提供问题的答案并执行故障排除，例如重置客户调制解调器或在问题解决时发送电子邮件 。
事实上 ， 今天流行的模型架构最终可能会在未来被更高效的东西所取代 。“当新架构出现时，也许Diffusion和Transformer模型将不再有用，”怀特说 。我们在Diffusion上看到了这一点，因为它们的引入使得长短期记忆算法和RNN（递归神经网络）对自然语言应用的方法不太有利 。
有人预测，生成AI生态系统将演变为三层模型，基础层是一系列基于文本、图像、语音和代码的基础模型，这些模型摄取大量数据 ， 基于大型深度学习模型构建，并结合了人类判断 。接下来，特定于行业和功能的领域模型将改善医疗保健、法律或其他类型的数据的处理 。在顶层，公司将使用专有数据及其主题专业知识来构建专有模型 。这三个层将颠覆团队开发模型的方式，并将迎来模型即服务的新时代 。


推荐阅读


上一篇：Spring 微服务中的分布式会话

下一篇：一文读懂 AI Agents 技术