江苏龙网

  1. 首页 > 资讯 > 科技 > >

[]?深度学习如何改善我们进行科学研究的方式( 二 )


深度学习的某些视觉应用程序鲜为人知 。例如 ， 神经科学家正在试验姿势检测神经网络 ， 以跟踪动物的运动并分析其行为 。NLP技术可以扩展到其他领域
深度学习算法的进步极大地受益于另一个领域是自然语言处理 。事实证明 ， 递归神经网络 ， 长短期记忆（LSTM）网络和变形金刚在执行与语言有关的任务（例如翻译和问题解答）方面尤其擅长 。
需要明确的是 ， 当前的AI算法以与人脑根本不同的方式处理语言 。即使是最大的神经网络也会在对语言有基本了解的人类孩子可以执行的一些最简单的任务上失败 。
这是因为像所有其他类型的神经网络一样 ， RNN和Transformer是它们核心的模式匹配机器 。他们可以在数据序列中找到重复出现的模式 ， 无论是文本还是任何其他类型的信息 。根据Schmidt和Raghu的说法 ， 这些结构可用于“数据具有顺序性质（具有不同长度的不同序列）的问题 ， 以及预测问题 ， 例如确定下一个序列标记 ， 将一个序列转换为另一个序列或确定序列”相似性是重要的任务 。”
尽管该方案在处理语言的抽象和隐含含义方面存在局限性 ， 但在诸如基因组学和蛋白质组学之类的顺序结构起着重要作用的领域中 ， 它在科学研究中具有一些非常有趣的应用 。
事实证明 ， 变压器在科学研究中特别有效 。在最近的一个项目中 ， AI研究人员使用无监督学习对跨越变形多样性的2.5亿个序列中的860亿个氨基酸训练了双向Transformer 。研究人员写道：“生成的模型将原始序列映射到生物学特性的表示中 ， 而无需标记或已有领域知识 。”这是了解蛋白质序列并从原始序列中提取有关蛋白质的一般性和可转移信息的重要一步 。如果您没有很多数据怎么办？
[]?深度学习如何改善我们进行科学研究的方式
文章图片

文章图片

反对深度学习的主要批评之一是其对大量训练数据的需求 。在许多科学领域 ， 没有足够的标记数据 。在其他方面 ， 例如医学 ， 数据收集的费用过高 ， 并且要遵守处理敏感个人信息的法律 。
深度神经网络在培训期间还会消耗大量计算资源和电力 ， 这是许多人和组织无法满足的要求 。
但是 ， 并非每个深度学习模型都需要大量的训练数据 。在过去的几年中 ， 迁移学习的进步使许多开发人员无需大量数据和计算资源即可创建深度学习模型 。转移学习涉及为新任务微调预先训练的AI模型 。转移学习在计算机视觉方面取得了巨大的成功 ， 并且有许多免费的AI模型已经针对数百万个示例进行了训练 。
只要新问题足够接近基本模型的领域 ， 并且您有一组不错的示例 ， 您就有机会为新任务微调AI模型 。
“通常 ， 进行迁移学习是开始研究新感兴趣的问题的绝佳方法 。除了预先训练的权重所提供的知识重用 ， 稳定性和收敛性提高之外 ， 使用经过良好测试的标准神经网络体系结构还有好处 。”
同时 ， 他们还警告：“但是请注意 ， 转移学习的确切效果尚未完全理解 ， 并且是活跃的研究领域 。”未来几个月值得关注的另一个领域是自我监督学习 ， 这是人工智能的一个分支 ， 可以从原始数据中学习 ， 而无需人工标记的示例 。然而 ， 自我监督学习仍处于非常初级的阶段 ， 也是一个活跃的研究领域 。
但是产生结果的领域是产生模型 ， 例如产生对抗网络（GAN） 。GAN可能会生成类似于其真实副本的伪造数据 。也许他们以能够创造出的自然而又不存在的人脸而闻名 。艺术家现在正在使用GAN生成可以以高昂价格出售的艺术品 。
[]?深度学习如何改善我们进行科学研究的方式
文章图片

文章图片

但是GAN也已经在科学研究中找到了实际应用 ， 包括医学成像和蛋白质生成中的数据增强 。在最近的项目中 ， AI研究人员训练了GAN来生成功能性蛋白质序列 。研究人员写道 ， 该模型证明“人工智能在序列空间允许的生物学限制内快速生成高度多样化的新型功能蛋白的潜力” 。


推荐阅读


上一篇：全球■IDC发布第一季度全球智能手机市场的数据

下一篇：■三星屏下摄像头真机亮相 无缺直板屏幕视觉震撼