江苏龙网

  1. 首页 > 人文 > >

讲堂 | 童欣：深度学习和人工智能，如何改变图形的生成与创作( 二 )


近年来 ， 随着机器学习技术的发展 ， 在图形学研究中 ， 大家也开始越来越多地探索如何结合人工智能的技术来进行图形内容的生成 。 总的来说 ， 其基本思路就是廉价设备（如深度摄像头或者彩色摄像头）+智能算法+少量的用户输入 ， 从而可以更加方便的产生出高质量的三维内容 。 若要实现这个思路 ， 那么就要依赖于已有的大量数据和机器学习技术 。
当智能图形生成越来越多地被用于专业的图形内容生产中时 ， 我们会发现 ， 和传统方法相比 ， 图形内容的生成已经从手工驱动或者算法驱动 ， 变成了数据驱动 。 这意味着 ， 当产生了越来越多的高质量数据时 ， 工作室或者游戏的开发人员就有可能产生出更多好的结果 ， 即高复用度 。 同时 ， 在整个过程中 ， 手工工作会越来越少 ， 计算会越来越重要 。 当大量的手工工作变成自动或半自动的时候 ， 大家可以想到 ， 实际上我们对内容创建的集中度的要求降低了 ， 这意味着你可以让很多人来贡献内容 。 这是一件很好的事情 。
接下来 ， 我会主要展示在过去几年中 ， 包括今年 ， 我们所做的一些最新的研究工作 。 坦白地说 ， 这些研究工作离真正的落地应用 ， 即真正用于游戏创作 ， 可能还有一段距离 ， 但我们希望通过这些技术的展望 ， 能让大家看到技术发展在未来的三到五年内 ， 会给我们的游戏内容或者图形内容的创作 ， 带来哪些新的可能性 。
我将从以下几个部分分享 ， 第一个部分是如何通过人工智能技术 ， 结合数据 ， 帮助大家生成传统的图形内容 ， 如三维模型、材质库等等 。 第二部分是如何结合现在的人工智能技术、机器学习技术 ， 帮助大家更容易地把已有的真实世界的场景、物体高度真实地数字化 ， 放到游戏和计算机里 。
智能图形素材生成首先来看智能图形素材生成这一部分 。 我们发现艺术家其实很善于画二维的草图 。 当你看了草图之后 ， 很容易通过草图想象出来一个三维模型 。 因此 ， 我们想做的一件事情就是当用户脑海里有了一个三维物体 ， 或者他看到一个三维物体之后 ， 他通过勾勒像图3中间这样的草图 ， 让系统自动帮他生成一个很不错的三维形状 ， 或者一个初始的三维形状 。 有了这个之后 ， 用户可以快速地通过画大量草图来做一个概念设计 ， 之后再把差不多的三维形状放到三维造型软件里做一些细化 ， 这样就可以快速生成他想要的三维内容了 。
讲堂 | 童欣：深度学习和人工智能，如何改变图形的生成与创作文章插图
图3：用户勾勒的二维草图与相关的三维模型
为了实现这个想法 ， 我们采用了最新的机器学习和深度学习的技术 。 通过产生大量的训练数据 ， 来建立草图和对应三维形状的对应关系 。 在给出数据之后 ， 系统就建立了一个训练好的神经网络 ， 并根据用户的输入自动预测三维形状 。 用户可能会说 ， 这个技术听起来很神奇 ， 但是它不一定靠谱吧 ， 因为我给你一个二维草图 ， 我怎么知道你要预测一个什么东西 ， 如果预测的不是我要的怎么办 。 那也没有问题 ， 因为我们的系统允许用户不断的输入想要的细节来进行修改 。 系统网络会根据用户添加的输入不断细化形状 ， 最后快速生成你想要的三维结果 ， 比如图4 。
讲堂 | 童欣：深度学习和人工智能，如何改变图形的生成与创作文章插图
图4：用户修改示范
最开始 ， 用户可能画了一个轮廓 ， 我们生成了一个立体的像海星的形状 ， 这时用户说 ， 我希望海星中间凸起的地方 ， 更尖锐一点 ， 用户可以画几道 ， 随着这个改变 ， 系统会自动地细化它的形状 ， 在不断地生成越来越多的细节之后 ， 最后就生成了用户想要的形状 。 我们现在来看一个 demo 。
讲堂 | 童欣：深度学习和人工智能，如何改变图形的生成与创作文章插图


推荐阅读


上一篇：再等1天！iphone12正式发布，买之前注意这3个问题

下一篇：手游新时代？下一代手机或将支持光追效果