讲堂 | 童欣：深度学习和人工智能，如何改变图形的生成与创作( 四 )
图8：在贺卡上的应用效果
视频2是另外一个结果 ， 这是一个皮革 ， 在这里我们只拍了2张图 ， 大家看到这个皮革具有非常复杂的材质细节外观 ， 它有皮革的部分、有线的部分 ， 有两种材质 ， 同样 ， 它表面有非常丰富的凹凸变化 。 所有这些变化都能被我们完美地恢复出来 ， 然后我们把它放到一个新的虚拟环境中 ， 当我们进行绘制时 ， 所有的材质都能展示出非常真实的外观、反光等效果 。
文章插图
视频2：在皮革上的应用效果 ， 请扫码观看
智能图形数字化刚才我们讲到了 ， 如何用机器学习和人工智能技术帮助大家生成图形的素材 ， 那我们怎么用这些技术帮助大家去做真实世界的数字化呢？
真实世界数字化的一个任务是通过扫描一个真实世界的物体 ， 生成这个物体高度真实的数字克隆 。 这个过程 ， 我们希望足够简单 ， 用户拿手机或者一个单反相机 ， 不需要用任何专业的设备 ， 只要绕着物体拍一拍就可以了 。 同时 ， 我们希望拍摄的结果不是一个只能在原有的视点观看的照片集合 ， 而是用户想从什么角度看 ， 就能从什么角度看的全新的呈现 。 因为原来在拍摄的时候可能是在一个特定的光照下进行的 ， 那我们希望在任何新的光照下 ， 都能够看到这个物体 ， 不希望对物体有限制 。 对于玩具猫这种毛茸茸的东西 ， 如果大家知道一些计算机视觉和图形学的知识 ， 就会知道 ， 这样的物体在以前是非常难拍的 。 我们的技术既能拍半透明的物体 ， 也能拍毛茸茸的物体 ， 还可以拍一些简单的物体 ， 比如茶壶 。
同样 ， 我们也希望我们的技术可以结合深度神经网络 ， 建立一个全新的三维物体表达 。 传统的方式是一个三维的精确的形状加一个材质贴图 。 然而 ， 这种精确的三维形状加材质对很多物体 ， 比如毛茸茸的物体、半透明的物体 ， 都需要有不同的表达 ， 而这些不同的表达相差甚远 ， 很难用一个统一的方式来进行绘制和建模 。 所以我们希望结合深度神经网络做一个统一的深度物体表达 。 我们的物体的几何是物体一个粗略的三维几何 ， 在这个几何上 ， 我们生成了材质贴图 ， 但这种不是物理意义的材质贴图 ， 而是由神经网络生成的 ， 我们叫做深度特征材质贴图 。 有了这些抽象的材质贴图 ， 再加上三维形状 ， 通过训练好的神经网络进行投影绘制、生成出用户想要的任何图像 ， 这是一个全新的绘制流水线 。
有了这个技术 ， 大家可以看到 ， 通过手机所拍摄的图像就可以非常真实地重建出我们现实世界的任何场景、物体 。 比如图9中最左边的半透明物体 ， 可以看到 ， 把它放到一个新的光照下 ， 这和我们拍摄的光照是完全不同的 ， 但仍可以看到它表面的高光的变化 ， 这些半透明的效果都被完美地重现了出来 。 图9中间这个物体是毛绒的玩具 ， 几个物体互相之间有遮挡 ， 光照在上面的时候不仅有阴影 ， 还有光在它们之间的一些反射效果 ， 非常复杂 。 我们的技术可以很真实地再现所有的结果 ， 保证在任何光照和视点下都可以进行非常高度真实感的绘制 。 图9最右边是一个小玩具 ， 当这个玩具用我们的技术表达了以后 ， 可以把它放到不同的光照环境中去绘制 ， 视点也可以进行远近的调整 。 大家可以想象一下 ， 这样的技术意味着我们可以快速地把真实世界的任何一个物体融入到游戏里 ， 变成一个道具 ， 同时也方便大家把真实的物体图形传送到其他地方去 ， 比如做一些和增强现实等相关的应用 ， 该技术都可以快速地生成很好的结果 。
文章插图
图9：智能图形数字化的结果展示
刚才讲到了从传统的流水线慢慢地发展 ， 结合深度学习技术 ， 加上传统的三维形状表达来做新的绘制算法 ， 帮助大家生成更加真实的效果 。 而随着深度学习的发展 ， 未来将可以完全绕开三维形状 ， 直接从大家收集的图像出发 ， 生成高度真实的图像 。
推荐阅读
- 创维小湃盒子P3 Pro深度评测
- 把时间花在更有价值的地方，关注这几个有深度的订阅号
- 新基建下，系统集成商数字化建设及渠道管理深度解析
- 新王登基！小米11深度评测：年度真香旗舰预订？
- 打破开发壁垒，2020深度学习开发者峰会百度飞桨认证PPDE分享开源收获
- 深度解读埃森哲《企业智能工作白皮书》，智能工作模式发展有四阶段
- 内容深度打通 喜马拉雅X Redmi小爱音箱Play联名音箱上线
- 「深度」12年了，苹果和特斯拉的爱恨情仇仍在继续
- 为将Windows 10引入Apple Silicon Mac 微软与Parallels展开了深度合作
- 适用于机器学习、数据科学和深度学习，不同价位最好的笔记本电脑