江苏龙网

  1. 首页 > 资讯 > 科技 > >

|用神经网络给照片补光，谷歌这项研究却实现了「鬼片」效果


机器之心报道
编辑：魔王、杜伟、小舟
打光是图像处理过程中的重要步骤 ， 打光的好坏可能会影响整体效果的展示 。 打光方法也各有不同 ， MIT、谷歌等的一项新研究另辟蹊径 ， 通过神经光传输方法进行图像的二次打光和视图合成 ， 实现了相当不错的效果 。
图像合成早已不是新鲜话题 ， 但是「打光」可是所有照片的难题 。 对于人类摄影师而言 ， 打光就是件挺复杂的事 ， 那么合成图像中的光线问题又该如何解决呢？
最近 ， 来自 MIT、谷歌和加州大学圣地亚哥分校的研究人员进行了一项研究 ， 试图通过神经光传输（Neural Light Transport ， NLT）对图像进行二次打光（relighting）和视图合成（view synthesis） 。
那么 ， 这项研究提出的 NLT 方法效果如何呢？研究者在多个场景下进行了测试 ， 包括 Directional Relighting、基于不同图像背景的打光、根据摄像头路径不同进行视图合成后的打光效果等等 。
|用神经网络给照片补光，谷歌这项研究却实现了「鬼片」效果
本文插图

效果看起来不错 ， 就是有点像鬼片……（瑟瑟发抖
具体而言 ， 在 Directional Relighting 场景下 ， NLT 实现了如下效果：
在基于图像的 Relighting 场景下 ， 人物的打光效果随着背景图像的变换而不断调整：
|用神经网络给照片补光，谷歌这项研究却实现了「鬼片」效果
本文插图

那么在涉及视图合成时 ， 效果如何呢？
|用神经网络给照片补光，谷歌这项研究却实现了「鬼片」效果
本文插图

同时进行二次打光和视图合成呢？
|用神经网络给照片补光，谷歌这项研究却实现了「鬼片」效果
本文插图

NLT 方法如何实现这样的效果？我们来看论文详情 。
神经光传输（NLT）论文简介
|用神经网络给照片补光，谷歌这项研究却实现了「鬼片」效果
本文插图

论文地址：https://arxiv.org/pdf/2008.03806.pdf
项目页面：http://nlt.csail.mit.edu/
场景的光传输（LT）描述了场景在不同布光和视角方向下的样子 ， 对场景 LT 的全面了解有助于在任意布光条件下合成新的视图 。
这篇论文探讨了基于图像的 LT 采集 ， 主要用于光照平台设置中的人体 。 研究者提出了一种半参数方法 ， 以学习嵌入到已知几何特性的纹理图集空间中的 LT 的神经表示 ， 并将所有非漫射和全局 LT 建模为残差 ， 并将其添加到物理精确的漫反射基底渲染中 。
具体而言 ， 该研究展示了如何融合先前看到的光源和视图观察结果 ， 基于选定的视点和期望照明条件合成同一场景的新图像 。
【|用神经网络给照片补光，谷歌这项研究却实现了「鬼片」效果】该策略允许网络学习复杂的材料效果（如次表面散射）和全局照明 ， 同时保证漫反射 LT 的物理正确性（如硬阴影） 。 借助这一学得的 LT ， 我们可以使用平行光或 HDRI 贴图以逼真的方式对场景进行二次打光 ， 合成具有视图依赖效果的新视图 ， 或者使用一组先前观察到的稀疏结果在一个统一框架中同时执行二次打光和视图合成这两种操作 。
该研究通过定性和定量实验表明 ， NLT 方法优于当前最优的二次打光和视图合成解决方案 ， 并且不需要像先前工作那样 ， 对这两个问题进行单独处理 。
|用神经网络给照片补光，谷歌这项研究却实现了「鬼片」效果
本文插图

NLT 方法的大致流程 。
该研究的主要贡献有：
提出一种端到端的半参数方法 ， 使用卷积神经网络从实际数据中学习对每个对象的 6D 光传输函数进行插值 。


推荐阅读


上一篇：青年|《陈情令》运用辛辣的眼神力量来劝阻原创作品和动画的粉丝

下一篇：魅族手机|8月份考虑性价比手机？这三款配置很全面，学生党爱不释手！