腾讯优图实验室13篇论文入选ICCV2019( 三 )


腾讯优图实验室13篇论文入选ICCV2019

----腾讯优图实验室13篇论文入选ICCV2019//----

  整体框架图

  本文提出的自光流模块 , 通过输入原图像和目标属性,自光流域模块旨在预测光流 , 并利用光流对原图像采用变形操作得到中间结果图像 。 该论文利用一个编码-解码网络作为该模块的主要结构 , 其中他们主要考虑了网络结构、域分类器、微调模块、残差结构、注意力掩码几方面的设计 。

  同时 , 为了产生更高分辨率的图像 , 该论文采用了一种新颖的粗到细的神经网络训练策略 。

  在训练好低分辨的神经网络后会有许多中间结果的低分辨率表示 。 具体地 , 低分辨率的自光流域w残差r以及注意力掩码m是已知的 。 为了得到它们的高分辨率表示 , 首先对它们进行双线性插值上采样到分辨率更高的w, r以及m 。 但是通过双线性插值的上采样所得到的结果往往是模糊的 , 因此对于这三个变量他们引入了三个小的增强神经网络对上采样的结果进行微调 。 利用微调后的高分辨率中间结果 , 我们即可对高分辨率的输入图像进行处理和转换 , 并最后得到相应的高分辨转换结果 。


腾讯优图实验室13篇论文入选ICCV2019

----腾讯优图实验室13篇论文入选ICCV2019//----

  RaFD数据集上的图像转换结果 , 从左到右依次为:输入、愤怒、惊恐、开心(后三个为算法生成结果)

  本论文通过提出自光流模块 , 将图像域间的几何变换显式地引入到了图像转换框架中 。 算法主要在CelebA-HQ和RaFD数据集上进行验证 , 其结果相比于现有算法都有一定的提升 。 其各部分的实验充分证明了该框架的有效性 , 并且取得了很好的图像转换效果 。 这一框架也给解决图像转换中的几何变换问题提供了新的解决思路 。 论文地址:http://jiaya.me/papers/imgtrans_iccv19.pdf


推荐阅读