江苏龙网

  1. 首页 > 资讯 > 资讯 > >

ECCV|ECCV 2020 | 实现通用图像复原与编辑，仅需要一个预训练的GAN

ECCV|ECCV 2020 | 实现通用图像复原与编辑，仅需要一个预训练的GAN
文章图片
本文解读的是ECCV 2020 Oral论文《Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation》，本文提出一种挖掘预训练的对抗生成网络（GAN）中图像先验的方法，无需针对特定任务设计，便可实现种图像复原（上色，补全，超分辨率，对抗防御）和图像编辑（随机扰动，图像变形，类别转换）效果。
作者 | 潘新钢
编辑 | 丛 末
ECCV|ECCV 2020 | 实现通用图像复原与编辑，仅需要一个预训练的GAN
文章图片
论文链接：arxiv.org/pdf/2003.1365
代码链接：XingangPan/deep-generative-prior
视频链接：https://www.youtube.com/watch"/>
文章图片
Deep generative prior的图像复原效果
1
动机：挖掘生成模型的图像先验
设计和利用更好的图像先验是实现图像复原与编辑的重要途径。经典的图像先验有total variation, dark channel prior, 以及各种基于markov random field的图像先验等，他们都模拟了图像在某一方面的统计特性。而近期由于深度学习的发展，大家开始用深度神经网络来建模图像先验，其中代表性的工作是深度图像先验deep image prior (DIP) [2]。DIP揭示了卷积神经网络在结构设计上就具备了图像的一些统计特性，但由于参数由随机初始化得到，因此无法模拟图像更高级的信息例如颜色，远距离像素间的关联等。另一方面，生成模型尤其是对抗生成网络(GAN)近年来得到了长足的发展，能够相当好地模拟自然图像分布。因此，一个直观的想法是，能否以及如何利用在大规模自然图像上训练的GAN作为一种通用的图像先验？
近期已经有一些工作对此进行了尝试[3][4][5]，其中最相关的是几乎同期的multi-code GAN prior [4]和PULSE [5]，前者为周博磊老师组的工作，也欢迎大家关注。在方法上，本文提出了与它们不同的策略，实现了更丰富的功能，并且应用在重建更加困难的BigGAN模型上。
1、在观察空间重建 给定一张灰度图像，如何利用预训练好的GAN恢复它的颜色呢？一个自然的想法是在GAN的图像空间寻找一张灰度化后与目标图片一致的图片，由于GAN倾向于输出自然的图片，因此找到的这张图会有自然的颜色。动画示意如下：
ECCV|ECCV 2020 | 实现通用图像复原与编辑，仅需要一个预训练的GAN
文章图片
图1. 在灰度空间重建目标图片
这种在观察空间重建的策略在DIP等工作中就已经被应用。它有个前提条件是对应的退化变换 已知且可导，好在上色，补全，超分辨率这些任务所对应的退化变换（灰度化，裁剪，降采样）都满足该要求。
2、GAN重建的挑战 上述方案要求用GAN的生成器G准确重建一张目标图片。针对该任务，传统的做法是优化生成器输入的隐向量z，又称作GAN inversion。其对应的优化目标为：
(1)
其中 为目标图片， 为生成器， 为上述退化变换， 为图片距离度量例如MSE loss。然而在实践中，仅仅通过优化隐向量z难以准确重建ImageNet这样的复杂真实图片。例如，以下(a)(b)(c)(d)为以往GAN inversion方法的重建结果：
ECCV|ECCV 2020 | 实现通用图像复原与编辑，仅需要一个预训练的GAN
文章图片
【 ECCV|ECCV 2020 | 实现通用图像复原与编辑，仅需要一个预训练的GAN】图2. 不同GAN inversion方法对比
究其原因，一方面用来训练GAN的数据集(ImageNet)本身是自然图片中很少的一部分，另一方面GAN受限于有限的模型性能和mode collapse，其模拟的图片分布与训练集图片分布也存在鸿沟。这两方面鸿沟让GAN难以精确重建任意给定的图片。
2
解放你的Generator吧
即使存在以上限制，GAN仍然学习了丰富的图片信息。为了利用这些信息并且实现精确重建，我们让生成器online地适应于每张目标图片，即联合优化隐向量z和生成器参数 :
(2)
这种解放生成器的做法其实沿袭了DIP的思路。生成器仅需要微调，就可以实现对目标图片的精确重建，如上图中的(e)。
1、重拾被遗忘的距离度量：判别器 在GAN重建中，传统的距离度量是MSE或Perceptual loss。但是我们发现，在上述允许优化生成器参数的设定下，将这些传统距离度量用在图像恢复如上色任务中时，常常无法准确恢复颜色，并且重建过程中图像变得模糊，即生成器会丧失原本的生成特性，如下图(a)(b)所示。对此，需要设计更好的优化方式来保留生成器的特性。
ECCV|ECCV 2020 | 实现通用图像复原与编辑，仅需要一个预训练的GAN
文章图片
图3. 不同优化方式的图像重建过程对比
因此，我们在该工作中选择使用与该生成器对应的判别器来作为距离度量。与Perceptual loss所采用的VGGNet不同，判别器并非在一个第三方的任务上训练，而是在预训练时就与生成器高度耦合，它天然地适用于调整生成器的输出分布。我们用判别器特征空间的L1距离作为距离度量，即 ，其中 代表以x作为输入时判别器第i个block输出的特征。从上图(c)可以看出，使用这种基于判别器的距离度量时，重建的过程更加自然和真实，最终颜色恢复的效果也更好。


推荐阅读


上一篇：黑格比|台风“黑格比”已登陆浙江沿海，海岸掀起巨浪，有网友表示一夜未眠

下一篇：TikTok|特朗普要求TikTok9月15日前卖给美企，否则将被强制关闭