ECCV|ECCV 2020 | 实现通用图像复原与编辑，仅需要一个预训练的GAN( 二 ) 编辑|复原|生成器

2、先整体后局部：渐进式重建虽然改进的距离度量带来了更好的效果，但是图像复原的结果仍存在非自然痕迹，例如上图(c)五个苹果中最左边的一个没有继承到初始苹果的绿色。这是因为整个生成器在针对目标图片优化时，在浅层参数匹配好图片整体布局之前，深层参数就开始匹配细节纹理了。因此，对图像复原任务我们提出渐进式重建的策略，即在微调生成器时，先优化浅层，再逐渐过渡到深层，让重建过程“先整体后局部”：

文章图片
图4. 渐进式重建
从图3(d)可看出，采用渐进式重建后，生成器重建的苹果从一个分成两个，然后分成五个，最后匹配细节，这样最终的五个苹果都恢复了自然的颜色。
3
应用
1、图像复原我们称上述方法为深度生成式先验deep generative prior (DGP)，并运用到多种图像复原任务中，文章开头的动画展示了复原过程。这里展示更多结果：(注：这些是在ImageNet validation集上的结果，GAN在预训练时并没见过这些图片。)

文章图片
图像上色结果

文章图片
图像补全结果

文章图片
图像超分辨率结果 (四倍放大)
我们也将DGP应用于非ImageNet的图片，同样可以取得不错的效果：

文章图片
除了(b)来自Places数据集，其它图片抓取自互联网
这里(d)中两个楼房的例子很有意思，图中需要恢复部分的信息（横梁，窗户）在周围仅出现了4或8次，而生成器就能在重建的过程中“学过来”，利用周围像素信息填补缺失部分。可见相比较DIP，DGP更好地模拟了像素间的空间关系。
此外，DGP可以有更加灵活的应用，例如下图中的条件上色和混合复原。条件上色即在灰度空间重建时对生成器输入不同的类别条件，最终恢复的颜色会呈现出不同的效果。混合复原即同时进行多种图像复原任务，例如下图(b)中同时进行上色，补全，和超分辨率（两倍放大）。

文章图片
DGP还可以用于对抗防御，由于attacker加上的攻击噪声不符合自然的图像分布，用DGP可以将这种非自然噪声消除：

文章图片
2、图像编辑另一方面，由于改进的GAN inversion实现了精确的重建，我们可以利用GAN本身的特性，通过操纵隐向量来编辑目标图片。

文章图片
例如，通过对隐向量z加随机高斯噪声，可以对目标图片实现随机扰动效果：

文章图片
对重建两张图片得到的隐向量和生成器参数进行插值，可以实现图像渐变效果：

文章图片

文章图片
将生成器的输入类别改变，还可以实现对图中物体类别的转换：

文章图片
图像重建与编辑的动画demo：

文章图片
4
小结
本文提出了一种挖掘GAN中图像先验的方式，在多个任务上揭示了GAN作为一种通用图像先验的潜力。我们首次将其应用于复杂图片的对抗防御；提出了同时插值隐变量和生成器的图像渐变方法；实验中DGP所展现出的强大的像素间空间关系模拟能力也十分有趣。
Reference： [1] Pan, Xingang, et al. "Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation." ECCV2020.
[2] Ulyanov, Dmitry, Andrea Vedaldi, and Victor Lempitsky. "Deep image prior." CVPR2018.
[3] Bau, David, et al. "Semantic photo manipulation with a generative image prior." ACM Transactions on Graphics (TOG) 38.4 (2019): 1-11.
[4] Gu, Jinjin, Yujun Shen, and Bolei Zhou. "Image processing using multi-code gan prior." CVPR2020.
[5] Menon, Sachit, et al. "PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models." CVPR2020.
如何加入？
【来源：AI科技评论】
声明：转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢。邮箱地址：newmedia@xxcb.cn

ECCV|ECCV 2020 | 实现通用图像复原与编辑，仅需要一个预训练的GAN( 二 )

推荐阅读

『游泳池』全球最奇特的4家有游泳池，有的颜色像“血”，有的最“魔鬼”

手中雕刻生花朵▲日本这一数据却在西方七国中排名垫底，坐拥52家世界500强

五官疾病|缺牙危害你知道多少？

这些地方最好玩：换用抽拉式设计，华为新款折叠屏机型专利现身

斯诺克很难|特鲁姆普出局，2020世锦赛：火箭逆转进4强将战塞尔比

[综艺节目]早应该被停播的几个综艺节目，不仅内幕让人气愤，甚至还误导青少年

网络营销是什么，网络营销的四大基础理论

人民军队|军网网评：从抗洪救灾看这支军队的“变”与“不变”

人民日报客户端内蒙古频道|蒲公英种植结硕果鲜野菜产业铺新路

佩洛希|美国总统特朗普5日宣布出院缓解不确定性带动美股上涨

近千位胆结石患者中有三成会把胆结石当成胃病来治疗，很惊人

玉坠怎么清洗和保养方法玉坠怎么清洗和保养方法视频

阳光有一刻耀眼|选择存银行定期，银行员工：这样存每年利息近6000，手中有10万

鸡蛋和鸭蛋哪个营养价值更高一点,请问鹅蛋鸭蛋鸡蛋哪一个营养最好呢-

俊男美女|历史上两位皇后同姓甄氏美女，她们的命运也非常相似

湖北遭遇入汛以来暴雨范围最广降雨天气

叶桃之|朋友多交无益，人到中年

银行|7家银行信用卡业务比拼：工行发卡量最大，浦发不良率最高

巴菲特西方石油100亿?巴菲特重仓石油股

女子|女乘客有轻生倾向还说去电站大桥出租司机接下来做了这件事……