#Python#ICCV2019:DeepFill一个用于生成图像修复任务的开源框架
作者
本文插图
介绍
作者提出了一种生成式图像修复系统 ， 该系统基于从数百万个图像中学习的门控卷积 ， 无需额外的标记工作 。 作者所提出的卷积解决了将所有输入像素都视为有效像素的香草卷积问题 ， 通过为所有通道在所有层上的每个空间位置提供可学习的动态特征选择机制来概括部分卷积 。
此外 ， 由于自由形式的蒙版可能会出现在任何形状的图像中 ， 因此为单个矩形蒙版设计的全局和局部GAN均不适用 。 因此 ， 我们还通过应用频谱归一化提出了基于补丁的GAN损失 ， 称为SN-PatchGAN鉴别密集图像斑块 。 SN-PatchGAN的配方简单 ， 训练快速 ， 稳定 。 自动图像修复和用户指导的扩展的结果表明 ， 与以前的方法相比 ， 我们的系统可产生更高质量和更灵活的结果 。 我们的系统可帮助用户迅速移除分散注意力的物体 ， 修改图像布局 ， 清除水印并编辑脸部 。
下图显示处理：
本文插图
作者在项目中提供了一个交互式演示 ， 我们可以自由地遮盖图像的某些部分 ， 然后检查其生成效果 。 Deepfill V2提供了两个模型 ， 这些模型在两个数据集上进行了预训练：places2和celebahq 。 从效果的角度来看 ， 至少对于这两个数据集 ， 它在场景和面部图像中做得非常好 ， 尤其是在人脸补全效果突出 。
本文插图
第一行是真实图像 ， 第二行是删除细节的图像 ， 第三行是DeepFill v2修复的图像
作者指出 ， 该项目只有三个依赖项 ， 即Python 3、TensorFlow和他制作的TF工具包neuralgym 。 作者在TF 1.3、1.4、1.5、1.6、1.7上进行了测试 ， 并将各种模型超参数放入YML文件中 ， 以便于调整 。
本文插图
带有门控卷积和SN-PatchGAN的框架概述 ， 用于自由形式的图像修复 。
我们来看下作者针对不同方法的比较 ， 包括PatchMatch ， Global＆Local ， ContextAttention ， PartialConv和我们的方法 。 图片修复的比较基于四个维度：Semantics ， Non-Local ， Free-Form和User-guided选项如下图所示：
本文插图
均值误差比较
本文插图
相关修复图片
本文插图
本文插图
结论
作者提出了一种基于端到端生成网络的新型自由形式图像修复系统 ， 该网络具有门控卷积 ， 并经过逐像素1损失和SN-PatchGAN训练 。 而且证明了门控卷积显着改善了免费的修复效果形式的掩码和用户指导输入 。 我们以用户素描为例 ， 以帮助用户快速移除分散注意力的对象 ， 修改图像布局 ， 清除水印等 。
论文地址：
https://arxiv.org/pdf/1806.03589.pdf
开源地址：
【#Python#ICCV2019:DeepFill一个用于生成图像修复任务的开源框架】https://github.com/JiahuiYu/generative_inpainting
推荐阅读
- 『任克说』不但没有任何污点，孙子还家喻户晓，史上第一个太监皇帝
- 『略大参考』陆正耀是下一个贾跃亭吗？，瑞幸继承了贾跃亭的衣钵
- 「老郭说军事」中科院院士，因支持一个数百亿项目备受争议，他是归国的科学家
- 『启上神兵』谁该为这次事故负责？华春莹公布内情，日本驱逐舰被撞开一个大洞
- 『君叔笑话』发现一个多年未见的女同学改了名字，开心一刻笑话：年底同学聚会
- 半尺笔锋▲恰巧遇到前男友和他女朋友，幽默笑话：放假休息一个人去逛逛街
- 「育儿小手册」遇到了一个特殊盒子，里边的物资无法拾取，“吃鸡”把对手淘汰后
- [北门儿]尽快满足一个要求，足协开恩了！天海自救新路走通了
- 『一个蓬蒿人』才跑一半就趴窝，广东暴雨“浇灭”车主好梦：开新能源上高速
- [枕边文化]哪一个都受不了，为啥高速上看不到劳斯莱斯？车主：就这几点