■看GAN如何一步步控制图像生成风格？详解StyleGAN进化过程( 四 )
StyleGAN 生成图像中存在类似水滴的斑状伪影 ， 在生成器网络的中间特征图中此类伪影更加明显 。 这一问题似乎出现在所有 64×64 分辨率特征图中 ， 且在分辨率更高的特征图中更为严重 。
本文插图
GAN 技术已经很成熟 ， 现在我们可以很容易地放大图像 ， 查看伪图像检测过程中异常图像模式出现的区域 。
本文插图
StyleGAN2 论文将这一问题归因于 AdaIN 中的实例归一化 。 AdaIN 原本用于风格迁移 ， 迁移过程中输入的一些重要信息被丢失 。
本文插图
StyleGAN2 论文将这一发现表述如下：
我们认为问题出在 AdaIN 运算 ， 它可以分别对每个特征图的均值和方差执行归一化 ， 由此可能摧毁在特征的幅度中找到的任何彼此相关的信息 。 我们假设这种水滴状伪影出现的原因是生成器有意将信号强度信息传递通过实例归一化：通过创建主导统计数据的强局部尖峰 ， 生成器可以像在其它地方一样有效缩放该信号 。
此外 ， StyleGAN2 提出一种替代设计方案来解决渐进式增长导致的问题 ， 以稳定高分辨率训练 。
本文插图
如上图所示 ， 即使使用渐进式增长生成的人脸图像改变方向 ， 其牙齿中缝（蓝线）没有发生变化 。
在探讨 StyleGAN2 之前 ， 我们先重新绘制 StyleGAN 设计图（下图右） 。 该设计的 AdaIN 模块同样分为两个模块 ， 但此图添加了偏置 ， 而原始设计图中省略了这一项 。 （注意 ， 目前模型设计没有任何改变）
本文插图
StyleGAN2
权重解调（weight demodulation）
在实验结果的支持下 ， StyleGAN2 做出了以下改变：
移除（简化）初期处理常数的方式；
归一化特征时无需求均值；
将噪声模块从风格模块中移出 。
本文插图
然后 ， StyleGAN2 利用权重解调简化模型设计 ， 如下图所示 。 它重新访问实例归一化设计 (Norm std) ， 意图用另一种不会造成水滴状伪影的归一化方法取代它 。 下图右是使用权重解调得到的新设计 。
本文插图
权重解调增加了以下改变：
1. 调制 (mod std) 后是卷积 (Conv 3×3) ， 二者组合起来可用于缩放卷积权重 ， 并实现为上图右中的 Mod 。 （这并未改变模型设计）
本文插图
其中 i 是输入特征图 。
2. 然后用 Demod 对权重执行归一化：
本文插图
归一化后的新权重是：
本文插图
该公式添加较小值 ε ， 以避免数值不稳定问题 。 尽管从数学角度来看 ， 这与实例归一化不同 ， 但它对输出特征图执行归一化后得到标准差 ， 并实现了与其它归一化方法类似的目标（即令训练过程更加稳定） 。 实验结果表明 ， 水滴状伪影问题得到了解决 。
推荐阅读
- 电脑数码精通|夏季如何让电脑的故障率降到最低？早知道早做准备吧
- |支付宝面试题：如果你是支付宝的产品经理，如何让更多人用支付宝点外卖？
- |传统互联网产品经理正在消失，如何自救？
- 华南科技第一线|京东618，大学生换5G新机如何选？
- 毒草科技|如何挑选入门级智能录音笔？搜狗C1对比讯飞A1，谁更值得买？
- cnBetaTB|看机器人如何制作出既有颜值又美味的蛋饼
- 京东京东沃尔玛再加持，达达募资3亿美元如何应战即时配送？
- 电视提前锁定618电视圈“爆款”海信激光电视是如何做到的？
- 搜狐新闻|充电五分钟，看剧四小时！Reno4 Slogan再升级，这些必杀技很能打
- 淘宝|如何在淘宝网上开网店？在淘宝网上开店有什么要求？