■看GAN如何一步步控制图像生成风格？详解StyleGAN进化过程( 五 )
StyleGAN2 做出的改进
现在 ， 我们来看 StyleGAN2 的改进版本 。 下图总结了多种模型改动 ， 以及对应的 FID 分数改进情况（FID 分数越小 ， 模型性能越好） 。
本文插图
懒惰式正则化（Lazy regularization）
StyleGAN 对 FFHQ 数据集应用 R?正则化 。 懒惰式正则化表明 ， 在成本计算过程中忽略大部分正则化成本也不会带来什么坏处 。 事实上 ， 即使每 16 个 mini-batch 仅执行一次正则化 ， 模型性能也不会受到影响 ， 同时计算成本有所降低 。
路径长度正则化
如前所述 ， 路径长度可用于度量 GAN 性能 。 一个可能的麻烦是 ， 插值路径上不同片段之间的路径距离变动很大 。 简而言之 ， 我们希望连续的线性插值点之间的图像距离类似 。 也就是说 ， 潜在空间中的位移会导致图像空间中出现同样幅度的变化 ， 而这与潜在因子的值无关 。 因此 ， 我们添加一个正则化项 ， 如下所示：
本文插图
当图像空间中的变化与预计位移不同时 ， 成本增加 。 图像空间中的变化基于梯度计算得到 ， 预计位移则近似于目前的运行平均值 。
此处不再详述 ， 代码参见：https://github.com/NVlabs/stylegan2/blob/7d3145d23013607b987db30736f89fb1d3e10fad/training/loss.py ， 读者可以据此运行 debugger 。
渐进式增长
StyleGAN 使用渐进式增长来稳定高分辨率图像的训练 。 上文我们提到了渐进式增长的问题 ， StyleGAN2 寻求一种替代设计 ， 允许深度较大的网络也能具备良好的训练稳定性 。 ResNet 使用残差连接（skip connection）来实现这一目标 。 因此 StyleGAN2 探索了残差连接设计和其它与 ResNet 类似的残差概念 。 对于这些设计 ， 我们使用双线性滤波器对前一层执行上采样/下采样 ， 并尝试学习下一层的残差值 。
本文插图
下图展示了判别器和生成器之间存在残差连接的 MSG-GAN 模型 。
本文插图
下表展示了不同方法的性能提升情况 。
本文插图
大型网络
在这些改动之后 ， 我们进一步分析了高分辨率层对图像生成的影响 。 StyleGAN2 论文度量了不同模型层输出图像的变化 。 下图左表示每个层对生成图像的贡献 ， 横轴表示训练过程 。
在训练初期 ， 低分辨率层占主导地位 。 然而 ， 随着更多训练迭代的完成 ， 高分辨率层（尤其是 1024 × 1024 层）的贡献不如预计的多 。 研究者怀疑这些层的容量不够大 。 事实的确如此 ， 当高分辨率层中的特征图数量翻倍时 ， 其影响力显著上升（右图） 。
本文插图
原文链接：https://medium.com/@jonathan_hui/gan-stylegan-stylegan2-479bdf256299
推荐阅读
- 电脑数码精通|夏季如何让电脑的故障率降到最低？早知道早做准备吧
- |支付宝面试题：如果你是支付宝的产品经理，如何让更多人用支付宝点外卖？
- |传统互联网产品经理正在消失，如何自救？
- 华南科技第一线|京东618，大学生换5G新机如何选？
- 毒草科技|如何挑选入门级智能录音笔？搜狗C1对比讯飞A1，谁更值得买？
- cnBetaTB|看机器人如何制作出既有颜值又美味的蛋饼
- 京东京东沃尔玛再加持，达达募资3亿美元如何应战即时配送？
- 电视提前锁定618电视圈“爆款”海信激光电视是如何做到的？
- 搜狐新闻|充电五分钟，看剧四小时！Reno4 Slogan再升级，这些必杀技很能打
- 淘宝|如何在淘宝网上开网店？在淘宝网上开店有什么要求？