|AI不止能美颜，美妆迁移这样做 | 赠书( 四 )
其中Cl ， Hl ， Wl分别是网络第l层的通道数 ， 特征图高度和宽度 。
为了更加精确的控制局部区域的妆造效果 ， BeautyGAN训练了一个语义分割网络提取人脸不同区域的掩膜(mask) ， 使得无妆图和有妆图在脸部、眼部、嘴部三个区域需满足妆造损失(makeup loss) ， 妆造损失通过直方图匹配实现 ， 其中一个区域的损失定义如下：
本文插图
item可以分别表示脸部、眼部、嘴部三个区域 ， HM是一个直方图匹配操作 ， M就是图对应的掩膜 ， 表示逐个像素相乘 。
整个makeup损失定义如下：
本文插图
完整的BeautyGAN生成器损失为：
下面就是一些效果图：
本文插图
[3] Liu S, Ou X, Qian R, et al. Makeup like a superstar: Deep localized makeup transfer network[J]. arXiv preprint arXiv:1604.07102, 2016.
[4] Li T, Qian R, Dong C, et al. Beautygan: Instance-level facial makeup transfer with deep generative adversarial network[C]//Proceedings of the 26th ACM international conference on Multimedia. 2018: 645-653.
本文插图
展望
由于GAN等技术的成熟 ， 人脸的妆造迁移算法得到了长足的进步 ， 不过在实际落地中仍然会面临着一些难题 ， 如大姿态和大表情的妆造迁移问题 ， 后续的一些研究者们也基于此做出了一些工作 ， 比如Pose-Robust Spatial-Aware GAN[5] 。
本文插图
该方法包括三个模块 ， 即Makeup Distillation Network (MDNet) ， Attentive Makeup Morphing (AMM) module以及De- makeup Re-makeup Network (DRNet) 。
Makeup distillation network是一个编码器模块 ， 它从参考的妆造图y中提取特征Vy ， 然后使用1×1卷积变换为两个矩阵γ和β, 它们是大小都为1×H×W的特征图 ， 它编码了从内在的面部特征 ， 比如面部形状 ， 眼睛大小到与化妆相关的特征 ， 比如唇彩 ， 眼影之间的关系 。
原图像同样会经过Makeup distillation network得到特征Vx ， 但是因为原图像和妆造图有很大的表情和姿态差异 ， 所以γ和β不能直接应用于Vx得到最终妆造结果 ， 而Attentive makeup morphing module这个模块则在原图和参考图的逐像素差异的约束下计算出变形矩阵A ， 它的大小是HW×HW ， 这两个attention矩阵用于将γ和β进行变形得到γ’和β’ ， 使其可以用于原图 。
变形矩阵A的计算考虑了两方面的信息 ， 第一个是Makeup distillation network提取的特征V ， 大小是C×H×W ， 第二个是几何信息P ， 这是为了保证x和y的妆造像素位置的对应 ， 它的每一个特征图的元素计算了与68个人脸关键点的位置差 ， 因此大小是136×H×W ， P的计算如下 ， 其中分别表示取x和y坐标 ， 即第i个人脸关键点 。
本文插图
A的计算如下：
本文插图
其中mxi表示原图像x的第i个像素的人脸分割掩膜结果 ， myj表示妆造图y的第j个像素的人脸分割掩膜结果 ， 当两者同属于某一个语义区域比如嘴唇时 ， I(mxi=myi)等于1 ， 否则为0 。
推荐阅读
- 雷军|雷军又快人一步！华为、小米都有智能工厂，但小米却不止于此
- vivo|美不等于“美颜” 比你还懂自拍是怎样炼成的？
- Realme手机|不止175g重量 realme X7系列预热：全系标配65W闪充
- |美不等于“美颜” 比你还懂自拍的vivo S7是怎样炼成的？
- 顺风车|哈啰顺风车乱象不止转单：不符合资质花三百就能代办成为司机
- 荣耀手机|宣传低调，荣耀20销量依旧疯狂，网友：这些理由爱它不止三千遍
- 固态|固态U盘和普通U盘的差距不止是强上好几倍这么简单：爱国者 USB3.1固态U盘U391
- 富士康|iPhone主要零部件供应商全汇总 不止三星索尼富士康
- AI人工智能|华为MateBook X力证第三代移动办公不止要轻薄更要智慧
- 华为笔记本|华为MateBook X力证第三代移动办公不止要轻薄更要智慧