ZAO换脸App刷屏,其中的肖像“完全授权”条款你知道吗( 四 )

  总体上,‘Deepfakes’换脸主要分为以下过程:

  人脸定位

  人脸转换

  图像拼接

  其中人脸定位已经非常成熟了,一般定位算法可以生成人脸的特征点,例如左右眉毛、鼻子、嘴和下巴等等。人脸转换也就是采用 GAN 或 VAE 等生成模型,它的目标是生成拥有 A 表情的 B 脸。最后的图像拼接则是将人脸融合原图的背景,从而达到只改变人脸的效果。

  当然,如果生成 ZAO 这种小视频,那么还需要一帧帧地处理图像,然后再将处理后的结果重新拼接成小视频。

  人脸定位

ZAO换脸App刷屏,其中的肖像“完全授权”条款你知道吗.www.jiangsulong.com//本文由热心网友[是不是回不去了] 投稿。

  人脸定位也就是抽取原人脸的表情特征,这些特征点大致描述了人脸的器官分布。我们可以直接通过 dlib 和 OpenCV 等主流的工具包直接抽取,但它们一般采用了经典的 HOG 的脸部标记算法。这种算法根据像素亮度差确定一些‘箭头’,从而找到人脸显著的特征点。

ZAO换脸App刷屏,其中的肖像“完全授权”条款你知道吗//www.jiangsulong.com//本文由热心网友[走在下雪的夜空] 投稿。来源是:澎湃新闻

ZAO换脸App刷屏,其中的肖像“完全授权”条款你知道吗

  如上是一些人脸特征点,如果我们像换脸的表情更加真实和准确,那么也可以使用目前主流的人脸识别算法,它利用卷及网络能生成更完美的特征点。但是这类深度模型需要更大的算力,尤其是在处理高分辨率图像时。

  人脸转换

ZAO换脸App刷屏,其中的肖像“完全授权”条款你知道吗.www.jiangsulong.com//本文由热心网友[是不是回不去了] 投稿。

  后面就是‘Deepfake’应用最核心的部分了:换脸。一般我们可以通过 VAE 或 GAN 两种方式实现,这里主要介绍一下它们的思路。

  首先对于变分自编码器(VAE),我们知道它希望通过无监督的方式将人脸图像压缩到短向量,再由短向量恢复到人脸图像。这样短向量就包含了人脸图像的主要信息,例如该向量的元素可能表示人脸肤色、眉毛位置、眼睛大小等等。


推荐阅读