CSDN|独家揭秘!抖音爆款实时视频漫画变身特效背后技术



CSDN|独家揭秘!抖音爆款实时视频漫画变身特效背后技术
本文插图

采访人员 | 夕颜出品 | CSDN(ID:CSDNnews)动漫伴随着我们大部分人的青春 , 很多人悄咪咪地都有一个动漫梦 , 如果有一天能变身成为漫画中的人 , 感觉一定很奇妙吧?
还真就有人用技术手段帮我们实现了这个梦想 。 最近 , 抖音推出的一款漫画变身特效成为爆款 , 不论是高颜值的明星大咖 , 还是我等芸芸众生 , 都可以随手拍个视频 , 过把漫画瘾 。
CSDN|独家揭秘!抖音爆款实时视频漫画变身特效背后技术
本文插图

CSDN|独家揭秘!抖音爆款实时视频漫画变身特效背后技术
本文插图

CSDN|独家揭秘!抖音爆款实时视频漫画变身特效背后技术
本文插图

普世风格漫画脸的诞生
这款漫画特效这么火 , 与特效的操作简单 , 风格也比较符合大众审美有很大关系 , 左右滑动就能切换现实和虚拟漫画 , 效果也清新自然 , 符合大众用上之后就“变美”的心理预期 。
不过 , 在确定最终特效风格之前 , 抖音团队也是考虑到不同年龄人群的喜好 , 搜集观看了大量的漫画风格 , 包括当下日漫、国漫、韩漫的主流风格的漫画、番剧 , 比如日系清新风
CSDN|独家揭秘!抖音爆款实时视频漫画变身特效背后技术
本文插图
国漫萌萌哒风CSDN|独家揭秘!抖音爆款实时视频漫画变身特效背后技术
本文插图
还有这样的(不知道什么风??) CSDN|独家揭秘!抖音爆款实时视频漫画变身特效背后技术
本文插图
CSDN|独家揭秘!抖音爆款实时视频漫画变身特效背后技术
本文插图
CSDN|独家揭秘!抖音爆款实时视频漫画变身特效背后技术
本文插图
初期效果探索 但选到最后 , 团队锁定的效果方向为:具普世风格的漫画脸效果 。
CSDN|独家揭秘!抖音爆款实时视频漫画变身特效背后技术
本文插图
最终效果确定
这个所谓的具有普世风格的漫画脸 , 需要满足两个基本的要求——“像”和“美” 。 使用过这个特效的人应该对这两点没有什么异议 , 使用特效后 , 人物发型、脸型 , 甚至是表情和眼神都和真人神似 , 漫画脸也让人觉得莫名舒服 , 还挺好看 。
实时视频处理背后技术独家揭秘
当然 , 除了好玩之外 , 这个特效背后的“技术” , 才是我们最感兴趣的 。
和其他此前火爆过的漫画效果相比 , 这个特效总结起来特别之处在于三个关键字:“实时”、“视频”和“漫画” 。
之前 , 我们已经看过过很多漫画相关的技术应用出现 , 比如港中文、哈工大和腾讯优图合作的一篇论文中提出的方法 , 可以将将人脸照片转化成手绘版风格的卡通图 , 甚至反向把卡通图转换成真人版 , 很神奇 。
CSDN|独家揭秘!抖音爆款实时视频漫画变身特效背后技术
本文插图
华盛顿大学的照片唤醒技术 , 可以把动态图像转换成3D动态 , 让目标像是从画里走出来一般:
CSDN|独家揭秘!抖音爆款实时视频漫画变身特效背后技术
本文插图
这些神奇的魔法 , 都与GAN技术相关 。 GAN(生成式对抗网络 , Generative Adversarial Networks )是一种深度学习模型 , 是近年来复杂分布上无监督学习最具前景的方法之一 。 模型通过框架中(至少)两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出 。 由于这样的特点 , GAN成为各种生成技术的不二之选 。


推荐阅读