生成德国小哥用AI拍大片!GPT-2写台词、StyleGAN做特效、Replica来配音( 二 )


生成德国小哥用AI拍大片!GPT-2写台词、StyleGAN做特效、Replica来配音
图片

使用StyleGAN2生成的一些图像
当然你也可以选择用first order model , 也是一个很棒的工作 。 它的功能简单粗暴 , 给一个静态图片 , 给一段驱动视频 , 就能让静态图动起来 , 比如用Hinton驱动下法老 。
生成德国小哥用AI拍大片!GPT-2写台词、StyleGAN做特效、Replica来配音
图片

Hinton驱动的法老
通过3 d 肯恩 · 伯恩斯效应 , 我们也可以将照片转换成魔性的动画 。
Replica Studios生成带情感的语音
语音生成可能是最古老的机器学习方法之一 。 「我最喜欢的是 MelNet, 只要听取样本(演讲者或者名人数据集) , 就可以产生高质量语音的模型」 。 可惜的是 , MelNet 没有一个可用的Colab Notebook 。
所以他选择了Amazon Polly 。 作为 Amazon AWS ai / ml 服务的一部分 , Polly 提供各种语言的大量语音 , 但是Polly产生的语音更像主持人 , 并不总是适合虚构的内容 。
比如Alex为predictions视频生成的语音 。
可以听到 , 对话中的声音没有多少感情 , 并不真正令人信服 。
后来Alex发现了Replica Studios , 这个工具生成的语音质量效果十分惊艳 。
生成德国小哥用AI拍大片!GPT-2写台词、StyleGAN做特效、Replica来配音
图片

Replica Studios的使用非常简单 。 你按照时间顺序对短语进行排序 , 并将合适的声音应用到人物身上 。
生成德国小哥用AI拍大片!GPT-2写台词、StyleGAN做特效、Replica来配音
图片

这样就完成了语音生成 , 直接导出mp3即可!
好了 , 开拍吧!
情节、演员和视觉效果、音乐都准备好了 , 开拍吧!
这段视频除了花费了Alex大量的精力去剪辑, 还消耗了他家很多咖啡 。。 或许最棘手的事情是使用Premiere 及时拉长视频 , 并将它们与剧情同步 。
EmptyRoom为我们展示了机器学习在生成视频方面的巨大潜力 , 不仅简化了流程 , 还分享了许多创造性的结果 , 当灵感枯竭的时候也许AI能带给你一股清泉 , 一起拥抱人工智能吧!
参考链接:
【生成德国小哥用AI拍大片!GPT-2写台词、StyleGAN做特效、Replica来配音】https://towardsdatascience.com/ai-as-a-movie-maker-e5865b99a06c
本文首发于微信公众号:新智元 。 文章内容属作者个人观点 , 不代表和讯网立场 。 投资者据此操作 , 风险请自担 。
(责任编辑:张洋 HN080)


推荐阅读