谷歌开放AI怪兽制造机,快来打造你的数码宝贝世界吧( 二 )


模型经过训练后 , 接下来的任务是根据艺术家提供的轮廓生成多物种的嵌合体 。 最后 , 将性能最好的模型合并到Chimera Painter中 。
下图展示了使用模型生成的一些示例 , 包括单物种生物(下排 , 海马、螃蟹、豪猪)以及更复杂的多物种嵌合体(下排 , 蚂蚁+豪猪、钝口螈+鲸鱼、飞蛾+螃蟹) 。
谷歌开放AI怪兽制造机,快来打造你的数码宝贝世界吧
本文插图
游戏卡牌界面的设计充满着童年回忆的气息 , 但菜鸟小编只能小打小闹一番 , 有基础的玩家可能已经开始构建自己的数码宝贝世界了 。
通过结构学习创造生物
人类对生物身体解剖结构比如眼睛、手指、耳朵等的感知是很敏感的 , 但GAN通常很难对生成内容的结构有很好的语义理解 。
在GAN的随机采样图像中 , 我们经常能看到如下图中所示的混合体 , 其结构并不鲜明 , 这样的案例一般认为是失败的 。
谷歌开放AI怪兽制造机,快来打造你的数码宝贝世界吧
本文插图
由于嵌合体生物的幻想特性 , 为了美学需要 , 生成这些生物需要一类全新的数据集 , 它必须是非摄影的、幻想的风格 , 还具有其它独特的特征 , 例如戏剧性的视角、构图和照明 。
于是 , 谷歌请了艺术家来构建数据集 。 比如对于下图中的鬣狗 , 艺术家会先使用虚幻引擎构建3D模型 , 然后分别用彩色纹理(左)和语义分割图(右)叠加到3D模型上 , 然后 , 使用虚幻引擎将3D生物模型放置在简单的3D场景中 , 这样一个数据对就完成了 。

谷歌开放AI怪兽制造机,快来打造你的数码宝贝世界吧
本文插图
接下来 , 谷歌使用自动化脚本改变3D生物模型的姿态、视角、缩放尺寸 , 从而对数据集进行增强 。 使用这种方法 , 谷歌为每个3D生物模型生成了10000+张图像对 , 与手动创建(每张图像大约20分钟)相比 , 节省了数百万小时的时间 。
由于自动生成的图像存在一定程度的失真 , 谷歌还结合了艺术家的反馈对生成效果进行了改进 。 此外 , 感知损失也是一个重要因素 , 下图是使用不同的感知损失权重的GAN生成的示例 。
谷歌开放AI怪兽制造机,快来打造你的数码宝贝世界吧
本文插图
上图中的某些变化是由于数据集中每种生物包含多种纹理(例如 , 红色或灰色的蝙蝠)而造成的 。
然而 , 除颜色以外 , 还有许多特征的差异与感知损失的变化直接相关 。 尤其是 , 谷歌发现某些值可以带来更鲜明的表面纹理特征 , 使生成的生物看起来更真实 。
谷歌开放AI怪兽制造机,快来打造你的数码宝贝世界吧
本文插图
怎么样 , 心动了吗?祝看官玩的开心~
参考资料:
https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html
谷歌开放AI怪兽制造机,快来打造你的数码宝贝世界吧
本文插图

谷歌开放AI怪兽制造机,快来打造你的数码宝贝世界吧
本文插图
【谷歌开放AI怪兽制造机,快来打造你的数码宝贝世界吧】


推荐阅读