|SE分享《FF7 RE》新技术：台词语音自动生成角色表情？( 五 )

这个口型是参照声音数据和文本输出数据，生成的口型动画。演讲中还展示了本作支持的日语、英语、法语、德语四种语音下同样的台词对应的克劳德的不同口型。

本文插图
日语语音对应的口型

本文插图
英语语音对应的口型。能看到英语特有的咬下唇的动作。

本文插图
HappySadFace（自动口型）
科技推进部开发中的自动口型系统。
从声音和文本中输出专用格式，用Maya和虚化4生成口型动画。
支持日语、英语、法语、德语。
因为时间线数据是简单的文本数据，为了使动画整体更加流畅可以整体进行过滤。

本文插图
HappySadFace（自动口型）
因为从语音中将音素抽出的形状数据的目录被做成了时间轴，如果改变了形状数据，（口型）也会同样变化。
音素与形状的对应表根据语言的不同分别制作。
为了表现因感情产生的表情变化，形状数据的预设也做了替换。
有了这个系统之后，即使不用人工去做，也能做出与语言对应的大量台词的口型。但是“HappySadFace”也还有作为参考的文本数据可能有错误，声优如果即兴发挥，口型的对应就会变难的问题。而且，自动生成的口型如果出现不与语音对应的错误的话，目前只能通过人眼看来发现。

本文插图
此外，还有能够从语音的音量自动生成眉毛动画的“ST Emotion”技术，这一技术还可以从声优们的声音中推定感情的参数，自动对感情的表情进行blend 。由于有此技术，就算仅仅有台词，也能在任何场景都用很像人类的表情表现角色们的对话。

本文插图
根据语音音量生成眉毛动画。
感知语音的起始，根据音量生成眉毛上扬的加算动画。
因为是加算所以在一小段时间内连续重复放送也没问题。
准备好眉毛上扬状态的姿势动作，根据blend率进行加算。

本文插图
根据语音音量生成上半身加算动画。
感知语音的起始，根据音量生成上半身前后倾，头和脖子扭动的加算动画。
因为是加算所以在一小段时间内连续重复放送也没问题。
加算值用IK Control Rig作为预设定义。具体再放送哪个预设，需要在再放送时随机决定。

本文插图
根据声音生成表情动画。
使用ST Emotion根据声音推测感情。
对符合感情参数变化的各种表情进行blend 。
感情参数并不是以一种语音为单位，而是一种时间轴数据，所以即使在一种语音中也会出现表情的变化。
虽然推测的精度能够达到70% ，但如果发生差错，表情的含义可能完全不同。
以上的表情都是由设计者指定后手动输入的，场景也很宏大，但游戏中也有不进行指定就进行对话的场景。如果将以上技术全部结合起来就能够不用过场动画，在吃饭、动作、自然的对话等等场景中品味表情丰富的对话了。

|SE分享《FF7 RE》新技术：台词语音自动生成角色表情？( 五 )

推荐阅读

女人怎样才能过得好

GeekPwn2019上演实力攻防战京东展示安全硬核实力

应不应该让父母利用资源在家乡找一个好工作

最不爱说“普通话”的四大城市，买菜都说方言

「新华网」一名白衣天使的“逆行”冲锋——记泰康同济医院感染十三科医生石蕊

中年|碧蓝航线SSR科研三期柴郡养成攻略用最好的装备武装顶级猫女仆

组合衣柜尺寸介绍组合衣柜安装策略

山楂泡水饮用能帮助减肥吗,喝哪种花草茶保养水润肌肤3山楂

如果暑期全国实行昼伏夜出，有哪些利弊

水浒传108将哪个好汉水分最大，绰号唬人却武功差

SaraSAra蕾蕾酱|| 女明星的夏季穿搭，凉爽又时髦，明星穿搭红榜

三易生活■中端5G新机荣耀30S发布，售价从2399元起跳

长期戴眼镜为何眼神会显得呆滞

梦见朋友来家里吃饭自己没吃女人梦见朋友来家里吃饭

伊然美|娱乐圈姓胡的男星，原创

美军舰▲美军舰突然现身黄海，紧贴京唐港演习区域，距南通仅100海里

爱否科技|Mate 40 信息汇总：首发 5nm 麒麟芯片，配备潜望式长焦，华为

自动离职和辞职的区别在哪

小学数学统计图有哪些统计图有哪些

[电池]最伤手机的充电方式，严重影响电池寿命，你中招了吗？