最后我再介绍一下我们近期开展的基于序列到序列模型框架的非平行语音转换方法的研究工作 。 虽然前面介绍的VCC2018方法可以取得较好的非平行语音转换效果 ， 但是其仍存在一些不足 。 例如 ， 基于语音识别器提取的文本内容表征中难以保证不含有说话人相关信息、语音识别模型和转换生成模型没有联合训练、仍采用帧到帧映射的模型框架等 。
因此 ， 我们提出了一种基于表征解耦的序列到序列非平行语音转换方法 。 该方法在序列到序列建模框架下 ， 可以实现对于语音中文本相关内容和话者相关内容的有效分离 。 其核心思想如图所示 。 在训练阶段 ， 利用识别编码器和话者编码器分别提取语音中的文本和话者相关表征 。 同时我们通过训练准则的设计保证这两种表征相互独立 ， 不会纠缠 。 在训练过程中 ， 我们也会利用语音对应的转写文本 。 从转写文本中提取的信息可以为从语音中提取文本表征提供有效参考 。 在合成阶段 ， 通过组合从源说话人语音中提取的文本表征 ， 以及目标说话人的话者表征 ， 可以实现从源说话人语音到目标说话人语音的转换 。
推荐阅读
-
乒乓王者@18号两个国乒老将之间能擦出什么样的火花，张继科宣布应战
-
-
盖亚假说|地球本身就是巨大“外星人”？人类寄生在其上
-
-
新华网|沙特宣布卡舒吉遇害案终审判决结果 5人被判处20年监禁
-
-
春秋弈棋|原神：可莉UP池即将结束，萌新玩家，到底要不要入手可莉？
-
司徒觅丝一乞丐抖着碗挡住了我的去路，幽默笑话：辞职回家的路上
-
晴天情感小铺|多少彩礼算合适？两位女人的真心话，很中肯，对女人而言
-
-
1818黄金眼|儿子只学会背圆周率？，七千八报了培训班
-
简单观察|一水平失守恐将进一步下跌，黄金多头逃窜进一步抛售风险恐加大
-
-
中华周易研究院|聪明能干，旺夫旺财，容易嫁入豪门！，六种“王妃命”的女人相
-
拜托了收姐|那你真的要亏大了！，收纳秘籍丨这面墙不做收纳
-
「」2020年被誉为“最难”高考年？这两个原因很现实，考生如何突破？
-
-
-
减肥餐搭配|剪秋水重脸术用于双眼皮修复能否趋于天然
-
