秀秀科技 微软联合浙大提出FastSpeech2，FastSpeech语音合成系统技术升级( 二 )
可变信息预测器如图1（c）所示 ， 由ReLU激活的2层一维卷积网络组成 ， 每个网络后加上LayerNorm和Dropout ， 以及最后输出标量的线性层 。 这个模块堆叠在音素编码器之上 ， 并与FastSpeech2模型共同训练 ， 使用均方误差（MSE）作为损失函数 。 可变信息预测器的输出是对应的可变信息序列 。 其中音高预测器的输出是梅尔频谱对应的音高序列 ， 能量预测器的输出是梅尔频谱的能量序列 ， 而时长预测器的输出是音素的时长序列 ， 与FastSpeech中的时长信息提取方式（使用自回归Teacher模型提取时长信息）不同 ， FastSpeech2使用一种开源的文字语音对齐工具（MontrealForcedAligner,MFA）来提取更精准的时长信息 。
FastSpeech2s
在FastSpeech2的基础上 ， 我们提出了FastSpeech2s以实现完全端到端的文本到语音波形的合成 。 FastSpeech2s引入了一个波形解码器 ， 如图1（d）所示 ， 它以可变信息适配器的输出隐层序列为输入 ， 以波形为输出 。 在训练时 ， 为了帮助可变信息预测器的训练 ， 梅尔频谱解码器及其训练损失函数被保留 。 在生成阶段 ， 将梅尔频谱解码器丢弃后 ， 使其成为一个文本到波形的端到端系统 。
文章图片
实验评估
为了验证FastSpeech2和2s的有效性 ， 我们从声音质量、训练和生成速度、可变信息分析、可控制性几个方面来进行评估和分析 。
声音质量
我们选用LJSpeech数据集进行实验 ， LJSpeech包含13100个英语音频片段和相应的文本 ， 音频的总长度约为24小时 ， 并对测试样本作了权威的MOS测试 ， 每个样本至少被20个英语母语评测者评测 。 MOS指标用来衡量声音接近人声的自然度和音质 。 对比我们的方法与以下语音样本：1)GT（GroundTruth） ， 真实音频数据；2)GT(Mel+PWG) ， 用ParallelWaveGAN（PWG）作为声码器（Vocoder）将真实梅尔频谱转换得到的音频；3)Tacotron2(Mel+PWG)；4)TransformerTTS(Mel+PWG)；5)FastSpeech（Mel+PWG） 。
从结果（如表1所示）中可以看出 ， FastSpeech2和2s的音质优于FastSpeech ， 这证明了利用真实语音目标来训练模型的优势 ， 同时也显示了通过提供额外的可变信息（音高、能量和更准确的音素时长）以解决一对多映射的有效性 。
文章图片
表1：语音合成质量MOS测试
训练速度和合成速度
我们将FastSpeech2和2s与具有相似参数量的FastSpeech的训练速度和合成语音速度作对比（结果如表2所示） 。 可以看出 ， 在训练速度上 ， 由于FastSpeech2去除了蒸馏的过程 ， 该模型可以实现3倍的训练加速 。 在合成语音速度上 ， 它可以在单卡上实现近205倍实时的毫秒级的端到端语音合成 。 在波形生成速度上 ， 比自回归的TransformerTTS提速将近170倍 。
文章图片
表2:FastSpeech2和2s与FastSpeech的训练速度和合成速度作对比 。 RTF代表合成1秒的音频需要的时间 。 训练和测试的时间统计均在36IntelXeonCPU ， 256GB内存和单张V100GPU上进行 ， 批大小分别是48和1 。
可变信息调节
FastSpeech2可以在模型中调节语速、音高和能量 。 这里展示音高调节效果 ， 通过实验发现 ， 将音高降低到0.75x或者升高到1.5x ， 生成的语音均很清晰且不失真（结果如图2所示） 。
文章图片
图2：音高调节实验 。 红色曲线代表修改后的基频曲线 。 对应的文本是：“TheydiscardedthisforamorecompletelyRomanandfarlessbeautifulletter.”
消融对比实验
我们也比较了模型中一些重要组件和方法（包括引入音高、能量和更准确的时长信息）对生成音质效果的影响 ， 通过CMOS的结果来衡量影响程度 。 由表3和表4可以看出 ， 这些组件和方法确实有助于模型效果的提高 。
推荐阅读
- 科技一哥|荣耀30青春版图集赏析：触觉与视觉的完美享受
- 科技犬君|vs 索尼A9G 谁强？，上半年用户喜爱手机盘点；小米电视大师65英寸OLED
- 精选泛科技|结果如何？，一加8续航遭质疑：上半年最全机型横评出炉
- 科技犬君上半年用户喜爱手机盘点；小米电视大师65英寸OLED vs 索尼A9G 谁强？
- 科技生活快报TB5000mAh大电池还有65W超级快充！这些手机让你摆脱充电焦虑
- 精选泛科技一加8续航遭质疑：上半年最全机型横评出炉，结果如何？
- 阿拉图图科技说三星新机口碑虽好，但中国市场销量翻车，用户几乎跑光！
- 华为Mate30美科技界：华为再强大也只是一家民企，我们究竟在怕什么？
- 行业|高增长+高回撤！请收好这份“补票”名单，11只核心资产股入围，百亿科技股已跌出“深坑”
- 阿拉图图科技说 给做了！，雷军服不服？苹果要把雷军敢说不敢做的事情