MB iSTFT VITS
我们提出了一个轻量级的端到端文本到语音模型，使用多波段生成和逆短时距傅里叶变换。我们的模型基于 VITS，一个高质量的端到端文本到语音模型，但是为了更有效的推理，我们采用了两个改变: 1)计算量最大的部分被简单的逆短时距傅里叶变换部分取代，2)多波段产生，使用固定或可训练的合成滤波器，用于产生波形。该方法不同于传统的轻量级模型，传统的轻量级模型分别使用优化或知识提取来训练两个级联组件，该方法充分利用了端到端优化的优点。实验结果表明，该模型合成的语音与 VITS 合成的语音一样自然，在 Intel Core i7 CPU 上实现了0.066的实时性，比 VITS 快4.1倍。此外，在自然性和推理速度方面，较小版本的模型明显优于轻量级基线模型。
