HierSpeech++: چگونه با Vall-E، Natural Speech 2 و StyleTTS2 مقایسه می شود؟

چکیده و 1 مقدمه

2 کارهای مرتبط

2.1 مدل های زبان کدک عصبی و 2.2 مدل های غیر خودرگرسیون

2.3 مدل های انتشار و 2.4 شبیه سازی صدای صفر شات

3 Hierspeech++ و 3.1 Speech Representations

3.2 سینت سایزر گفتار سلسله مراتبی

3.3 متن به Vec

3.4 وضوح فوق العاده گفتار

3.5 معماری مدل

4 وظیفه سنتز گفتار

4.1 تبدیل صدا و 4.2 تبدیل متن به گفتار

4.3 Style Prompt Replication

5 آزمایش و نتیجه و مجموعه داده

5.2 پیش پردازش و 5.3 آموزش

5.4 معیارهای ارزیابی

5.5 مطالعه فرسایش

5.6 تبدیل صدای صفر شات

5.7 سنتز گفتار با تنوع بالا اما با وفاداری بالا

5.8 تبدیل متن به گفتار صفر شات

5.9 تبدیل متن به گفتار صفر شات با اعلان 1 ثانیه

5.10 گفتار با وضوح فوق العاده

5.11 آزمایش های اضافی با سایر خطوط پایه

6 محدودیت و رفع سریع

7 نتیجه گیری، تصدیق و مراجع

5.11 آزمایش های اضافی با سایر خطوط پایه

ما عملکرد TTS صفر شات مدل خود را با Vall-E، NaturalSpeech 2 و StyleTTS 2 مقایسه کردیم. از آنجایی که هیچ پیاده سازی رسمی از آنها وجود ندارد، ما از نمونه های آزمایشی در NaturalSpeech 2 و StyleTTS 2 استفاده می کنیم. ما فقط چهار نمونه را برای این آزمایش ما همچنین نمونه های صوتی را به صفحات نمایشی اضافه کردیم. برای طبیعی بودن، ما از UTMOS استفاده کردیم و مدل ما به طور قابل توجهی بالاتر از …

Source link