تکرار سریع سبک: یک ترفند ساده که به ما در سفر کمک کرد

جدول پیوندها

چکیده و 1 مقدمه

2 کارهای مرتبط

2.1 مدل های زبان کدک عصبی و 2.2 مدل های غیر خودرگرسیون

2.3 مدل های انتشار و 2.4 شبیه سازی صدای صفر شات

3 Hierspeech++ و 3.1 Speech Representations

3.2 سینت سایزر گفتار سلسله مراتبی

3.3 متن به Vec

3.4 وضوح فوق العاده گفتار

3.5 معماری مدل

4 وظیفه سنتز گفتار

4.1 تبدیل صدا و 4.2 تبدیل متن به گفتار

4.3 Style Prompt Replication

5 آزمایش و نتیجه و مجموعه داده

5.2 پیش پردازش و 5.3 آموزش

5.4 معیارهای ارزیابی

5.5 مطالعه فرسایش

5.6 تبدیل صدای صفر شات

5.7 سنتز گفتار با تنوع بالا اما با وفاداری بالا

5.8 تبدیل متن به گفتار صفر شات

5.9 تبدیل متن به گفتار صفر شات با اعلان 1 ثانیه

5.10 گفتار با وضوح فوق العاده

5.11 آزمایش های اضافی با سایر خطوط پایه

6 محدودیت و رفع سریع

7 نتیجه گیری، تصدیق و مراجع

4.3 Style Prompt Replication

ما یک ترفند ساده برای انتقال سبک حتی با یک اعلان گفتار یک ثانیه ای با معرفی تکرار سریع سبک (SPR) پیدا کردیم. مشابه با تکثیر DNA، ما همان دنباله اعلان را که در شکل 7 نشان داده شده است کپی می کنیم. درخواست تکرار شده n بار به رمزگذار سبک داده می شود تا نمایش سبک را استخراج کند. به طور خاص، از آنجا که رمزگذار سبک prompt معمولاً با یک توالی طولانی از اعلان ها در طول 3 ثانیه مواجه می شود، …