رمزگذاری صوتی قبل از آموزش و ارزیابی باعث افزایش ایمنی SLM می شود

قسمت 1: چکیده و مقدمه

قسمت 2: زمینه

قسمت 3: حملات و اقدامات متقابل

قسمت 4: تنظیم آزمایشی

قسمت 5: مجموعه داده ها و ارزیابی

قسمت 6: حمله ، پارامترهای ضد اندازه گیری ، و پایه: آشفتگی های تصادفی

قسمت 7: نتایج و بحث

قسمت 8: انتقال حملات و اقدامات متقابل

قسمت 9: نتیجه گیری ، محدودیت ها و بیانیه اخلاق

قسمت 10: پیوست: رمزگذار صوتی قبل از آموزش و ارزیابی

قسمت 11: پیوست: حملات متقابل ، آموزش فرسایش داده ها و تأثیر سر و صدای تصادفی بر کمک

قسمت 12: پیوست: حملات تطبیقی ​​و نمونه های کیفی

ضمیمه

A.1 رمزگذار صوتی قبل از آموزش

رمزگذار صوتی ما یک مدل کنفرانس 24 لایه با ابعاد ویژگی 768 و توجه 8 است. تعداد کل پارامترهای این مدل رمزگذار 300 متر است. ما روش BestRQ (Chiu et al. ، 2022) را اتخاذ می کنیم ، که مدل را برای پیش بینی سیگنال های گفتار نقاب دار با برچسب های تولید شده از یک مقدار سازنده تصادفی پیش بینی می کند. Quantizer ورودی های گفتار را با یک ماتریس به طور تصادفی اولیه وارد می کند و در یک کتاب کد به طور تصادفی یک نگاه نزدیک به همسایه را انجام می دهد. نه ماتریس طرح ریزی و نه کتاب کد در طول قبل از آموزش به روز نمی شوند. ما یک مجموعه داده قبل از آموزش داخلی حاوی 300 ساعت Audios انگلیسی ایجاد می کنیم. قبل از ترحم از ماسک استفاده می کند …

Source link