مدلهای یکپارچه زبان گفتار با آسیب پذیری های مهم ایمنی روبرو هستند

جدول پیوندها

قسمت 1: چکیده و مقدمه

قسمت 2: زمینه

قسمت 3: حملات و اقدامات متقابل

قسمت 4: تنظیم آزمایشی

قسمت 5: مجموعه داده ها و ارزیابی

قسمت 6: حمله ، پارامترهای ضد اندازه گیری ، و پایه: آشفتگی های تصادفی

قسمت 7: نتایج و بحث

قسمت 8: انتقال حملات و اقدامات متقابل

قسمت 9: نتیجه گیری ، محدودیت ها و بیانیه اخلاق

قسمت 10: پیوست: رمزگذار صوتی قبل از آموزش و ارزیابی

قسمت 11: پیوست: حملات متقابل ، آموزش فرسایش داده ها و تأثیر سر و صدای تصادفی بر کمک

قسمت 12: پیوست: حملات تطبیقی ​​و نمونه های کیفی

6. نتیجه گیری

ما یک مطالعه دقیق از تراز ایمنی مدلهای زبان گفتار از طریق لنزهای کاربردی QA گفتاری ارائه می دهیم. ما با توجه به حملات مخالف ، استحکام چندین مدل داخلی را به همراه مدلهای عمومی بررسی می کنیم. برای تعیین دقیق تراز ایمنی این مدل ها ، ما یک مجموعه ارزیابی جامع را با استفاده از LLM در دسترس عمومی تهیه کردیم. از طریق آزمایش های گسترده ، ما نشان می دهیم که یک دشمن با دسترسی به جعبه سفید به سیستم ها می تواند با استفاده از آشفتگی های به سختی قابل درک ، آنها را به زندان بیاندازد و آنها را مجبور کند که آموزش تراز ایمنی خود را نادیده بگیرند. علاوه بر این ، آشفتگی های مخالف ایجاد شده با استفاده از یک مدل می تواند یک مدل متفاوت با …