هری پاتر کیست؟ Unlearning تقریبی در LLM: چکیده و مقدمه

نویسندگان:

(1) رونن الدان، تحقیقات مایکروسافت (ایمیل: [email protected])

(2) مارک روسینوویچ، مایکروسافت آژور و هر دو نویسنده به طور مساوی در این کار مشارکت داشتند، (ایمیل: [email protected]).

خلاصه

مدل‌های زبان بزرگ (LLM) بر روی مجموعه‌های اینترنتی عظیمی که اغلب حاوی محتوای دارای حق چاپ هستند، آموزش می‌بینند. این موضوع چالش‌های قانونی و اخلاقی را برای توسعه‌دهندگان و کاربران این مدل‌ها و همچنین نویسندگان و ناشران اصلی ایجاد می‌کند. در این مقاله، ما یک تکنیک جدید برای حذف زیرمجموعه ای از داده های آموزشی از یک LLM، بدون نیاز به بازآموزی آن از ابتدا پیشنهاد می کنیم.

ما تکنیک خود را در مورد حذف کتاب‌های هری پاتر از مدل Llama2-7b ارزیابی می‌کنیم (یک مدل زبان مولد که اخیراً توسط Meta منبع باز تهیه شده است). در حالی که این مدل بیش از 184 هزار ساعت GPU برای پیش‌آموزش طول کشید، ما نشان می‌دهیم که در حدود 1 ساعت GPU تنظیم دقیق، توانایی مدل برای تولید یا یادآوری محتوای مرتبط با هری پاتر را به طور موثر پاک می‌کنیم، در حالی که عملکرد آن در معیارهای رایج (مانند وینوگراند، Hellaswag، arc، boolq و piqa) تقریباً بی‌تأثیر باقی مانده‌اند. تا جایی که ما می دانیم، این اولین مقاله ای است که یک تکنیک موثر برای یادگیری در مدل های زبان مولد ارائه می دهد.

تکنیک ما از سه جزء اصلی تشکیل شده است: اول، ما از یک تقویت شده …

Source link