هری پاتر کیست؟ عدم یادگیری تقریبی در LLM: نتیجه گیری، تصدیق، و مراجع

نویسندگان:

(1) رونن الدان، تحقیقات مایکروسافت (ایمیل: [email protected])

(2) مارک روسینوویچ، مایکروسافت آژور و هر دو نویسنده به طور مساوی در این کار مشارکت داشتند، (ایمیل: [email protected]).

5 نتیجه گیری

تلاش بلندپروازانه آموزش یک مدل زبان بزرگ (LLM) برای فراموش کردن انتخابی، یا “لغو یادگیری”، گواهی بر پیچیدگی های ظریف ذاتی در دنیای هوش مصنوعی و یادگیری ماشینی است. به طور گسترده به عنوان یک کار دلهره آور در نظر گرفته می شود، هر تلاشی برای فعال کردن چنین عملکردی در LLM ها در پیشتاز راه حل های نوآورانه قرار می گیرد، و در این پرتو، اثبات مفهوم ما مسلماً پیشرفت را نشان می دهد.

اولاً، تحقیقات ما نشان می‌دهد که یادگیری، هر چند چالش‌برانگیز، یک کار غیرقابل حل نیست، همانطور که نتایج مثبت در آزمایش‌های ما با مدل Llama2-7b نشان می‌دهد. با این حال، این دستاورد باید با احتیاط زمینه سازی شود. روش‌شناسی فعلی ما – مبتنی بر ارزیابی ما بر روی اعلان‌های ارائه‌شده به مدل و ارزیابی تکمیل‌های حاصل – اگرچه در سناریوهای خاص مؤثر است، اما می‌تواند به طور بالقوه نسبت به روش‌های خصمانه‌تر استخراج اطلاعات کور باشد. می‌توان تصور کرد که روش‌های غیر سنتی یا پیچیده، مانند بررسی توزیع‌های احتمال نشانه‌ای، ممکن است به‌طور ناخواسته مدل را آشکار کند.

Source link