چگونه انکر توکن ها فشرده سازی اطلاعات توالی را در LLM ها تغییر می دهند

نویسندگان:

(1) Jianhui Pang، از دانشگاه ماکائو، و زمانی که Jianhui Pang و Fanghua Ye در آزمایشگاه هوش مصنوعی Tencent کارآموزی می کردند، کار انجام شد.[email protected])

(2) Fanghua Ye، دانشگاه کالج لندن، و زمانی که Jianhui Pang و Fanghua Ye در آزمایشگاه Tencent AI کارآموزی می کردند، کار انجام شد.[email protected])

(3) درک اف وانگ، دانشگاه ماکائو.

(4) Longyue Wang، Tencent AI Lab، و نویسنده مربوطه.

چکیده و 1 مقدمه

2 کارهای مرتبط

3 مدل زبان بزرگ مبتنی بر لنگر

3.1 پس زمینه

3.2 شبکه های خودتوجهی مبتنی بر لنگر

3.3 استنتاج مبتنی بر لنگر

4 آزمایش و 4.1 اجرای ما

4.2 داده ها و روش های آموزشی

4.3 ارزیابی

5 نتیجه

6 تجزیه و تحلیل

7 نتیجه گیری، محدودیت ها، بیانیه اخلاقی، و مراجع

نتایج تجربی بیشتر

B تنظیمات داده

تحقیقات ما از تحقیقات اخیر در مورد درک یادگیری درون متنی (ICL) در LLM توسط وانگ و همکاران الهام گرفته شده است. (2023). در مطالعه خود، نویسندگان به مکانیسم های اساسی ICL می پردازند و بر تأثیر کلمات برچسب در نمونه های نمایشی بر جریان اطلاعات تأکید می کنند. آنها نشان می دهند که این کلمات برچسب به عنوان لنگر عمل می کنند، که در آن اطلاعات معنایی در طول استنتاج به این لنگرها همگرا می شود و متعاقباً پیش بینی های نهایی LLM ها را هدایت می کند.

Source link