چگونه تنظیم دقیق بر تأیید قیاسی در مدل‌های Vicuna تأثیر می‌گذارد

نویسندگان:

(1) ژان لینگ، UC سن دیگو و سهم برابر.

(2) Yunhao Fang، UC San Diego و سهم برابر.

(3) Xuanlin Li، UC San Diego;

(4) Zhiao Huang، UC San Diego;

(5) Mingu Lee، Qualcomm AI Research و Qualcomm AI Research

(6) Roland Memisevic، Qualcomm AI Research.

(7) هائو سو، UC سن دیگو.

چکیده و مقدمه

کار مرتبط

انگیزه و فرمول مسئله

استدلال زنجیره‌ای فکری قابل تأیید قیاسی

آزمایش ها

محدودیت ها

نتیجه گیری، قدردانی و مراجع

یک تأیید قیاسی با مدل‌های Vicuna

B بحث بیشتر در مورد بهبود دقت تأیید قیاسی در مقابل بهبود در مورد درستی پاسخ نهایی

C جزئیات بیشتر در مورد استخراج پاسخ

D درخواست می کند

E بیشتر نمونه های تایید قیاسی

یک تأیید قیاسی با مدل‌های Vicuna

ما بیشتر کارآیی تأیید قیاسی را برای مدل‌های منبع باز بررسی می‌کنیم. ما دو مدل محبوب را انتخاب می کنیم: Vicuna-7B و Vicuna-13B [7]. این مدل‌ها نسخه‌های تنظیم‌شده LLaMA-7B و LLaMA-13B هستند. [47] با استفاده از داده های ShareGPT[3]. ما از همان روش تأیید تک‌شات مبتنی بر برنامه طبیعی استفاده می‌کنیم که در مقاله اصلی استفاده کردیم. نتایج در ردیف های اول و سوم جدول 9 نشان داده شده است. ما برای مدل های اصلی Vicuna بدون تنظیم دقیق مشاهده کردیم، Vicuna-7B عملکرد ضعیفی از خود نشان می دهد…

Source link