درک تأثیر تأیید قیاسی بر دقت پاسخ نهایی

نویسندگان:

(1) ژان لینگ، UC سن دیگو و سهم برابر.

(2) Yunhao Fang، UC San Diego و سهم برابر.

(3) Xuanlin Li، UC San Diego;

(4) Zhiao Huang، UC San Diego;

(5) Mingu Lee، Qualcomm AI Research و Qualcomm AI Research

(6) Roland Memisevic، Qualcomm AI Research.

(7) هائو سو، UC سن دیگو.

چکیده و مقدمه

کار مرتبط

انگیزه و فرمول مسئله

استدلال زنجیره‌ای فکری قابل تأیید قیاسی

آزمایش ها

محدودیت ها

نتیجه گیری، قدردانی و مراجع

یک تأیید قیاسی با مدل‌های Vicuna

B بحث بیشتر در مورد بهبود دقت تأیید قیاسی در مقابل بهبود در مورد درستی پاسخ نهایی

C جزئیات بیشتر در مورد استخراج پاسخ

D درخواست می کند

E بیشتر نمونه های تایید قیاسی

B بحث بیشتر در مورد بهبود دقت تأیید قیاسی در مقابل بهبود در مورد درستی پاسخ نهایی

در مقاله اصلی، ما نشان دادیم که رویکرد راستی‌آزمایی ما به طور قابل‌توجهی دقت تأیید زنجیره‌های استدلال را بهبود می‌بخشد (تب. 3، 6، اما به سختی دقت پاسخ نهایی را بهبود می‌بخشد (تب. 4). این پدیده را در زیر بیشتر تحلیل می‌کنیم:

جدول 10: فراپارامترها برای تنظیم دقیق مدل‌های Vicuna با مجموعه داده تأیید قیاسی ما.جدول 10: فراپارامترها برای تنظیم دقیق مدل‌های Vicuna با مجموعه داده تأیید قیاسی ما.

مجموعه داده GSM8K را به عنوان نمونه در نظر بگیرید (به یاد داشته باشید که پاسخ نهایی برای یک مشکل از طریق رای اکثریت به دست می آید). در بین همه مشکلات، 91.6 درصد مشکلات …

Source link