تأیید قیاسی استدلال زنجیره‌ای از فکر: جزئیات بیشتر در مورد استخراج پاسخ

نویسندگان:

(1) ژان لینگ، UC سن دیگو و سهم برابر.

(2) Yunhao Fang، UC San Diego و سهم برابر.

(3) Xuanlin Li، UC San Diego;

(4) Zhiao Huang، UC San Diego;

(5) Mingu Lee، Qualcomm AI Research و Qualcomm AI Research

(6) Roland Memisevic، Qualcomm AI Research.

(7) هائو سو، UC سن دیگو.

چکیده و مقدمه

کار مرتبط

انگیزه و فرمول مسئله

استدلال زنجیره‌ای فکری قابل تأیید قیاسی

آزمایش ها

محدودیت ها

نتیجه گیری، قدردانی و مراجع

یک تأیید قیاسی با مدل‌های Vicuna

B بحث بیشتر در مورد بهبود دقت تأیید قیاسی در مقابل بهبود در مورد درستی پاسخ نهایی

C جزئیات بیشتر در مورد استخراج پاسخ

D درخواست می کند

E بیشتر نمونه های تایید قیاسی

در این بخش، فرآیند خود را برای استخراج پاسخ نهایی از پاسخ‌های مدل‌های زبان شرح می‌دهیم. فرآیند با انتخاب سه خط آخر غیر خالی آغاز می شود. سپس، این خطوط از طریق خط لوله زیر پردازش می شوند:

  1. اول، ما از فهرستی از عبارات منظم برای شناسایی الگوهای “بدون پاسخ” در متن استفاده می کنیم، مانند “ما نمی توانیم به (این| سوال) پاسخ دهیم”. این فرآیند به ما کمک می کند تا مطمئن شویم که آیا مدل می تواند پاسخ قطعی ارائه دهد یا خیر. اگر چنین الگوهایی در متن ظاهر شد، “بدون پاسخ!” به عنوان …

Source link