چگونه برازش بیش از حد بر بهینه سازی سریع تأثیر می گذارد

نویسندگان:

(1) Chengrun Yang، Google DeepMind و مشارکت Equal.

(2) Xuezhi Wang، Google DeepMind.

(3) Yifeng Lu، Google DeepMind؛

(4) Hanxiao Liu، Google DeepMind؛

(5) Quoc V. Le، Google DeepMind;

(6) دنی ژو، گوگل دیپ مایند؛

(7) مشارکت Xinyun Chen، Google DeepMind و Equal.

چکیده و 1. مقدمه

2 Opro: Llm به عنوان بهینه ساز و 2.1 Desirables of Optimization توسط Llms

2.2 طراحی Meta-Prompt

3 مثال انگیزشی: بهینه سازی ریاضی و 3.1 رگرسیون خطی

3.2 مشکل فروشنده دوره گرد (TSP)

4 کاربرد: بهینه سازی سریع و 4.1 راه اندازی مشکل

4.2 طراحی Meta-Prompt

5 آزمایش بهینه سازی سریع و 5.1 تنظیم ارزیابی

5.2 نتایج اصلی

5.3 مطالعات فرسایشی

5.4 تجزیه و تحلیل اضافه برازش در بهینه سازی سریع و 5.5 مقایسه با Evoprompt

6 کارهای مرتبط

7 نتیجه گیری، قدردانی و مراجع

برخی از موارد شکست

فرمت های درخواستی برای امتیازدهنده Llm

C Meta-Prompts و C.1 Meta-Prompt برای بهینه سازی ریاضی

C.2 Meta-Prompt برای بهینه سازی سریع

D منحنی‌های بهینه‌سازی سریع در کارهای باقی‌مانده Bbh

E بهینه سازی سریع در Bbh Tasks – دقت جدول بندی شده و دستورالعمل های یافت شده

5.4 تجزیه و تحلیل بیش از حد برازش در بهینه سازی سریع

برای سادگی، ما یک مجموعه اعتبار سنجی را در تنظیم پیش فرض بهینه سازی سریع خود کنار نمی گذاریم…

Source link