جدول پیوندها
چکیده و 1 مقدمه
2 پیشینه و بیان مسئله
2.1 چگونه می توانیم از MLLM برای سنتز انتشار استفاده کنیم که هر دو طرف را هم افزایی می کند؟
3 DreamLLM
3.1 پیش‌آموزش مولد میان‌لایه‌ای انتها به انتها (I-GPT)
3.2 آموزش مدل
4 آزمایش و 4.1 درک چندوجهی
4.2 سنتز تصویر مشروط متن
4.3 ایجاد و درک مشترک چندوجهی
5 بحث
5.1 هم افزایی بین خلق و درک؟
5. 2 چه چیزی توسط DreamLLM آموخته شده است؟
6 آثار مرتبط
7 نتیجه گیری و مراجع
آزمایش های اضافی
ب مثالهای کیفی اضافی
ج جزئیات پیاده سازی
D آثار مرتبط اضافی
E محدودیت ها، موارد شکست و کارهای آینده
آزمایش های اضافی
الف.1 نتایج درک زبان طبیعی اضافی
ما قابلیت‌های پردازش زبان طبیعی یادگیری سازگاری پس از چند وجهی DREAMLLM را از طریق آزمایش‌های صفر شات روی وظایف فقط زبانی ارزیابی می‌کنیم. اینها عبارتند از استدلال عقل سلیم (PIQA (Bisk و همکاران، 2020)، SIQA (Sap و همکاران، 2019)، HellaSwag (Zellers و همکاران، 2019)، WinoGrande (Sakaguchi و همکاران، 2021))، درک مطلب (BoolQ) (کلارک و همکاران، 2019))، و یک ژنرال معیار چند وظیفه ای (MMLU 5-shot (Hendrycks et al., 2021)).
همانطور که جدول 4 نشان می دهد، DREAMLLM از خط پایه Vicuna در بیشتر معیارهای زبانی بهتر عمل می کند. این نشان می دهد …