جدول پیوندها
چکیده و 1 مقدمه
2 پیشینه و بیان مسئله
2.1 چگونه می توانیم از MLLM برای سنتز انتشار استفاده کنیم که هر دو طرف را هم افزایی می کند؟
3 DreamLLM
3.1 پیش‌آموزش مولد میان‌لایه‌ای انتها به انتها (I-GPT)
3.2 آموزش مدل
4 آزمایش و 4.1 درک چندوجهی
4.2 سنتز تصویر مشروط متن
4.3 ایجاد و درک مشترک چندوجهی
5 بحث
5.1 هم افزایی بین خلق و درک؟
5. 2 چه چیزی توسط DreamLLM آموخته شده است؟
6 آثار مرتبط
7 نتیجه گیری و مراجع
آزمایش های اضافی
ب مثالهای کیفی اضافی
ج جزئیات پیاده سازی
D آثار مرتبط اضافی
E محدودیت ها، موارد شکست و کارهای آینده
D.1 مدل های زبان بزرگ
دوران شکوفایی پردازش زبان طبیعی (NLP) که توسط LLM ها هدایت می شود، با افزایش اندازه پارامتر بر اساس قانون مقیاس گذاری بیش از 100B در حال تجربه است (Kaplan et al., 2020). سری مدل‌های GPT، که با GPT-1 شروع شد (رادفورد و همکاران، 2018) و به دنبال آن GPT-2 (رادفورد و همکاران، 2019)، پیشرفت‌های چشمگیری را در یادگیری چند شات با افزایش تعداد پارامترها به وجود آوردند. 175 میلیارد در GPT-3 (براون و همکاران، 2020).
این پیشرفت توجه بسیاری را به خود جلب کرد و راه را برای تحقیق و توسعه بیشتر در این زمینه هموار کرد. از آن زمان، محققان بر روی توسعه …