جدول پیوندها
چکیده و 1 مقدمه
2 پیشینه و بیان مسئله
2.1 چگونه می توانیم از MLLM برای سنتز انتشار استفاده کنیم که هر دو طرف را هم افزایی می کند؟
3 DreamLLM
3.1 پیش‌آموزش مولد میان‌لایه‌ای انتها به انتها (I-GPT)
3.2 آموزش مدل
4 آزمایش و 4.1 درک چندوجهی
4.2 سنتز تصویر مشروط متن
4.3 ایجاد و درک مشترک چندوجهی
5 بحث
5.1 هم افزایی بین خلق و درک؟
5. 2 چه چیزی توسط DreamLLM آموخته شده است؟
6 آثار مرتبط
7 نتیجه گیری و مراجع
آزمایش های اضافی
ب مثالهای کیفی اضافی
ج جزئیات پیاده سازی
D آثار مرتبط اضافی
E محدودیت ها، موارد شکست و کارهای آینده
E محدودیت ها، موارد شکست و کارهای آینده
محدودیت ها در حالی که DREAMLLM گام های قابل توجهی به سمت توسعه MLLM های همه کاره، خلاقانه و اساسی برداشته است، اما همچنان محدودیت های متعددی دارد.
مقیاس مدل. محدودیت اولیه مربوط به مقیاس LLMهای مورد استفاده است. ارزیابی‌های فعلی عمدتاً از 7B LLM به عنوان مدل پایه استفاده می‌کنند، و علیرغم نتایج چشمگیر به‌دست‌آمده، مزایای بالقوه اندازه‌های مدل بزرگ‌تر، مانند 65B یا 130B (Kaplan et al., 2020)، ارزش کاوش در آینده را دارد.
داده های آموزشی چالش دوم به کیفیت و کمیت داده های آموزشی مربوط می شود (جیا و همکاران، 2021). به عنوان مدل …