جدول پیوندها
چکیده و 1 مقدمه
2 پیشینه و بیان مسئله
2.1 چگونه می توانیم از MLLM برای سنتز انتشار استفاده کنیم که هر دو طرف را هم افزایی می کند؟
3 DreamLLM
3.1 پیش‌آموزش مولد میان‌لایه‌ای انتها به انتها (I-GPT)
3.2 آموزش مدل
4 آزمایش و 4.1 درک چندوجهی
4.2 سنتز تصویر مشروط متن
4.3 ایجاد و درک مشترک چندوجهی
5 بحث
5.1 هم افزایی بین خلق و درک؟
5. 2 چه چیزی توسط DreamLLM آموخته شده است؟
6 آثار مرتبط
7 نتیجه گیری و مراجع
آزمایش های اضافی
ب مثالهای کیفی اضافی
ج جزئیات پیاده سازی
D آثار مرتبط اضافی
E محدودیت ها، موارد شکست و کارهای آینده
4.3 ایجاد و درک مشترک چندوجهی
ایجاد سند به صورت آزاد تنظیم دستورالعمل به DREAMLLM اجازه می دهد تا به عنوان یک کلی نویس چندوجهی عمل کند که انواع مختلفی از وظایف را با پیروی از دستورالعمل ها انجام می دهد. DREAMLLM با استفاده از مدل‌سازی مولد به‌هم‌پیوسته از I-GPT، اکنون می‌تواند اسناد میان‌پیچ‌شده را به شیوه‌ای آزاد تولید کند. در شکل 3، ما محتویات بهم پیوسته تولید شده را بر اساس انسان به نمایش می گذاریم
دستورالعمل ها این نشان می دهد که: i) DREAMLLM می تواند پاسخ های معناداری را مطابق با دستورالعمل های داده شده ایجاد کند. ii) سیستم می تواند به طور مستقل تصاویر را در هر مکان مشخص شده با پیش بینی…