محققان اماراتی سیستم جدیدی را کشف کردند که به هوش مصنوعی در درک ویدیوها کمک می کند

جدول پیوندها

مواد تکمیلی

3.2. معماری

در طراحی معماری ما، استخراج ویژگی های مکانی-زمانی از Video-ChatGPT الهام گرفته شده است. [22]با استفاده از وضوح بالاتر 336×336 پیکسل برای رمزگذاری ویژگی‌های سطح فریم، بهبود بیشتری دارد.

36×336 پیکسل برای رمزگذاری ویژگی‌های سطح فریم. در معماری PG-Video-LLaVA، ما یک پرسپترون چندلایه (MLP) قابل یادگیری را پیاده سازی کرده ایم که به عنوان g تعیین شده است تا به عنوان اتصال دهنده متقابل ما عمل کند. این MLP به طور پیچیده ای طراحی شده است تا ویژگی های سطح ویدیو را در فضای تعبیه شده رمزگشای زبان نمایش دهد. این از LLaVA-1.5 الهام گرفته شده است [18]با هدف بهینه سازی …