چه چیزی لازم است تا هوش مصنوعی مانند ما ویدیوها را تماشا، گوش کند و درک کند؟

جدول پیوندها

مواد تکمیلی

الف. یکپارچه سازی مدالیت صوتی

در اینجا، جزئیات پیاده سازی یکپارچه سازی مدالیت صوتی را در PG-Video-LLaVA بیان می کنیم.

الف.1. فیلتر کردن رونوشت صوتی

برای تولید رونوشت های صوتی، ابتدا با استفاده از پیشرفته ترین Whisper آزمایش کردیم [24] مستقیما با این حال، رونوشت‌های به‌دست‌آمده بسیار پر سر و صدا، حاوی توهم و متن‌های ناخواسته مانند اشعار آهنگ‌ها بودند. ارسال این رونوشت های صوتی خام به طور مستقیم به LLM بدون هیچ گونه فیلترینگ می تواند بر عملکرد کلی مدل تأثیر منفی بگذارد. بنابراین، یک روش پیش پردازش برای فیلتر کردن متن پر سر و صدا و نگه داشتن تنها بخش‌های…