یک چارچوب یکپارچه برای استخراج ویژگی های چند حالته در سیستم های توصیه

چکیده و 1 مقدمه و انگیزه

2 معماری و 2.1 مجموعه داده

2.2 استخراج کننده

2.3 دونده

3 خط لوله استخراج

4 Ducho به عنوان برنامه Docker

5 تظاهرات و 5.1 نسخه ی نمایشی 1: ویژگی های بصری + متنی

5.2 نسخه ی نمایشی 2: ویژگی های صوتی + ویژگی های متنی

5.3 نسخه ی نمایشی 3: موارد متنی/ویژگی های تعامل 6

نتیجه گیری و کار آینده ، تصدیق و منابع

چکیده

در توصیه آگاهانه چند حالته ، استخراج ویژگی های چندرسانه ای معنی دار بر اساس توصیه های با کیفیت بالا است. به طور کلی ، هر چارچوب توصیه روشهای استخراج چند حالته خود را با استراتژی ها و ابزارهای خاص پیاده سازی می کند. این به دو دلیل محدود کننده است: (i) استراتژی های مختلف استخراج وابستگی متقابل بین چارچوب های توصیه چندمودالی را کاهش نمی دهد. بنابراین ، آنها نمی توانند به طور کارآمد و عادلانه مقایسه شوند. (ب) با توجه به تعداد زیادی از مدلهای یادگیری عمیق از پیش آموزش داده شده که توسط ابزارهای مختلف منبع باز در دسترس است ، طراحان مدل برای استخراج ویژگی ها به رابط های مشترک دسترسی ندارند. با انگیزه از جنبه های مشخص شده ، ما Ducho را پیشنهاد می کنیم ، یک چارچوب یکپارچه برای استخراج ویژگی های چند حالته در توصیه. ما با ادغام سه کتابخانه یادگیری عمیق به عنوان پس زمینه ، یعنی Tensorflow ، Pytorch و Transformers ، ما یک …