چکیده و 1 مقدمه و انگیزه
2 معماری و 2.1 مجموعه داده
2.2 استخراج کننده
2.3 دونده
3 خط لوله استخراج
4 Ducho به عنوان برنامه Docker
5 تظاهرات و 5.1 نسخه ی نمایشی 1: ویژگی های بصری + متنی
5.2 نسخه ی نمایشی 2: ویژگی های صوتی + ویژگی های متنی
5.3 نسخه ی نمایشی 3: موارد متنی/ویژگی های تعامل 6
نتیجه گیری و کار آینده ، تصدیق و منابع
6 نتیجه گیری و کار آینده
در این مقاله ما Ducho را پیشنهاد می کنیم ، چارچوبی برای استخراج ویژگی های سطح بالا برای توصیه های آگاه چندمودال. هدف اصلی ما ارائه ابزاری یکپارچه و مشترک برای پشتیبانی از پزشکان و محققان در پردازش و استخراج ویژگی های چند حالته است که به عنوان اطلاعات جانبی در سیستم های پیشنهادی مورد استفاده قرار می گیرد. به طور دقیق ، Ducho شامل سه ماژول اصلی است: مجموعه داده ، استخراج کننده و دونده. خط لوله استخراج چند حالته می تواند از طریق یک مؤلفه پیکربندی بسیار سفارشی شود که امکان تنظیم روشهای درگیر (یعنی ، صوتی ، تصویری ، متنی) ، منابع اطلاعات چندمودال (یعنی موارد و/یا تعامل مورد استفاده کاربر) را فراهم می کند و مدل های از قبل آموزش دیده به همراه پارامترهای اصلی استخراج آنها. برای نشان دادن نحوه کار Ducho در سناریوها و تنظیمات مختلف ، ما سه نسخه ی نمایشی را برای استخراج (i) ویژگی های موارد بصری/متنی ، (ب) موارد صوتی/متنی پیشنهاد می کنیم …