چکیده و 1 مقدمه و انگیزه
2 معماری و 2.1 مجموعه داده
2.2 استخراج کننده
2.3 دونده
3 خط لوله استخراج
4 Ducho به عنوان برنامه Docker
5 تظاهرات و 5.1 نسخه ی نمایشی 1: ویژگی های بصری + متنی
5.2 نسخه ی نمایشی 2: ویژگی های صوتی + ویژگی های متنی
5.3 نسخه ی نمایشی 3: موارد متنی/ویژگی های تعامل 6
نتیجه گیری و کار آینده ، تصدیق و منابع
خط لوله استخراج چندمودال کلی در شکل 1 از طریق ماژول مجموعه داده ، بار و پیش فرآیند مراحل انجام می شود ، با فرض اینکه کاربر داده های ورودی و پرونده پیکربندی YAML (قابل عبور از خط فرمان) را برای سفارشی سازی استخراج ارائه می دهد. سپس ، ماژول استخراج کننده مسئول است ساختمان مدل (های) استخراج با تنظیم لایه (های) پشتیبان و خروجی. سرانجام ، پس از ویژگی چندمودال استخراج، ویژگی ها در خروجی مسیر در قالب Numpy (ماژول مجموعه داده دوباره این مرحله دوم را کنترل می کند). همانطور که قبلاً توضیح داده شد ، کل فرآیند توسط ماژول دونده ارکستر می شود.
4 Ducho به عنوان برنامه Docker
برای بهره برداری کامل از سرعت GPU که در کلیه باکتری هایی که برای استخراج ویژگی های چند حالته استفاده می کنیم ، استفاده می کنیم ، یکی از الزامات اساسی تنظیم یک محیط توسعه مناسب است که در آن نسخه های پشتیبان سازگار با CUDA و …