روش‌شناسی برای ارزیابی انسان محور مدل‌های نمونه اولیه

نویسندگان:

(1) امید داوودی، دانشگاه کارلتون، دانشکده علوم کامپیوتر;

(2) شایان محمدی زاده سماکوش، دانشگاه صنعتی شریف، گروه مهندسی کامپیوتر;

(3) مجید کمیلی، دانشگاه کارلتون، دانشکده علوم کامپیوتر.

چکیده و مقدمه

اطلاعات پس زمینه

روش شناسی

قابلیت تفسیر نمونه اولیه

شباهت نمونه اولیه-پرس و جو

تفسیرپذیری فرآیند تصمیم گیری

اثرات تعداد کم نمونه اولیه

بحث ها

روش شناسی

تفسیرپذیری یک روش یادگیری ماشین مبتنی بر نمونه اولیه به عنوان یک کل بسیار گسترده است که به طور موثر ارزیابی شود. در نتیجه، آزمایش‌های ما برای اندازه‌گیری نظر انسان درباره ویژگی‌های فردی مورد نیاز برای یک روش قابل تفسیر طراحی شد. این تمرکز بر جنبه‌های منفرد به ما این امکان را می‌دهد که بینش دقیقی درباره میزان درک و موافقت کاربران انسانی با توضیحات روش‌های مختلف به دست آوریم.

حاشیه نویسان انسانی از طریق Amazon Mechanical Turk استخدام شدند. برای اطمینان از اینکه کارگران درک خوبی از وظیفه دارند، ابتدا باید یک آزمون صلاحیت را تکمیل کنند. علاوه بر این، برای اطمینان از کیفیت پاسخ‌ها و کاهش سر و صدا، چند نمونه اعتبار سنجی را در وظایف خود قرار دادیم و کارگرانی را که آن‌ها را قبول نکردند، حذف کردیم.

ما هفت روش را بر روی سه مجموعه داده مختلف آموزش دادیم.