طراحی قرارداد الگوریتمی برای رتبه‌بندی جمع‌سپاری: نگاهی عمیق‌تر به آزمایش‌های ما

:::info این مقاله در arxiv تحت مجوز CC 4.0 موجود است.

نویسندگان:

(1) Kiriaki Frangias;

(2) اندرو لین؛

(3) الن ویترچیک;

(4) مانولیس زامپتاکیس.

:::

چکیده و مقدمه

گرم کردن: عواملی با عدم استفاده برابر شناخته شده

عواملی با ترکیبات ناشناخته

آزمایش

نتیجه گیری و جهت گیری های آینده، مراجع

خلاصه ای از نشانه گذاری

B شواهد حذف شده از بخش 2

ج شواهد حذف شده از بخش 3

D اطلاعات اضافی در مورد آزمایش ها

4 آزمایش

در بخش بعدی، آزمایش‌هایی را ارائه می‌کنیم که مدل‌ها و الگوریتم‌های ما را آزمایش می‌کنند. ما تأثیر الگوریتم خود را بر سودمندی مدیر در مقایسه با زمانی که او تصمیم می‌گیرد عوامل را تشویق نکند، کارآمدی الگوریتم ما در برگرداندن مقایسه‌های زوجی صحیح، و استحکام مدل خود نسبت به مقادیر پر سر و صدای ψ و π را ارزیابی می‌کنیم.

\
رویه آزمایشی مگر اینکه غیر از این مشخص شده باشد، مجموعه مقادیر فراپارامتر زیر را در آزمایش‌های خود حفظ می‌کنیم: π = 0.8، δ = 0.01، s = 100، n = 100، ψ¯ = 2، و ψ = 0.01. درجه بندی همتا نمونه ای از تنظیمات است که در آن s = n زیرا تعداد تکالیف با تعداد دانش آموزان یکسان است. در ضمیمه D، آزمایش‌هایی با تنظیمات پارامترهای مختلف را شامل می‌شود.

\ از آنجایی که ما در این آزمایشات نویز را به مدل خود اضافه می کنیم، CrowdSort ممکن است …