کاهش تعصب قاب‌بندی با کاهش تلفات قطبیت: جزئیات تجربی

این مقاله در arxiv تحت مجوز CC BY-NC-SA 4.0 DEED موجود است.

نویسندگان:

(1) Yejin Bang، مرکز تحقیقات هوش مصنوعی (CAiRE)، دانشگاه علم و فناوری هنگ کنگ؛

(2) Nayeon Lee، مرکز تحقیقات هوش مصنوعی (CAiRE)، دانشگاه علم و فناوری هنگ کنگ.

(3) پاسکال فانگ، مرکز تحقیقات هوش مصنوعی (CAiRE)، دانشگاه علم و فناوری هنگ کنگ.

الف. جزئیات تجربی

BERTSCORE-F1 برای ارزیابی اطلاعات برجسته، متریک BERTSCORE-F1 مبتنی بر جاسازی توکن را پذیرفتیم. ما از نسخه از پیش آموزش‌دیده «microsoft/deberta-xlarge-mnli» ارائه‌شده توسط (ژانگ* و همکاران، 2020) به‌عنوان ایست بازرسی پیشرفته استفاده کردیم.

الف.1 ارزیابی انسانی

ما ارزیابی را با 30 نمونه به طور تصادفی انتخاب کردیم. ما دو مقاله از دو مدل را (به ترتیب تصادفی) به همراه جمله شماره ارائه می دهیم که توضیح می دهد مقالات در مورد چه چیزی هستند. سپس، از حاشیه نویس خواسته می شود به این سوال پاسخ دهد که «کدام مقاله مغرضانه تر است؟»، پیرو Spinde و همکارانش. (2021)؛ لی و همکاران (2022). ما سه حاشیه نویسی برای هر نمونه دریافت می کنیم و اکثریت رای را انتخاب می کنیم. از آنجایی که بسیاری از نمونه های آزمایشی ارتباط نزدیکی با سیاست ایالات متحده دارند، ما سه نمونه را به خدمت گرفتیم غیر-شهروندان/اتباع/ساکنان ایالات متحده برای به حداقل رساندن…