:::اطلاعات
نویسندگان:
(1) لیانگ وانگ، شرکت مایکروسافت، و مکاتبه به ([email protected])؛
(2) نان یانگ، شرکت مایکروسافت، و مکاتبه به ([email protected])؛
(3) Xiaolong Huang، Microsoft Corporation.
(4) لینجون یانگ، شرکت مایکروسافت؛
(5) Rangan Majumder، Microsoft Corporation;
(6) فورو وی، شرکت مایکروسافت و مکاتبه به ([email protected]).
:::
جدول پیوندها
چکیده و 1 مقدمه
2 کارهای مرتبط
3 روش
3.1 تولید داده مصنوعی
3.2 آموزش
4 آزمایش
4.1 آمار داده های مصنوعی
4.2 تنظیم دقیق و ارزیابی مدل
4.3 نتایج اصلی
4.4 بازیابی چند زبانه
5 تجزیه و تحلیل
5.1 آیا پیشآموزش ضدعفونی ضروری است؟
5.2 گسترش به جاسازی متن طولانی و 5.3 تجزیه و تحلیل فراپارامترهای آموزشی
6 نتیجه گیری و مراجع
A جزئیات پیاده سازی
B تجزیه و تحلیل آلودگی مجموعه تست
C درخواست برای تولید داده مصنوعی
د دستورالعمل برای آموزش و ارزشیابی
A جزئیات پیاده سازی
\ اطلاعات انتشار مدل و مجموعه داده در https://github.com/microsoft/ unilm/tree/master/e5 موجود است.
\
:::info این مقاله در arxiv تحت مجوز CC0 1.0 DEED موجود است.
:::
\