بهبود جاسازی متن با مدل های زبان بزرگ: جزئیات پیاده سازی

:::اطلاعات
نویسندگان:

(1) لیانگ وانگ، شرکت مایکروسافت، و مکاتبه به ([email protected]

(2) نان یانگ، شرکت مایکروسافت، و مکاتبه به ([email protected]

(3) Xiaolong Huang، Microsoft Corporation.

(4) لینجون یانگ، شرکت مایکروسافت؛

(5) Rangan Majumder، Microsoft Corporation;

(6) فورو وی، شرکت مایکروسافت و مکاتبه به ([email protected]).

:::

چکیده و 1 مقدمه

2 کارهای مرتبط

3 روش

3.1 تولید داده مصنوعی

3.2 آموزش

4 آزمایش

4.1 آمار داده های مصنوعی

4.2 تنظیم دقیق و ارزیابی مدل

4.3 نتایج اصلی

4.4 بازیابی چند زبانه

5 تجزیه و تحلیل

5.1 آیا پیش‌آموزش ضدعفونی ضروری است؟

5.2 گسترش به جاسازی متن طولانی و 5.3 تجزیه و تحلیل فراپارامترهای آموزشی

6 نتیجه گیری و مراجع

A جزئیات پیاده سازی

B تجزیه و تحلیل آلودگی مجموعه تست

C درخواست برای تولید داده مصنوعی

د دستورالعمل برای آموزش و ارزشیابی

A جزئیات پیاده سازی

بهبود جاسازی متن با مدل های زبان بزرگ: جزئیات پیاده سازی

\ اطلاعات انتشار مدل و مجموعه داده در https://github.com/microsoft/ unilm/tree/master/e5 موجود است.

\

:::info این مقاله در arxiv تحت مجوز CC0 1.0 DEED موجود است.

:::

\

Source link