اعمال نظارت طبیعی برای یادگیری و تولید بازنمایی زبان: چکیده

خلاصه

پیشرفت‌های اخیر در پردازش زبان طبیعی (NLP) توسط مدل‌های زبانی انجام شده است که بر روی حجم عظیمی از متن ساده آموزش دیده‌اند. اگرچه قدرتمند است، اما به دست آوردن نظارت از منابع متنی هنوز یک سوال باز است. برای مثال، پیش‌آموزش مدل زبان اغلب ساختارهای غنی و آزادانه در داده‌های متنی را نادیده می‌گیرد. در این پایان نامه، ما سه خط کار را توصیف می کنیم که به دنبال بهبود آموزش و ارزیابی مدل های عصبی با استفاده از نظارت طبیعی است.

ما ابتدا تلفات آموزشی تحت نظارت خود را بررسی می کنیم تا به بهبود عملکرد مدل های زبانی از پیش آموزش دیده برای وظایف مختلف NLP کمک کنیم. به طور خاص، برای یادگیری بازنمایی زبان همه منظوره، ما از دست دادن پیش‌بینی جمله را تغییر می‌دهیم تا آن را برای سایر ضررهای پیش‌آموزشی مناسب‌تر و حل آن چالش‌برانگیزتر باشد و نشان دهیم که این تغییر منجر به یک سری رمزگذارهای پیشرفته از قبل آموزش‌دیده شده است. برای یادگیری درون متنی، برخلاف کار قبلی، که رمزگشاهای از پیش آموزش دیده را بر روی مجموعه داده های مشروح انسانی تنظیم می کرد، ما یک مرحله تنظیم دقیق میانی طراحی می کنیم که از آموزش خود نظارتی برای ارتقای توانایی مدل ها در تعمیم وظایف متقابل استفاده می کند.

سپس روش‌هایی را برای استفاده از ساختارها در ویکی‌پدیا و بازنویسی توصیف می‌کنیم. به ویژه، ما از هایپرلینک ها استفاده می کنیم…

Source link