اعمال نظارت طبیعی برای یادگیری و تولید بازنمایی زبان: نتیجه‌گیری

فصل 7 – نتیجه گیری

این پایان نامه مشارکت های زیر را داشته است:

• ما اهداف آموزشی تحت نظارت خود را برای مدل‌های زبانی از پیش آموزش‌دیده در مقیاس بزرگ در فصل 3 بهبود دادیم. در بخش 3.1، از دست دادن پیش‌بینی جمله بعدی را با یک جمله جدید که دستور از دست دادن پیش‌بینی را در پیش‌آموزش مدل زبان جایگزین می‌کند، جایگزین کردیم و نشان دادیم که این تغییر منجر به یک سری شد. از پیشرفته ترین رمزگذارهای از پیش آموزش دیده. در بخش 3.2، برخلاف کار قبلی، که رمزگشاهای از پیش آموزش دیده را بر روی مجموعه داده های مشروح شده توسط انسان تنظیم می کرد، نشان دادیم که وظایف خود نظارت شده با طراحی های مناسب نیز می تواند منجر به دستاوردهای مشابه در تنظیمات یادگیری چند شات درون متنی شود و مدل ها را ارتقا دهد. توانایی در تعمیم وظایف متقابل

• ما ساختارهای داده های طبیعی مختلفی را در ویکی پدیا به نظارت برای وظایف مختلف NLP در فصل 4 تبدیل کردیم. در بخش 4.1، ما از پیوندها به عنوان نظارت برای بازنمایی های موجودیت پیش از آموزش استفاده کردیم که منجر به مدل هایی شد که می توانند موجودیت های دلخواه را رمزگذاری کنند. در بخش 4.2، از ساختارهای مقاله، مانند عناوین بخش و سند، برای آموزش نمایش جملات استفاده کردیم. نتایج ارزیابی در مورد وظایف مربوط به گفتمان نشان داد که چنین آموزشی به عملکرد مدل کمک می کند. در بخش 4.3، داده های آموزشی را از نمودارهای دسته بندی مقاله استخراج کردیم و…

Source link