یادگیری دانش معنایی از ویکی‌پدیا: بازنمایی نهادهای یادگیری از لینک‌ها

4.1.1 مقدمه

بازنمایی موجودیت ها نقش کلیدی در بسیاری از مشکلات مهم از جمله مدل سازی زبان (جی و همکاران، 2017)، تولید گفتگو (او و همکاران، 2017)، پیوند نهادها (گوپتا و همکاران، 2017)، و تولید داستان (کلارک و همکاران) دارند. al., 2018). یک خط کار موفق در مورد نمایش نهادهای یادگیری، یادگیری تعبیه‌های ایستا بوده است: به این معنا که یک بردار منحصر به فرد به هر موجودیت در داده‌های آموزشی اختصاص دهید (یامادا و همکاران، 2016؛ گوپتا و همکاران، 2017؛ یامادا و همکاران، 2017 ). در حالی که این تعبیه‌ها در بسیاری از برنامه‌ها مفید هستند، اما این اشکال آشکار این است که موجودیت‌های ناشناخته را در خود جای نمی‌دهند.

با انگیزه موفقیت اخیر بازنمایی‌های کلمه‌ای متن‌شده (از این پس: CWRs) از مدل‌های از پیش آموزش دیده (مک کان و همکاران، 2017؛ پیترز و همکاران، 2018؛ دولین و همکاران، 2019؛ یانگ و همکاران، 2019؛ لیو و همکاران. ، 2019)، ما پیشنهاد می کنیم که زمینه ذکر شده یا توضیحات را رمزگذاری کنیم تا به صورت پویا یک موجودیت را نشان دهیم. علاوه بر این، ما مقایسه عمیقی از تعبیه‌های مبتنی بر ELMo و BERT انجام می‌دهیم و متوجه می‌شویم که ویژگی‌های متفاوتی را در وظایف مختلف نشان می‌دهند. ما هر لایه از CWR ها را تجزیه و تحلیل می کنیم و مشاهدات زیر را انجام می دهیم:

• بازنمایی های موجودیت کدگذاری شده پویا، بهبودی قوی در ابهام زدایی موجودیت نشان می دهد…

Source link