اعمال نظارت طبیعی برای بازنمایی زبان: رمزگذار خودکار تغییر جملات

2.3 رمزگذار خودکار تغییر جملات

رمزگذارهای خودکار متغیر مدل هایی هستند که مدل سازی متغیر پنهان و شبکه های عصبی را ترکیب می کنند. به عنوان نوعی از رمزگذارهای خودکار متغیر، رمزگذارهای خودکار متغیر جمله (SVAEs) به دنبال مدل سازی یک جمله از طریق متغیرهای پنهان هستند. استفاده از متغیرهای پنهان امکان انتخاب های طراحی را فراهم می کند که جنبه های خاصی از یک جمله را منعکس می کند: به عنوان مثال، احساس و رسمی، که منجر به معماری های عصبی قابل کنترل و تفسیر می شود. در زیر به طور خلاصه به بررسی آثار مرتبط می پردازیم.

SVAEها با یک متغیر پنهان اغلب فرض می‌کنند که متغیر پنهان از توزیع‌های گاوسی پیروی می‌کند، جایی که محققان در درجه اول بر بهبود قابلیت‌های SVAEs در مدل‌سازی زبان (که توسط گیجی‌ها اندازه‌گیری می‌شوند) و تولید از نمونه‌های درون‌یابی شده از توزیع‌های پنهان تمرکز می‌کنند (بومن و همکاران، 2016). . کار مرتبط تأثیر توزیع‌های پنهان مختلف، از جمله توزیع‌های فون میزس-فیشر (Xu و دورت، 2018)، مخلوط‌های گاوسی (دینگ و گیمپل، 2021)، توزیع‌های Gumbel-softmax (ژو و نوبیگ، 2017)، متغیرهای گسسته (وایزمن) را مطالعه می‌کند. و همکاران، 2018؛ زیگلر و راش، 2019، جین و همکاران، 2020. .، 2019) و…

Source link