نویسندگان:
(1) آلبرت گو، گروه یادگیری ماشین، دانشگاه کارنگی ملون و با مشارکت مساوی؛
(2) تری دائو، گروه علوم کامپیوتر، دانشگاه پرینستون و با مشارکت مساوی.
جدول پیوندها
چکیده و 1 مقدمه
2 مدل فضایی حالت
3 مدل فضایی حالت انتخابی و 3.1 انگیزه: انتخاب به عنوان وسیله فشرده سازی
3.2 بهبود SSM با انتخاب
3.3 اجرای کارآمد SSM های انتخابی
3.4 معماری ساده شده SSM
3.5 ویژگی های مکانیسم های انتخاب
3.6 جزئیات مدل اضافی
4 ارزیابی تجربی و 4.1 وظایف ترکیبی
4.2 مدل سازی زبان
4.3 مدل سازی DNA
4.4 مدل سازی و تولید صدا
4.5 معیار سرعت و حافظه
4.6 مدل ابلیشن
5 بحث
6 نتیجه گیری و مراجع
بحث: مکانیسم انتخاب
ب کارهای مرتبط
C مکانیک SSM های انتخابی
D الگوریتم آگاه از سخت افزار برای SSM های انتخابی
E جزئیات تجربی و نتایج اضافی
3.2 بهبود SSM با انتخاب
یکی از روشهای ترکیب مکانیزم انتخاب در مدلها این است که اجازه دهید پارامترهای آنها که بر تعاملات در طول دنباله تأثیر میگذارند (مثلاً دینامیک مکرر یک RNN یا هسته کانولوشن یک CNN) وابسته به ورودی باشند.
این مقاله در arxiv تحت مجوز CC BY 4.0 DEED موجود است.