نویسندگان:
(1) آلبرت گو، گروه یادگیری ماشین، دانشگاه کارنگی ملون و با مشارکت مساوی؛
(2) تری دائو، گروه علوم کامپیوتر، دانشگاه پرینستون و با مشارکت مساوی.
جدول پیوندها
چکیده و 1 مقدمه
2 مدل فضایی حالت
3 مدل فضایی حالت انتخابی و 3.1 انگیزه: انتخاب به عنوان وسیله فشرده سازی
3.2 بهبود SSM با انتخاب
3.3 اجرای کارآمد SSM های انتخابی
3.4 معماری ساده شده SSM
3.5 ویژگی های مکانیسم های انتخاب
3.6 جزئیات مدل اضافی
4 ارزیابی تجربی و 4.1 وظایف ترکیبی
4.2 مدل سازی زبان
4.3 مدل سازی DNA
4.4 مدل سازی و تولید صدا
4.5 معیار سرعت و حافظه
4.6 مدل ابلیشن
5 بحث
6 نتیجه گیری و مراجع
بحث: مکانیسم انتخاب
ب کارهای مرتبط
C مکانیک SSM های انتخابی
D الگوریتم آگاه از سخت افزار برای SSM های انتخابی
E جزئیات تجربی و نتایج اضافی
3.4 معماری ساده شده SSM
همانند SSM های ساختاریافته، SSM های انتخابی تبدیل های توالی مستقلی هستند که می توانند به طور انعطاف پذیر در شبکه های عصبی گنجانده شوند. معماری H3 پایه ای برای شناخته شده ترین معماری های SSM است (بخش 2)، که عموماً از یک بلوک الهام گرفته از توجه خطی تشکیل شده است که با یک MLP (چند لایه…