تفاوت های کلیدی بین مدل های فضایی حالت واقعی و پیچیده

نویسندگان:

(1) آلبرت گو، گروه یادگیری ماشین، دانشگاه کارنگی ملون و با مشارکت مساوی؛

(2) تری دائو، گروه علوم کامپیوتر، دانشگاه پرینستون و با مشارکت مساوی.

چکیده و 1 مقدمه

2 مدل فضایی حالت

3 مدل فضایی حالت انتخابی و 3.1 انگیزه: انتخاب به عنوان وسیله فشرده سازی

3.2 بهبود SSM با انتخاب

3.3 اجرای کارآمد SSM های انتخابی

3.4 معماری ساده شده SSM

3.5 ویژگی های مکانیسم های انتخاب

3.6 جزئیات مدل اضافی

4 ارزیابی تجربی و 4.1 وظایف ترکیبی

4.2 مدل سازی زبان

4.3 مدل سازی DNA

4.4 مدل سازی و تولید صدا

4.5 معیار سرعت و حافظه

4.6 مدل ابلیشن

5 بحث

6 نتیجه گیری و مراجع

بحث: مکانیسم انتخاب

ب کارهای مرتبط

C مکانیک SSM های انتخابی

D الگوریتم آگاه از سخت افزار برای SSM های انتخابی

E جزئیات تجربی و نتایج اضافی

3.6 جزئیات مدل اضافی

رئال در مقابل پیچیده. اکثر SSMهای قبلی از اعداد مختلط در حالت ℎ خود استفاده می کنند، که برای عملکرد قوی در بسیاری از وظایف ضروری است (Gu، Goel و Ré 2022). با این حال، به طور تجربی مشاهده شده است که به نظر می رسد SSM های کاملاً با ارزش واقعی در برخی تنظیمات خوب کار می کنند و احتمالاً حتی بهتر عمل می کنند (Ma et al. 2023). ما از ارزش های واقعی به عنوان …

Source link