تکنیک های پیشرفته ای که هوش مصنوعی را بدون هزینه اضافی سرعت می بخشد

جدول پیوندها

چکیده و 1 مقدمه

2 مدل فضایی حالت

3 مدل فضایی حالت انتخابی و 3.1 انگیزه: انتخاب به عنوان وسیله فشرده سازی

3.2 بهبود SSM با انتخاب

3.3 اجرای کارآمد SSM های انتخابی

3.4 معماری ساده شده SSM

3.5 ویژگی های مکانیسم های انتخاب

3.6 جزئیات مدل اضافی

4 ارزیابی تجربی و 4.1 وظایف ترکیبی

4.2 مدل سازی زبان

4.3 مدل سازی DNA

4.4 مدل سازی و تولید صدا

4.5 معیار سرعت و حافظه

4.6 مدل ابلیشن

5 بحث

6 نتیجه گیری و مراجع

بحث: مکانیسم انتخاب

ب کارهای مرتبط

C مکانیک SSM های انتخابی

D الگوریتم آگاه از سخت افزار برای SSM های انتخابی

E جزئیات تجربی و نتایج اضافی

3.3 اجرای کارآمد SSM های انتخابی

معماری‌های سازگار با سخت‌افزار مانند کانولوشن‌ها (Krizhevsky, Sutskever, and Hinton 2012) و Transformers (Vaswani et al. 2017) کاربرد گسترده‌ای دارند. در اینجا هدف ما این است که SSM های انتخابی را روی سخت افزار مدرن (GPU) نیز کارآمد کنیم. مکانیسم انتخاب کاملاً طبیعی است و کارهای قبلی سعی در ترکیب …