چرا فشرده سازی اطلاعات به عملکرد بهتر هوش مصنوعی کمک می کند؟

نویسندگان:

(1) آلبرت گو، گروه یادگیری ماشین، دانشگاه کارنگی ملون و با مشارکت مساوی؛

(2) تری دائو، گروه علوم کامپیوتر، دانشگاه پرینستون و با مشارکت مساوی.

چکیده و 1 مقدمه

2 مدل فضایی حالت

3 مدل فضایی حالت انتخابی و 3.1 انگیزه: انتخاب به عنوان وسیله فشرده سازی

3.2 بهبود SSM با انتخاب

3.3 اجرای کارآمد SSM های انتخابی

3.4 معماری ساده شده SSM

3.5 ویژگی های مکانیسم های انتخاب

3.6 جزئیات مدل اضافی

4 ارزیابی تجربی و 4.1 وظایف ترکیبی

4.2 مدل سازی زبان

4.3 مدل سازی DNA

4.4 مدل سازی و تولید صدا

4.5 معیار سرعت و حافظه

4.6 مدل ابلیشن

5 بحث

6 نتیجه گیری و مراجع

بحث: مکانیسم انتخاب

ب کارهای مرتبط

C مکانیک SSM های انتخابی

D الگوریتم آگاه از سخت افزار برای SSM های انتخابی

E جزئیات تجربی و نتایج اضافی

3 مدل فضایی حالت انتخابی

ما مکانیسم انتخاب خود را با استفاده از شهود از کارهای مصنوعی تحریک می کنیم (بخش 3.1)، سپس توضیح می دهیم که چگونه این مکانیسم را در مدل های فضای حالت ادغام کنیم (بخش 3.2). SSMهای متغییر زمان حاصل نمی توانند از کانولوشن استفاده کنند، و این یک چالش فنی برای نحوه محاسبه کارآمد آنها است. ما با یک سخت افزار آگاه بر این امر غلبه می کنیم …

Source link