نویسندگان:
(1) Vijay Ekambaram ، تحقیقات IBM ؛
(2) Arindam Jati ، IBM Research ؛
(3) Nam H. Nguyen ، تحقیقات IBM ؛
(4) Pankaj Dayama ، IBM Research ؛
(5) چاندرا ردی ، تحقیقات IBM ؛
(6) وسلی م. گیفورد ، تحقیقات IBM ؛
(7) جیانت کالاگنانام ، تحقیقات IBM.
یادداشت سردبیر: این قسمت 1 از 5 مطالعه است که جزئیات توسعه یک مدل کوچک و سریع هوش مصنوعی را ارائه می دهد که دقت عالی را ارائه می دهد. بقیه را در زیر بخوانید.
جدول پیوندها
چکیده
مدلهای بزرگ از قبل آموزش دیده برای یادگیری صفر/چند شات در حوزه های زبان و بینایی برتری دارند اما به دلیل ماهیت و کمبود داده های قبل از آموزش در دسترس عمومی ، در سری های زمانی چند متغیره (TS) با چالش هایی روبرو می شوند. در نتیجه ، اخیر در استفاده از مدل های بزرگ زبان از پیش آموزش داده شده (LLMS) با سازگاری توکن برای پیش بینی TS وجود داشته است. این رویکردها از یادگیری انتقال دامنه متقابل استفاده می کنند و به طرز شگفت آور نتایج چشمگیر به دست می آورند. با این حال ، این مدل ها به طور معمول بسیار کند و بزرگ هستند (parameters billion) و همبستگی های متقابل کانال را در نظر نمی گیرند. برای پرداختن به این موضوع ، ما میکسرهای زمان ریز (TTM) را ارائه می دهیم ، یک مدل به طور قابل توجهی کوچک بر اساس معماری TSMixer سبک وزن. TTM اولین موفقیت در توسعه مدلهای سریع و ریز از قبل آموزش دیده (پارامترهای 1m) را نشان می دهد ، که به طور انحصاری در مجموعه داده های TS عمومی آموزش دیده است ، …