پیش‌بینی سری‌های زمانی احتمالی با شبکه‌های عصبی بیزین ترکیبی

AutoBNN بر اساس یک خط تحقیقاتی است که در دهه گذشته با مدل‌سازی سری‌های زمانی با استفاده از GPs با ساختارهای هسته آموخته شده، دقت پیش‌بینی بهبود یافته‌ای را به همراه داشته است. تابع هسته یک GP مفروضاتی را در مورد تابع مدل‌سازی شده رمزگذاری می‌کند، مانند وجود روند، تناوب یا نویز. با هسته های GP آموخته شده، تابع هسته به صورت ترکیبی تعریف می شود: یا یک هسته پایه است (مانند Linear، Quadratic، Periodic، Matérn یا ExponentiatedQuadratic) یا ترکیبی که دو یا چند تابع هسته را با استفاده از عملگرهایی مانند Addition، Multiplication، یا ChangePoint. این ساختار هسته ترکیبی دو هدف مرتبط را انجام می دهد. اول اینکه، به اندازه کافی ساده است که کاربری که در مورد داده های خود خبره است، اما نه لزوماً در مورد پزشکان عمومی، می تواند یک پیشینی معقول برای سری زمانی خود بسازد. دوم، تکنیک‌هایی مانند Sequential Monte Carlo را می‌توان برای جستجوهای گسسته بر روی ساختارهای کوچک استفاده کرد و می‌تواند نتایج قابل تفسیر را تولید کند.

AutoBNN این ایده ها را بهبود می بخشد و GP را با شبکه های عصبی بیزی (BNNs) جایگزین می کند و در عین حال ساختار هسته ترکیبی را حفظ می کند. BNN یک شبکه عصبی با توزیع احتمال بر وزن ها به جای مجموعه ای ثابت از وزن ها است. این یک توزیع بر روی خروجی ها را القا می کند و عدم قطعیت را در پیش بینی ها ثبت می کند. BNN ها مزایای زیر را نسبت به پزشکان عمومی دارند: اول، آموزش پزشکان بزرگ از نظر محاسباتی گران است و الگوریتم های آموزشی سنتی به عنوان مکعب تعداد نقاط داده در سری های زمانی مقیاس می شوند. در مقابل، برای یک عرض ثابت، آموزش BNN اغلب از نظر تعداد نقاط داده تقریباً خطی خواهد بود. دوم، BNN ها نسبت به عملیات آموزشی GP، خود را بهتر به شتاب سخت افزاری GPU و TPU می دهند. سوم، BNN های ترکیبی را می توان به راحتی با BNN های عمیق سنتی که توانایی کشف ویژگی را دارند، ترکیب کرد. می توان معماری های “هیبریدی” را تصور کرد که در آن کاربران ساختار سطح بالایی را مشخص می کنند Add(Linear، Periodic، Deep، و BNN عمیق برای یادگیری مشارکت از اطلاعات متغیرهای کمکی با ابعاد بالقوه باقی مانده است.

چگونه می توان یک GP با هسته های ترکیبی را به یک BNN ترجمه کرد؟ یک شبکه عصبی تک لایه معمولاً با افزایش تعداد نورون ها (یا “عرض”) به یک GP همگرا می شود. اخیراً، محققان مکاتباتی را در جهت دیگر کشف کرده‌اند – بسیاری از هسته‌های GP محبوب (مانند Matern، ExponentiatedQuadratic، Polynomial یا Periodic) را می توان به عنوان BNN با عرض نامحدود با توابع فعال سازی و توزیع وزن مناسب به دست آورد. علاوه بر این، این BNN ها نزدیک به GP مربوطه باقی می مانند حتی زمانی که عرض بسیار کمتر از بی نهایت باشد. به عنوان مثال، شکل‌های زیر تفاوت کوواریانس بین جفت مشاهدات و نتایج رگرسیون GPهای واقعی و نسخه‌های شبکه عصبی عرض-10 متناظر آنها را نشان می‌دهد.