یک مدل آب و هوای عصبی پیشرفته موجود در محصولات Google – وبلاگ تحقیقاتی Google

ارسال شده توسط Samier Merchant، Google Research، و Nal Kalchbrenner، Google DeepMind

پیش بینی متغیرهای آب و هوا مانند بارش، دما و باد برای جنبه های مختلف جامعه، از برنامه ریزی روزانه و حمل و نقل گرفته تا تولید انرژی، کلیدی است. همانطور که ما همچنان شاهد رویدادهای شدید آب و هوایی مانند سیل، خشکسالی و موج گرما هستیم، پیش بینی های دقیق می تواند برای آماده سازی و کاهش اثرات آنها ضروری باشد. 24 ساعت اول آینده بسیار مهم است، زیرا هم بسیار قابل پیش بینی و هم قابل اجرا هستند، که می تواند به مردم کمک کند تا تصمیمات آگاهانه را به موقع بگیرند و ایمن بمانند.

امروز یک مدل آب و هوای جدید به نام MetNet-3 را ارائه می کنیم که توسط Google Research و Google DeepMind توسعه یافته است. بر اساس مدل‌های قبلی MetNet و MetNet-2، MetNet-3 پیش‌بینی‌هایی با وضوح بالا تا 24 ساعت آینده برای مجموعه بزرگ‌تری از متغیرهای اصلی، از جمله بارش، دمای سطح، سرعت و جهت باد، و نقطه شبنم ارائه می‌کند. MetNet-3 یک پیش‌بینی موقتی صاف و بسیار دانه‌بندی، با فواصل زمانی 2 دقیقه و وضوح فضایی 1 تا 4 کیلومتر ایجاد می‌کند. MetNet-3 در مقایسه با روش‌های سنتی به عملکرد قوی دست می‌یابد و از بهترین مدل‌های پیش‌بینی عددی آب و هوا (NWP) مبتنی بر فیزیک تک عضوی و چند عضوه – مانند تازه‌سازی سریع با وضوح بالا (HRRR) و مجموعه پیش‌بینی گروهی (ENS) – بهتر عمل می‌کند. چندین منطقه تا 24 ساعت جلوتر.

در نهایت، ما قابلیت‌های MetNet-3 را در محصولات و فناوری‌های مختلف Google در جایی که آب و هوا مرتبط است، ادغام کرده‌ایم. MetNet-3 که در حال حاضر در ایالات متحده و بخش‌هایی از اروپا با تمرکز بر پیش‌بینی‌های 12 ساعته بارش در دسترس است، به ارائه اطلاعات دقیق و قابل اعتماد آب‌وهوا برای مردم در چندین کشور و زبان کمک می‌کند.

خروجی بارش MetNet-3 در پیش‌بینی‌های عملی در جستجوی Google در تلفن همراه خلاصه می‌شود.

متراکم شدن مشاهدات پراکنده

بسیاری از مدل‌های اخیر آب و هوای یادگیری ماشین از حالت جوی تولید شده توسط روش‌های سنتی (مثلاً جذب داده‌ها از NWP) به عنوان نقطه شروع اولیه برای ایجاد پیش‌بینی استفاده می‌کنند. در مقابل، یکی از ویژگی های تعیین کننده مدل های MetNet استفاده از مشاهدات مستقیم جو برای آموزش و ارزیابی بوده است. مزیت مشاهدات مستقیم این است که اغلب از دقت و وضوح بالاتری برخوردار هستند. با این حال، مشاهدات مستقیم از طیف وسیعی از حسگرها در ارتفاعات مختلف، از جمله ایستگاه‌های هواشناسی در سطح سطح و ماهواره‌ها در مدار، به دست می‌آیند و می‌توانند درجات مختلفی از پراکندگی داشته باشند. به عنوان مثال، تخمین‌های بارش حاصل از رادار مانند سیستم چند رادار/چند حسگر NOAA (MRMS) تصاویر نسبتاً متراکمی هستند، در حالی که ایستگاه‌های هواشناسی واقع در زمین که اندازه‌گیری متغیرهایی مانند دما و باد را ارائه می‌دهند، صرفاً نقاطی هستند که در یک نقطه پخش شده‌اند. منطقه

علاوه بر منابع داده مورد استفاده در مدل‌های قبلی MetNet، MetNet-3 شامل اندازه‌گیری‌های نقطه‌ای از ایستگاه‌های هواشناسی به عنوان ورودی و هدف با هدف پیش‌بینی در همه مکان‌ها است. برای این منظور، نوآوری کلیدی MetNet-3 تکنیکی به نام تراکم است که فرآیند دو مرحله‌ای سنتی شبیه‌سازی داده‌ها و شبیه‌سازی موجود در مدل‌های مبتنی بر فیزیک را در یک گذر از شبکه عصبی ادغام می‌کند. اجزای اصلی تراکم در زیر نشان داده شده است. اگرچه تکنیک متراکم‌سازی برای جریان خاصی از داده‌ها به صورت جداگانه اعمال می‌شود، اما پیش‌بینی متراکم‌شده حاصل از همه جریان‌های ورودی دیگری که به MetNet-3 وارد می‌شوند، از جمله ویژگی‌های توپوگرافی، ماهواره، رادار، و تجزیه و تحلیل NWP سود می‌برد. هیچ پیش‌بینی NWP در ورودی‌های پیش‌فرض MetNet-3 گنجانده نشده است.

آ) در طول تمرین، کسری از ایستگاه های هواشناسی در حالی که در هدف قرار دارند، از ورودی پنهان می شوند. ب) برای ارزیابی تعمیم به مکان های آموزش ندیده، مجموعه ای از ایستگاه های هواشناسی که با مربع نشان داده می شوند هرگز برای آموزش استفاده نمی شوند و فقط برای ارزیابی استفاده می شوند. سی) داده های این ایستگاه های هواشناسی با پوشش کم در طول ارزیابی برای تعیین کیفیت پیش بینی در این مناطق گنجانده شده است. D) پیش‌بینی‌های نهایی از مجموعه کامل ایستگاه‌های هواشناسی آموزشی به عنوان ورودی استفاده می‌کنند و پیش‌بینی‌های کاملاً متراکم را با کمک اشتراک‌گذاری پارامترهای فضایی تولید می‌کنند.

وضوح بالا در فضا و زمان

مزیت اصلی استفاده از مشاهدات مستقیم، وضوح مکانی و زمانی بالای آنها است. برای مثال، ایستگاه‌های هواشناسی و ایستگاه‌های رادار زمینی به ترتیب هر چند دقیقه یک بار در نقاط خاص و با وضوح ۱ کیلومتر اندازه‌گیری می‌کنند. این در تضاد کامل با حالت جذب از مدل پیشرفته ENS است که هر 6 ساعت با وضوح 9 کیلومتر با پیش بینی های ساعت به ساعت تولید می شود. برای مدیریت چنین وضوح بالایی، MetNet-3 یکی دیگر از ویژگی های تعیین کننده این سری از مدل ها را حفظ می کند. شرطی سازی زمان سرب. زمان پیش‌بینی بر حسب دقیقه مستقیماً به عنوان ورودی به شبکه عصبی داده می‌شود. این به MetNet-3 اجازه می دهد تا به طور موثر فرکانس زمانی بالای مشاهدات را برای فواصل کوتاه 2 دقیقه مدل کند. چگالش همراه با شرطی شدن زمان سرب و مشاهدات مستقیم با وضوح بالا، یک پیش‌بینی 24 ساعته کاملاً متراکم با وضوح زمانی 2 دقیقه ایجاد می‌کند، در حالی که فقط از 1000 نقطه از شبکه ایستگاه‌های هواشناسی یک دقیقه‌ای (OMO) که در سراسر ایالات متحده پخش شده است، یاد می‌گیرید.

MetNet-3 یک توزیع احتمال چندجمله ای حاشیه ای را برای هر متغیر خروجی و هر مکانی که اطلاعات غنی را فراتر از میانگین ارائه می کند، پیش بینی می کند. این به ما امکان می‌دهد خروجی‌های احتمالی MetNet-3 را با خروجی‌های مدل‌های NWP گروه احتمالی پیشرفته، از جمله پیش‌بینی گروه ENS از مرکز اروپا برای پیش‌بینی‌های هوای متوسط ​​و پیش‌بینی گروه با وضوح بالا (HREF) از National Oceanic مقایسه کنیم. و اداره اتمسفر ایالات متحده با توجه به ماهیت احتمالی خروجی های هر دو مدل، ما قادر به محاسبه امتیازهایی مانند امتیاز احتمال مرتب شده پیوسته (CRPS) هستیم. نمودارهای زیر نتایج تراکم را برجسته می‌کنند و نشان می‌دهند که پیش‌بینی‌های MetNet نه تنها وضوح بسیار بالاتری دارند، بلکه زمانی که در زمان‌های سررسید با هم تداخل دارند، دقیق‌تر هستند.

بالا: پیش بینی MetNet-3 از سرعت باد برای هر 2 دقیقه در 24 ساعت آینده با وضوح فضایی 4 کیلومتر. پایین: پیش بینی ساعتی ENS با وضوح مکانی 18 کیلومتر. دو رژیم متمایز در ساختار فضایی در درجه اول توسط حضور رشته کوه های کلرادو هدایت می شوند. تیره تر مربوط به سرعت باد بیشتر است. نمونه های بیشتر در اینجا موجود است: 1، 2، 3، 4.

مقایسه عملکرد بین MetNet-3 و خط پایه NWP برای سرعت باد بر اساس CRPS (کمتر بهتر است). در تنظیمات hyperlocal، مقادیر ایستگاه های هواشناسی آزمایشی به عنوان ورودی به شبکه در طول ارزیابی داده می شود. نتایج به ویژه در زمان های اولیه بهبود بیشتر می شود.

بر خلاف متغیرهای ایستگاه هواشناسی، برآوردهای بارش به دلیل اینکه از رادار زمینی بدست می آیند، متراکم تر هستند. مدل‌سازی بارش MetNet-3 مشابه مدل MetNet-1 و 2 است، اما پیش‌بینی‌های بارش با وضوح بالا را با دانه‌بندی فضایی 1 کیلومتری به همان 24 ساعت زمان هدایت مانند سایر متغیرها گسترش می‌دهد، همانطور که در انیمیشن زیر نشان داده شده است. عملکرد MetNet-3 در بارندگی به مقدار CRPS بهتری نسبت به ENS در محدوده 24 ساعته دست می یابد.

مطالعه موردی برای پنجشنبه 17 ژانویه 2019 ساعت 00:00 UTC که احتمال نرخ بارندگی آنی بالای 1 میلی‌متر در ساعت را در CONUS نشان می‌دهد. تیره تر مربوط به مقدار احتمال بالاتر است. نقشه‌ها همچنین آستانه پیش‌بینی را هنگام بهینه‌سازی شاخص موفقیت بحرانی CSI (محورهای آبی تیره) نشان می‌دهند. این مطالعه موردی خاص شکل‌گیری یک الگوی جدید بارش بزرگ را در مرکز ایالات متحده نشان می‌دهد. این فقط پیش بینی الگوهای موجود نیست. بالا: پیش بینی ساعتی ENS مرکز: حقیقت پایه، منبع MRMS NOAA. پایین: نقشه احتمال همانطور که توسط MetNet-3 پیش بینی شده است. وضوح اصلی در اینجا موجود است.

مقایسه عملکرد بین MetNet-3 و خط پایه NWP برای نرخ بارش آنی در CRPS (کمتر بهتر است).

ارائه پیش‌بینی‌های بی‌درنگ ML

آموزش و ارزیابی یک مدل پیش‌بینی آب و هوا مانند MetNet-3 بر روی داده‌های تاریخی تنها بخشی از فرآیند ارائه پیش‌بینی‌های مبتنی بر ML به کاربران است. هنگام توسعه یک سیستم ML بلادرنگ برای پیش‌بینی آب و هوا، ملاحظات زیادی وجود دارد، مانند دریافت داده‌های ورودی بی‌درنگ از چندین منبع مجزا، اجرای استنتاج، اجرای اعتبارسنجی بلادرنگ خروجی‌ها، ایجاد بینش از خروجی غنی مدل که منجر به تجربه کاربری بصری و ارائه نتایج در مقیاس Google – همه در یک چرخه پیوسته، هر چند دقیقه یکبار تجدید می شود.

ما چنین سیستم بلادرنگی را توسعه دادیم که می‌تواند هر چند دقیقه یک بار پیش‌بینی بارش را برای کل ایالات متحده و 27 کشور در اروپا برای مدت زمان حداکثر 12 ساعت ایجاد کند.

تصویری از فرآیند تولید پیش بینی بارش با استفاده از MetNet-3.

منحصر به فرد بودن سیستم ناشی از استفاده آن از استنتاج تقریباً پیوسته است، که به مدل اجازه می دهد تا دائماً پیش بینی های کامل را بر اساس جریان داده های دریافتی ایجاد کند. این حالت استنتاج با سیستم های استنتاج سنتی متفاوت است و به دلیل ویژگی های متمایز داده های دریافتی ضروری است. این مدل منابع داده های مختلفی را به عنوان ورودی دریافت می کند، مانند رادار، ماهواره، و شبیه سازی عددی پیش بینی آب و هوا. هر یک از این ورودی ها فرکانس تازه سازی و وضوح مکانی و زمانی متفاوتی دارند. برخی از منابع داده، مانند مشاهدات آب و هوا و رادار، ویژگی‌هایی شبیه به جریان پیوسته داده‌ها دارند، در حالی که برخی دیگر، مانند جذب NWP، شبیه به دسته‌ای از داده‌ها هستند. این سیستم می‌تواند همه این منابع داده را از نظر مکانی و زمانی تراز کند، و به مدل اجازه می‌دهد تا درک به‌روزی از بارش ۱۲ ساعت بعدی را با سرعت بسیار بالا ایجاد کند.

با فرآیند فوق، مدل قادر به پیش‌بینی توزیع‌های احتمال گسسته دلخواه است. ما تکنیک‌های جدیدی را برای تبدیل این فضای خروجی متراکم به اطلاعات کاربرپسند ایجاد کردیم که تجربه‌های غنی را در محصولات و فناوری‌های Google ممکن می‌سازد.

ویژگی های آب و هوا در محصولات Google

مردم در سرتاسر جهان برای ارائه اطلاعات مفید، به موقع و دقیق درباره آب و هوا هر روز به Google متکی هستند. این اطلاعات برای اهداف مختلفی مانند برنامه ریزی برای فعالیت های خارج از منزل، بسته بندی وسایل برای سفرها و ایمن ماندن در هنگام حوادث آب و هوایی شدید استفاده می شود.

دقت پیشرفته، وضوح زمانی و مکانی بالا، و ماهیت احتمالی MetNet-3 امکان ایجاد بینش های آب و هوای فوق محلی منحصر به فرد را فراهم می کند. برای ایالات متحده و اروپا به‌هم پیوسته، MetNet-3 عملیاتی است و پیش‌بینی‌های 12 ساعته بارندگی را در زمان واقعی تولید می‌کند که اکنون در محصولات و فناوری‌های Google در جایی که آب و هوا مرتبط است، مانند جستجو، ارائه می‌شود. خروجی غنی از مدل به اطلاعات عملی تبدیل می‌شود و فوراً به میلیون‌ها کاربر ارائه می‌شود.

برای مثال، کاربری که اطلاعات آب و هوا را برای یک مکان دقیق از دستگاه تلفن همراه خود جستجو می‌کند، داده‌های پیش‌بینی بارندگی بسیار محلی را دریافت می‌کند، از جمله نمودارهای جدول زمانی با تفکیک‌های دقیق دقیقه‌ای بسته به محصول.

خروجی بارش MetNet-3 در آب و هوا در برنامه Google در Android (ترک کرد) و جستجوی وب تلفن همراه (درست).

نتیجه

MetNet-3 یک مدل یادگیری عمیق جدید برای پیش بینی آب و هوا است که از مدل های مبتنی بر فیزیک پیشرفته برای پیش بینی 24 ساعته مجموعه ای از متغیرهای آب و هوا بهتر عمل می کند. این پتانسیل ایجاد امکانات جدید برای پیش بینی آب و هوا و بهبود ایمنی و کارایی بسیاری از فعالیت ها مانند حمل و نقل، کشاورزی و تولید انرژی است. MetNet-3 عملیاتی است و پیش‌بینی‌های آن در چندین محصول Google در مواردی که آب و هوا مرتبط است ارائه می‌شود.

سپاسگزاریها

افراد زیادی در توسعه این تلاش مشارکت داشتند. مایلیم به ویژه از افرادی از Google DeepMind (دی لی، جرمیا هارمسن، لاسه اسپهولت، مارسین آندریکوویچ، زک اونتیوروس)، تحقیقات Google (آرون بل، آکیب اودین، الکس مروس، کارلا برومبرگ، فرد زیدا، ایزالو مونتاکوت، جرد سیسک) تشکر کنیم. جیسون هیکی، لوک برینگتون، مارک یانگ، مایا توحیدی، ناتالی ویلیامز، پرامود گوپتا، شریا آگراوال، توماس ترنبول، تام اسمال، تایلر راسل، و جستجوی گوگل (آگوستین پسیالو، بیل مایرز، دنی چرزنیک، لیور کوهن، ماکا پیومبی) مایا دیامانت، ماکس کامنتسکی، مایا اکرون، مور شلزینگر، نتا گفن دورون، نوفار پلد لوی، اوفر لهر، اور هیلل، روتم ورتمن، وینای رولیوس شاه، یچی لابای).