در قسمت اول این آموزش ما اولین گام ها را برای ساختن یک خط لوله MLOps سرتاسر با استفاده از Databricks و Spark برداشتیم که توسط معماری مرجع Databricks هدایت می شد. در اینجا خلاصه ای از مراحل کلیدی که پوشش داده ایم آورده شده است:
-
راه اندازی کاتالوگ یونیتی برای معماری مدالیون: ما داده های خود را در لایه های برنزی، نقره ای و طلایی در کاتالوگ یونیتی سازماندهی کردیم و یک سیستم مدیریت داده ساختاریافته و کارآمد ایجاد کردیم.
-
ورود داده به کاتالوگ یونیتی: ما نشان دادیم که چگونه داده های خام را به سیستم وارد کنیم و از ثبات و کیفیت برای مراحل پردازش بعدی اطمینان حاصل کنیم.
-
آموزش مدل: با استفاده از Databricks، ما یک مدل یادگیری ماشینی متناسب با مجموعه دادههایمان را آموزش دادیم و بهترین روشها را برای توسعه مدل مقیاسپذیر و مؤثر دنبال میکنیم.
-
تنظیم فراپارامتر با HyperOpt: برای افزایش عملکرد مدل، ما از HyperOpt برای خودکار کردن جستجوی فراپارامترهای بهینه، بهبود دقت و کارایی استفاده کردیم.
-
ردیابی آزمایشی با Databricks MLflow: ما از MLflow برای ثبت و نظارت بر آزمایشهای خود استفاده کردیم و یک رکورد جامع از نسخههای مدل، معیارها و پارامترها برای مقایسه و تکرارپذیری آسان حفظ کردیم.
با تکمیل این مراحل اساسی، مدل شما اکنون آماده استقرار است. در این بخش دوم، ما بر روی …