سلام بچه ها، من Cai Shunfeng هستم، یک مهندس داده ارشد در WhaleOps، و یک committer و عضو PMC از Apache DolphinScheduler. امروز نحوه عملکرد Worker task Apache DolphinScheduler را توضیح خواهم داد.
این توضیح به سه بخش تقسیم خواهد شد:
- آشنایی با Apache DolphinScheduler
- نمای کلی از طراحی کلی Apache DolphinScheduler
- فرآیند اجرای دقیق وظایف Worker
معرفی پروژه
Apache DolphinScheduler یک سیستم منبع باز برنامه ریزی گردش کار بصری توزیع شده، به راحتی قابل توسعه است که برای سناریوهای سطح سازمانی مناسب است.
این عملکردهای کلیدی زیر را ارائه می دهد و یک راه حل کامل پردازش داده چرخه عمر را برای گردش کار و وظایف از طریق عملیات بصری ارائه می دهد.
ویژگی های کلیدی
-
آسان برای استفاده
-
عملیات ویژوال DAG: کاربران می توانند اجزای صفحه را بکشند و رها کنند تا آنها را در یک DAG (گراف غیر چرخه مستقیم) مرتب کنند.
-
سیستم پلاگین: شامل پلاگین های وظیفه، پلاگین های منبع داده، افزونه های هشدار، افزونه های ذخیره سازی، پلاگین های مرکز رجیستری و پلاگین های cron job و غیره است. کاربران می توانند به راحتی افزونه ها را در صورت نیاز گسترش دهند تا نیازهای تجاری خود را برآورده کنند.
-
سناریوهای استفاده غنی
-
پیکربندی استاتیک: شامل زمانبندی گردش کار، عملیات آنلاین و آفلاین، مدیریت نسخه، و عملکردهای پر کردن است.
-
عملیات زمان اجرا: فراهم می کند …