نمای کلی
این مقاله عمدتاً نحوه استفاده از DolphinScheduler را در ترکیب با SeaTunnel برای تکمیل همگام سازی داده ها بین منابع داده ناهمگن معرفی می کند. این یک راه حل خوب برای ایجاد یک انبار داده بزرگ یکپارچه برای داده های دسته ای و جریانی است. پایدار و کارآمد است—زمانی که از آن استفاده کنید، آن را دوست خواهید داشت.
آماده سازی محیط
- DolphinScheduler cluster = 3.1.5
- کد منبع DolphinScheduler 3.1.5
- خوشه SeaTunnel = 2.3.3
برای کسانی که هنوز محیط های فوق را نصب نکرده اند برای راه اندازی محیط پایه به وب سایت رسمی مراجعه کنند.
تغییرات فایل پیکربندی
در اینجا توضیحی وجود دارد: وظایف همگامسازی دادههای SeaTunnel که از طریق DolphinScheduler پیکربندی شدهاند، در نهایت به یک گروه کارگر یا گره کارگر از خوشه DS برای اجرا اختصاص داده میشوند. بنابراین، باید اطمینان حاصل کنید که گرههای Worker هدف خوشه DS شما نیز سرویس SeaTunnel را نصب کردهاند.
این مهم است زیرا نمونه های وظیفه SeaTunnel تعریف شده در DolphinScheduler در نهایت باید سرویس SeaTunnel را در گره Worker فراخوانی کنند تا دستور راه اندازی وظیفه محلی را اجرا کنند و ارسال و اجرای کار را کامل کنند.
تغییرات در فایل های پیکربندی DolphinScheduler
از آنجایی که ما باید از SeaTunnel برای یکپارچه سازی داده ها استفاده کنیم، باید پیکربندی …