مدیریت کارآمد داده و هماهنگی گردش کار با Apache Doris Job Scheduler

زمان‌بندی کار بخش مهمی از مدیریت داده‌ها است، زیرا امکان به‌روزرسانی و پاک‌سازی منظم داده‌ها را فراهم می‌کند. در یک پلت فرم داده، اغلب توسط ابزارهای هماهنگی جریان کار مانند Apache Airflow و Apache Dolphinscheduler انجام می شود. با این حال، افزودن مؤلفه دیگر به معماری داده نیز به معنای سرمایه گذاری منابع اضافی برای مدیریت و نگهداری است. به همین دلیل Apache Doris 2.1.0 Job Scheduler داخلی را معرفی می کند. از نظر استراتژیک بیشتر برای آپاچی دوریس طراحی شده است و انعطاف پذیری بیشتر در زمان بندی و سادگی معماری را به ارمغان می آورد.

Doris Job Scheduler عملیات از پیش تعریف شده را در مقاطع زمانی خاص یا فواصل زمانی مشخص آغاز می کند، بنابراین امکان اتوماسیون کار کارآمد و قابل اعتماد را فراهم می کند. قابلیت های کلیدی آن عبارتند از:

  • بهره وری: از الگوریتم TimeWheel استفاده می کند تا اطمینان حاصل شود که راه اندازی وظایف تا دومی دقیق است.

  • انعطاف پذیری: هم از مشاغل یکبار مصرف و هم کارهای معمولی پشتیبانی می کند. برای دومی، کاربران می توانند زمان شروع/پایان و فواصل دقیقه، ساعت، روز یا هفته را تعریف کنند.

  • استخر نخ اجرا و صف پردازش: توسط یک مدل تک تولید کننده و چند مصرف کننده مبتنی بر Disruptor پشتیبانی می شود تا از اضافه بار اجرای کار جلوگیری شود.

  • قابلیت ردیابی: آخرین سوابق اجرای کار (قابل تنظیم) را که با یک روش ساده قابل استعلام هستند را پیگیری می کند.

Source link