قبل از اینکه بگویید خوشه تولید آماده کار است، تعدادی الزامات وجود دارد که در نظر گرفتن آنها مفید است، بنابراین در آینده وقتی مشکلی پیش آمد وحشت نکنید! =)
بیایید با اولین نکته شروع کنیم – زیرساخت و معماری خوشه. با توجه به اینکه این اولین راهاندازی است و قرار است روزانه تا 50 گیگابایت داده پردازش کنیم، میتوانیم خوشه Apache NiFi را بهطور بهینه پیکربندی کنیم و تعادلی بین عملکرد و مقرونبهصرفه بودن ایجاد کنیم.
تعداد گره ها
برای حجم داده ما در هنگام راه اندازی، دو یا سه گره در یک خوشه Apache NiFi، ترجیحاً 3 گره کافی است. این امکان متعادل سازی بار و تحمل خطا را فراهم می کند و با افزایش حجم داده ها از تنگناها جلوگیری می کند. پیکربندی سه گره برای اطمینان از ثبات و به حداقل رساندن زمان خرابی ترجیح داده می شود.
- دو گره: مناسب برای استارت آپ هایی با حجم داده کم و بودجه محدود.
- سه گره: راه حل بهینه برای تحمل خطا و بهبود عملکرد.
تقسیم نقش ها در خوشه
گره های NiFi می توانند هم وظایف کاری و هم وظایف هماهنگی را انجام دهند. ZooKeeper برای هماهنگ کردن کار گره ها استفاده می شود.
- گره های کاری: وظایف اصلی پردازش داده ها از جمله خواندن، تبدیل و نوشتن داده ها.
- گره های هماهنگی (ZooKeeper): مدیریت هماهنگی بین گره های NiFi. این است…