معماری آپاچی کافکا 101: اجزای داخلی و نحوه کار آنها با هم

در مقاله قبلی من، با تمرکز بر آپاچی کافکا با سیستم های Pub/Sub آشنا شدید. شما باید مولفه های حیاتی معماری کافکا را در سطح بالایی ببینید. آپاچی کافکا سه ویژگی کلیدی را به شما ارائه می دهد. این توانایی انتشار و اشتراک در رویدادها، ذخیره آنها و پردازش آنها در زمان واقعی یا بعد است.

در این مقاله، تمام اجزایی که این ویژگی‌ها را ممکن می‌کنند را بهتر درک خواهید کرد. شما عمیق تر به اجزای داخلی معماری آپاچی کافکا و نحوه کار آنها با یکدیگر خواهید رفت.

بررسی اجمالی

آپاچی کافکا یک پلتفرم پخش رویداد منبع باز و توزیع شده است که فیدهای داده در زمان واقعی را با توان عملیاتی بالا، تاخیر کم و تحمل خطا مدیریت می کند. در هسته خود، آپاچی کافکا حول دو لایه اصلی ساخته شده است: لایه های ذخیره سازی و محاسباتی، که هر کدام نقش مهمی در تضمین جریان و پردازش یکپارچه داده ایفا می کنند.

لایه ذخیره سازی ذخیره سازی داده ها را مدیریت می کند و یک سیستم توزیع شده است. همانطور که نیازهای ذخیره سازی داده شما گسترش می یابد، کافکا می تواند به راحتی حجم را کاهش دهد تا حجم فزاینده را تطبیق دهد. از سوی دیگر، لایه محاسباتی حول چهار ستون اصلی ساخته شده است: API تولید کننده، API مصرف کننده، API جریان ها و API اتصال دهنده. این مؤلفه‌ها آپاچی کافکا را قادر می‌سازد تا داده‌ها را در سیستم‌های به هم پیوسته توزیع و پردازش کند.

شکل 1: مروری بر معماری آپاچی کافکاشکل 1: مروری بر معماری آپاچی کافکا

Source link