بهترین روش ها برای پیکربندی Apache Kafka

عکس پروفایل نویسنده

با بیش از دو سال کار با کافکا ، دو تنظیم وجود دارد که تعامل من را در همه جا اشتباه می بیند.

این دو پیکربندی هستند

acks

و

min.insync.replicas

– و نحوه تعامل آنها با یکدیگر.

این قطعه قصد دارد مرجعی مفید باشد که با کمک برخی تصاویر سردرگمی را از بین ببرد.

تکثیر

برای درک بهتر این پیکربندی ها ، یادآوری پروتکل تکثیر Kafka برای خود مفید است.

من فرض می کنم که شما از قبل با کافکا آشنایی دارید – اگر آشنایی ندارید ، می توانید مقاله “آشنایی کامل با آپاچی کافکا” را بررسی کنید.

برای هر پارتیشن ، یک کارگزار رهبر وجود دارد و n دلالان پیرو.
پیکربندی کنترل کننده تعداد کارگزارانی از این دست

(1 + N)

وجود است

replication.factor

. این مقدار کل دفعاتی است که داده های داخل یک پارتیشن در کل خوشه تکرار می شوند.

توصیه پیش فرض و معمول سه است.

مشتریان تولید کننده فقط با کارگزار رهبر نامه می نویسند – پیروان به صورت غیر همزمان داده ها را تکثیر می کنند. اکنون ، به دلیل دنیای نابسامان سیستم های توزیع شده ، ما به روشی نیاز داریم که بفهمیم آیا این پیروان قادر به نگهداری از رهبر نیستند – آیا آنها آخرین داده هایی را که برای رهبر ارسال شده اند ، دارند؟

ماکت های همگام سازی

آن ماکت در همگام سازی (ISR) کارگزار است که آخرین داده ها را برای …