@آرتمگآرتم گوگین
مهندس داده ، معلم و نویسنده فنی.
برای توضیح مختصر آنچه ما در اینجا می خواهیم انجام دهیم: ما می خواهیم اجازه خواندن و نوشتن مباحث کافکا را داشته باشیم.
کافکا ما توسط Kerberos محافظت می شود. این بدان معناست که ، قبل از شروع دسترسی به کافکا ، باید از Kerberos بلیط تهیه کنیم. برای دریافت بلیط ، باید یک پرونده تأیید keytab – برای هر کاربر ارائه دهیم. همه این مراحل باید به صورت خودکار انجام شود زیرا وقتی از دستورات برای دسترسی به کافکا استفاده می کنیم فرصتی برای نشان دادن دستی صفحه کلید وجود نخواهد داشت. برای انجام کارها باید پارامترها و تنظیمات مناسب را در مکان مناسب مشخص کنیم.
اینجا محیط من است (ممکن است ابزار و نسخه های شما متفاوت باشد اما روش هنوز هم باید کارساز باشد):
- Cloudera Hadoop cluster v. 5+
- Kafka v. 2+ (موضوع مرتبط با Kerberos از قبل موجود است)
- Spark v. 2+
- Kerberos v. 5
- نوت بوک Jupyter با Pyspark
برای شروع ، اجازه دهید به موضوع Kafka محافظت شده با ترمینال دسترسی پیدا کنیم. دسترسی به موضوع فقط درصورتی مجاز است که ما برای کاربر مناسب از Kerberos بلیط تهیه کنیم. برای این عملیات ، ما باید آماده شویم (اگر همه پرونده ها در یک مسیر قرار بگیرند هموارتر خواهد بود): پرونده keytab کاربر (برای Kerberos)
برای شروع ، اجازه دهید با استفاده از موضوع محافظت شده کافکا دسترسی پیدا کنیم پایانه. دسترسی به موضوع فقط باید مجاز باشد …