Apache Doris برای تجزیه و تحلیل داده های Log و سری زمانی در NetEase: چرا Elasticsearch و InfluxDB نه؟

برای اکثر افرادی که به دنبال راه حلی برای مدیریت گزارش و تجزیه و تحلیل هستند، Elasticsearch گزینه اصلی است. همین امر در مورد InfluxDB برای تجزیه و تحلیل داده های سری زمانی صدق می کند. اینها دقیقاً انتخاب های NetEase بود، یکی از پربازده ترین شرکت های بازی در جهان، اما بیشتر از آن.

همانطور که NetEase افق های تجاری خود را گسترش می دهد، گزارش ها و داده های سری زمانی که دریافت می کند منفجر می شوند و مشکلاتی مانند افزایش هزینه های ذخیره سازی و کاهش ثبات به وجود می آیند. Apache Doris به عنوان انتخاب NetEase در میان تمام اجزای کلان داده برای ارتقاء پلتفرم، در هر دو سناریو قرار می گیرد و عملکرد پرس و جو بسیار سریعتر را به ارمغان می آورد.

ما دستاوردهای NetEase را پس از استفاده از Apache Doris در پلتفرم نظارت و پلت فرم داده سری زمانی فهرست می کنیم و بهترین عملکرد آنها را با کاربرانی که نیازهای مشابهی دارند به اشتراک می گذاریم.

پلتفرم مانیتورینگ: Elasticsearch – Apache Doris

NetEase یک پلت فرم فضای کاری مشترک را ارائه می دهد که ایمیل، تقویم، اسناد مبتنی بر ابر، پیام های فوری، مدیریت مشتری و غیره را ترکیب می کند. برای نظارت بر عملکرد و در دسترس بودن آن، NetEase پلت فرم نظارت Eagle را ایجاد می کند که گزارش ها را برای تجزیه و تحلیل جمع آوری می کند. Eagle توسط Elasticsearch و Logstash پشتیبانی شد.

خط لوله داده‌ها ساده بود: Logstash داده‌های گزارش را جمع‌آوری می‌کند، آن‌ها را تمیز و تبدیل می‌کند، و سپس آن‌ها را به Elasticsearch خروجی می‌دهد، که گزارش بلادرنگ را مدیریت می‌کند…

Source link