ساده کردن عملیات داده: چگونه یک زنجیره خواربارفروشی بار کاری را با آپاچی دوریس بهینه می کند

این در مورد این است که چگونه یک مارک فروشگاه مواد غذایی از قابلیت Cross-Cluster Replication (CCR) Apache Doris برای جدا کردن حجم کار خواندن و نوشتن داده های خود استفاده می کند. در این مورد، جایی که تازگی داده ها تازگی خواربارفروشی ها را تضمین می کند، آپاچی دوریس از آپاچی دوریس به عنوان انبار داده خود برای نظارت و تجزیه و تحلیل خرید، فروش و موجودی خود در زمان واقعی برای همه فروشگاه ها و زنجیره های تامین خود استفاده می کند.

چرا آنها به CCR نیاز دارند

بخش عمده ای از انبار داده کاربر (شامل لایه های ODS، DWD، DWS و ADS) در Apache Doris ساخته شده است که از یک مکانیسم زمان بندی میکرو دسته ای برای هماهنگ کردن داده ها در لایه های انبار داده استفاده می کند. با این حال، این تحت فشار تجارت رو به رشد برند فروشگاه های مواد غذایی است. اندازه داده ای که آنها باید دریافت، ذخیره و تجزیه و تحلیل کنند بزرگ و بزرگتر می شود. این بدان معناست که انبار داده آنها باید دسته های بزرگتر نوشتن داده و پرس و جوهای داده های مکرر را مدیریت کند. با این حال، زمان‌بندی کار در طول اجرای پرس‌وجو ممکن است منجر به پیش‌دستی منابع شود، بنابراین هرگونه کمبود منبع می‌تواند به راحتی عملکرد را به خطر بیندازد یا حتی باعث شکست کار یا اختلال در سیستم شود.

به طور طبیعی، کاربر فکر می کند تفکیک حجم کار خواندن و نوشتن به طور خاص، آنها می خواهند داده ها را از لایه ADS (که پاکسازی، تبدیل، تجمیع و…