مقدمه
در عصر دیجیتال، داده ها به یکی از با ارزش ترین دارایی ها برای مشاغل تبدیل شده است. به عنوان یک پلت فرم خدمات سبک زندگی پیشرو در چین، گروه 58 به طور مداوم در حال کاوش و نوآوری در ساخت پلت فرم یکپارچه سازی داده های خود است. این مقاله به جزئیات تکامل معماری، استراتژی‌های بهینه‌سازی و برنامه‌های آتی پلتفرم یکپارچه‌سازی داده‌های گروه ۵۸ بر اساس Apache SeaTunnel می‌پردازد.
چالش های بستر یکپارچه سازی داده ها
پیشینه کسب و کار
گروه 58 دارای طیف گسترده ای از کسب و کارها است و با توسعه سریع این مشاغل، مقیاس داده ها از حوزه های مختلف تجاری مانند استخدام، املاک، مسکن دست دوم، بازارهای دست دوم، خدمات محلی و امنیت اطلاعات باعث شده است. به طور قابل توجهی افزایش یافت.
58 گروه نیاز به تسهیل جریان و همگرایی داده ها بین منابع مختلف داده برای دستیابی به مدیریت یکپارچه، گردش و به اشتراک گذاری داده ها دارد. این نه تنها شامل جمع‌آوری، توزیع و ذخیره‌سازی داده‌ها می‌شود، بلکه برنامه‌هایی مانند محاسبات آفلاین، همگام‌سازی خوشه‌ای متقابل، و پروفایل کاربری را نیز شامل می‌شود.
در حال حاضر، گروه 58 روزانه بیش از 500 میلیارد پیام را پردازش می‌کند که پیک پردازش پیام به بیش از 20 میلیون و تعداد کارها به بیش از 1600 می‌رسد. مدیریت چنین حجم عظیمی از …