@جین لافلورجان لافلور
یکی از بنیانگذاران Airbyte.io ، استاندارد جدید برای ادغام داده های منبع باز
طی سال گذشته ، تیم ما با بیش از 200 شرکت در مورد موارد استفاده از ادغام داده ها مصاحبه کرده است. آنچه ما کشف کردیم این است که ادغام داده ها در سال 2021 هنوز یک وضعیت نامناسب است.
وضعیت فعلی غیر قابل مقیاس
حداقل 80 مورد از 200 مصاحبه با کاربران فناوری ETL موجود مانند Fivetran ، StitchData و Matillion بوده است. ما دریافتیم که هر یک از آنها در حال ساخت و نگهداری اتصال دهنده های خود هستند حتی اگر از یک راه حل ETL (یا یک راه حل ELT – برای سادگی استفاده می کنند ، من فقط از اصطلاح ETL استفاده می کنم). چرا؟
دو دلیل پیدا کردیم:
- پوشش ناقص اتصال دهنده ها
- اصطکاک قابل توجه در اطراف همانندسازی پایگاه داده
عدم توانایی در پوشش تمام نیازهای اتصال دهنده
راه حل ETL بسیاری از کاربران از کانکتور مورد نظرشان پشتیبانی نکرده است ، یا از آن پشتیبانی نکرده است اما نه به روش مورد نیاز.
مثالی برای زمینه: Fivetran هشت سال است که وجود دارد و از 150 اتصال دهنده پشتیبانی می کند. با این حال ، فقط در دو بخش – martech و adtech – بیش از 10،000 اتصال بالقوه وجود دارد.
سخت ترین قسمت ETL ساختن اتصالات نیست ، بلکه حفظ آنهاست. این هزینه بر است و هر راه حل منبع بسته با ملاحظات ROI (بازگشت سرمایه) محدود می شود. در نتیجه،…