Data Lineage مانند باز کردن یک توپ نخ است

تصویر
عکس پروفایل نون هکر کاستور

کرچک

Castor (http://castordoc.com) – اعتماد و دیده شدن را به داده های خود بیاورید

“اگر من این جدول را تغییر دهم، چگونه می توانم بدانم که هیچ جدولی در پایین دست نمی شکند؟”

“اگر من این جدول را با یک جدول دیگر با طراحی بهتر جایگزین کنم، همه داشبوردهایی که باید با جدول داده جدید به روز کنم چه هستند؟”

“به نظر می رسد این داشبورد اشتباه است. کجا می توانم بررسی کنم که چه داده هایی این داشبورد را تامین می کند؟”

نمی‌توانم بگویم چند بار این سؤال‌ها را از خودم پرسیده‌ام، یا چند بار هنگام صحبت با مهندسان داده، مهندسان تحلیل یا روسای داده‌ها، این سؤالات را شنیده‌ام. پاسخ هرگز رالی هیجان انگیز نبود. چیزی شبیه این بود: “خوب، کد منبع و وابستگی های نقشه را در اکسل بررسی کنید” یا “از برایان بپرسید، او می داند”. بدیهی است که آن برایان بیچاره یک مهندس داده باورنکردنی بود، اما دلیل خوب بودن او این بود که وقت خود را صرف پاسخ دادن به پینگ های بی امان من در Slack نمی کرد.

هشدار اسپویلر: به همین دلیل است که مردم خط داده را اختراع کردند!

“نسب داده مانند یک شجره نامه است اما برای داده”

اصل و نسب داده فناوری است که روابط بین دارایی های داده را بازیابی می کند. در دنیای داده، شما با جمع‌آوری داده‌های خام از منابع مختلف (لاگ‌های وب‌سایت، پرداخت‌ها و غیره) شروع می‌کنید و این داده‌ها را با اعمال …