نحوه رشد DAG ها: وقتی مردم به منبع داده اعتماد می کنند ، بیشتر از آن می پرسند

عکس پروفایل نویسنده

@kyleweatonکایل ایتون

مدیر اجتماع انتظارات بزرگ

این پست وبلاگ تازه کردن بحثی است که من و جیمز در Strata در سال 2017 ارائه دادیم. چرا یک سخنرانی کنفرانس 3 ساله را دوباره بخوانیم؟ خوب ، ایده های اصلی به خوبی پیر شده اند ، ما هرگز قبلاً آنها را برای نوشتن نگاشته ایم و در این ضمن چیزهای جدیدی یاد گرفته ایم. لذت بردن!

سه مرحله وجود دارد. اول ، هنگامی که شما برای اولین بار شروع به ساخت یک سیستم داده می کنید ، یک هزینه پیش پرداخت برای فهمیدن اینکه چگونه همه کار می کند ، متناسب با هم و ساخت آن وجود دارد.

دوم ، برای مدتی فقط کار می کند. ما این مرحله را “معجزه نرم افزار” می نامیم.

سوم ، بعد از مدتی ، متوجه می شوید که زمان زیادی را صرف تعمیر و نگهداری می کنید: رفع اشکالات و تحلیل علت ریشه. تلاش برای فهمیدن دلیل خراب شدن اوضاع در خطوط لوله داده شما. در صورت ظاهر شدن یا تغییر سایر سیستم ها ، اعمال اضافات و تنظیمات.

با گذشت زمان ، این به یک خزش ثابت و مرکب در زمان تعمیر و نگهداری شما برای پروژه تبدیل می شود. اگر این مسئله بیش از حد از کنترل خارج شود ، کار سرگرم کننده دیگر متوقف می شود. مواد به طور غیر قابل پیش بینی شکسته می شوند ، جدول زمانی بسیار متغیر می شود و مردم می سوزند.

ما می خواستیم دلیل این اتفاق را بیان کنیم تا بفهمیم چگونه می توان از آن جلوگیری کرد. در پایان ، ما به این مدل ذهنی از پویایی اصلی رسیدیم.

چرا رشد مرکب؟

فهمیدن…