معاملات اسید: مبانی دریاچه دلتا – قسمت 1

عکس پروفایل نویسنده

@آدیپولکآدی پولاک

Develop توسعه دهنده نرم افزار ? بلاگر ?️ بلندگو ? 1 از 25 زن با نفوذ در توسعه نرم افزار

to به قسمت اول اصول اساسی Delta Lake خوش آمدید! ?

دریاچه دلتا چیست؟

Delta Lake یک لایه ذخیره سازی منبع باز است که تراکنش های ACID را به حجم کاری Apache Spark ™ و داده های بزرگ می رساند.

منبع باز DeltaLake از 3 پروژه تشکیل شده است:

  • دلتا – هسته دریاچه دلتا ، نوشته شده در Scala.
  • delta-rs – کتابخانه زنگ زده برای اتصال با پایتون و روبی.
  • کانکتورها – اتصالات به موتورهای معروف داده بزرگ خارج از Spark که بیشتر در Scala نوشته شده اند.

دلتا توانایی ما را فراهم می کند “بازگشت به زمان” به نسخه های قبلی داده های ما ، فراداده مقیاس پذیر – این بدان معناست که اگر مجموعه بزرگی از داده های خام در دریاچه داده ذخیره شده باشیم ، داشتن فراداده انعطاف پذیری لازم برای تجزیه و تحلیل و اکتشاف داده ها را برای ما فراهم می کند.

همچنین مکانیزمی را برای جریان و داده های دسته ای را متحد کنید.

اجرای طرح واره – برای جلوگیری از درج سوابق بد / غیر مطابق ، از تغییرات طرحواره استفاده کنید و معاملات اسیدی برای اطمینان از اینکه کاربران / خوانندگان هرگز داده های متناقض را مشاهده نمی کنند.

مهم است که به یاد داشته باشید که Delta Lake یک پایگاه داده (DB) نیست ، بله ، دقیقاً مانند Apache Kafka DB نیست. به دلیل پشتیبانی از تراکنش های ACID ، اجرای طرحواره ، … ممکن است مانند یک “احساس” شود.