راهنمای معمار برای 10 ابزار برتر مورد نیاز برای ساخت دریاچه داده مدرن

قبلا در موردش نوشتم معماری مرجع دریاچه داده مدرنبا توجه به چالش‌های هر سازمانی – داده‌های بیشتر، ابزارهای قدیمی Hadoop (به ویژه HDFS) و تقاضاهای بیشتر برای RESTful API (S3) و عملکرد – اما من می‌خواهم برخی از شکاف‌ها را پر کنم.

دریاچه داده مدرن که گاهی اوقات به عنوان دریاچه داده شناخته می شود، یک دوم دریاچه داده و یک دوم انبار داده مبتنی بر مشخصات قالب جدول باز (OTF) است. هر دو بر اساس ذخیره سازی اشیاء مدرن ساخته شده اند.

همزمان، ما عمیقاً در مورد اینکه چگونه سازمان‌ها می‌توانند زیرساخت داده‌های هوش مصنوعی بسازند که بتواند از تمام نیازهای AI/ML شما پشتیبانی کند – نه فقط ذخیره‌سازی خام مجموعه‌های آموزشی، مجموعه‌های اعتبارسنجی و مجموعه‌های آزمایشی شما، فکر کرده‌ایم. به عبارت دیگر، باید محاسبات مورد نیاز برای آموزش مدل‌های زبان بزرگ، ابزار MLOps، آموزش توزیع‌شده و موارد دیگر را شامل شود. در نتیجه این خط فکری، مقاله دیگری در مورد چگونگی استفاده از دریاچه داده مدرن گردآوری کردیم معماری مرجع برای پشتیبانی از AI/ML شما نیاز دارد. گرافیک زیر این را نشان می دهد معماری مرجع دریاچه داده مدرن با قابلیت های مورد نیاز برای هوش مصنوعی مولد برجسته شده است.

منبع: AI/ML در یک دریاچه داده مدرن

در هر دوی این مقالات به فروشنده یا ابزار خاصی اشاره نشده است. اکنون می‌خواهم درباره فروشندگان و ابزارهای مورد نیاز برای ساخت دریاچه داده مدرن بحث کنم. در این …