در این قسمت در مورد لایه دسته ای معماری Lambda صحبت خواهم کرد.
لایه دسته ای با استفاده از یک تابع در کل مجموعه داده های تاریخی محاسبه می شود ، تا به برخی از س questionsالات سطح بالا پاسخ دهد که توسط لایه سرعت یا لایه خدمت نمی توان پاسخ داد.
محاسبات معمولاً ساعتها یا روزها طول می کشد و نتایج معمولاً در یک سیستم فایل توزیع شده ذخیره می شوند (اگرچه این الزامی نیست). به عنوان مثال ، س quالاتی که ممکن است لازم باشد به آنها پاسخ داده شود از ابتدای مجموعه داده تا کنون متغیر است ، یا در مورد ما ، تا به امروز تعداد کابین ها به چه تعداد مسافر سرویس داده اند یا کل مسافتی که همه کابین ها طی می کنند چیست.
در این مقاله سعی خواهم کرد بر اساس مجموعه داده ای که دارم به س questionsالاتی از این قبیل پاسخ دهم. کد مقاله را می توانید در اینجا پیدا کنید.
پیش زمینه لایه دسته ای
لایه دسته شامل نسخه اصلی مجموعه داده و نمای دسته ای پیش محاسبات در آن مجموعه داده است. باید بتواند دو کار انجام دهد ، اینکه بتواند کپی در حال رشد و تغییرناپذیری از مجموعه داده را ذخیره کند و توابع دلخواه را با استفاده از یک سیستم پردازش دسته ای مانند Hadoop یا Spark در آن مجموعه محاسبه کند. می تواند به صورت زیر نمایش داده شود:
نمای دسته ای = عملکرد (همه داده ها)
لایه دسته ای ، مانند لایه سرویس دهنده ، نیازهای سیستم های بزرگ داده را برآورده می کند ، مانند:
- مقاومت و تحمل خطا: برای اینکه بتوانید …