چکیده:
این مقاله یک چارچوب پیشرفته برای پردازش مجموعه داده‌های مقیاس پتابایت با استفاده از AWS Glue Interactive Sessions، کتابخانه‌های سفارشی و Amazon Athena ارائه می‌کند. این چارچوب چالش‌های مهمی را در مقیاس‌پذیری، کارایی هزینه و عملکرد برای حجم‌های عظیم داده مورد بررسی قرار می‌دهد. نتایج ما بهبودهای قابل توجهی را در کارایی پردازش و کاهش هزینه نشان می‌دهد، با کاهش تا 60 درصدی هزینه‌های پردازش و 40 درصد بهبود در زمان‌های پردازش برای مجموعه داده‌های فشرده.
مقدمه:
رشد تصاعدی داده‌ها در صنایع نیاز فوری به چارچوب‌های پردازشی قوی با قابلیت مدیریت مجموعه داده‌های مقیاس پتابایت ایجاد کرده است. روش‌های سنتی پردازش داده اغلب با مقیاس‌پذیری، کارایی هزینه، و عملکرد زمانی که برای چنین حجم عظیمی از داده‌ها اعمال می‌شوند، دچار مشکل هستند. علاوه بر این، تنوع فرمت‌های داده و انواع فشرده‌سازی، پیچیدگی بیشتری را برای خطوط لوله پردازش داده ایجاد می‌کند.
این مقاله به بررسی توسعه یک چارچوب پردازش داده مقیاس‌پذیر با استفاده از جلسات تعاملی چسب AWS و کتابخانه‌های سفارشی می‌پردازد که توسط آمازون آتنا برای موارد استفاده خاص تکمیل شده است. هدف این چارچوب رسیدگی به چالش های مرتبط با پردازش داده در مقیاس پتابایت، از جمله مدیریت کارآمد فرمت های مختلف فشرده سازی فایل، هزینه …