سال گذشته شاهد ظهور انفجاری مدلهای بزرگ بودیم که شور و نشاط جهانی را ایجاد کرد و هوش مصنوعی را راهحلی برای همه مشکلات بهنظر رساند. امسال، با فروکش کردن تبلیغات، مدلهای بزرگ وارد فاز عمیقتری شدهاند و هدف آن تغییر شکل منطق بنیادی صنایع مختلف است. در پردازش داده های بزرگ، برخورد بین مدل های بزرگ و فرآیندهای سنتی ETL (Extract, Transform, Load) بحث های جدیدی را برانگیخته است. مدلهای بزرگ دارای “Transformers” هستند، در حالی که ETL به فرآیندهای “Transform” متکی است – نامهای مشابهی که پارادایمهای بسیار متفاوتی را نشان میدهند. برخی صداها به جرأت پیش بینی می کنند: “ETL در آینده به طور کامل جایگزین خواهد شد، زیرا مدل های بزرگ می توانند تمام داده ها را مدیریت کنند!” آیا این نشان دهنده پایان چارچوب ETL چند دهه ای است که پردازش داده ها را پشتیبانی می کند؟ یا صرفاً یک پیشبینی اشتباه است؟ در پس این تضاد، تفکر عمیقتری درباره آینده فناوری نهفته است.
آیا پردازش داده های بزرگ (ETL) ناپدید می شود؟
با توسعه سریع مدلهای بزرگ، برخی شروع به گمانهزنی کردهاند که آیا روشهای سنتی پردازش کلان داده، از جمله ETL، هنوز ضروری هستند یا خیر. مدلهای بزرگ، قادر به یادگیری مستقل قوانین و کشف الگوها از مجموعه دادههای وسیع، غیرقابل انکار هستند. با این حال، پاسخ من روشن است: ETL ناپدید نخواهد شد. مدل های بزرگ هنوز نتوانسته اند به …