چرا بسیاری از مشاغل علم داده در واقع مهندسی داده هستند؟

این روزها، به نظر می‌رسد هر شرکتی مشتاق است نقش «دانشمند داده» را ایفا کند و فرصت‌های هیجان‌انگیزی برای کار با الگوریتم‌های یادگیری ماشین، مدل‌های پیش‌بینی‌کننده و چارچوب‌های یادگیری عمیق را نوید می‌دهد. با این حال، برای بسیاری از حرفه ای ها که در این موقعیت ها قدم می گذارند، واقعیت کاملاً با جذابیت مطابقت ندارد. آن‌ها به‌جای غواصی در هوش مصنوعی یا مدل‌سازی مجموعه‌های داده پیچیده، خود را تا زانو در استخراج، تمیز کردن و آماده‌سازی داده‌ها می‌بینند. به دنیای مهندسی داده خوش آمدید – دامنه ای که بسیاری متوجه نشدند در آن ثبت نام کرده اند.

این پدیده ناشی از سوء تفاهم اساسی شرکت ها از آنچه واقعاً به آن نیاز دارند، می باشد. زمانی که بخش عمده ای از کارشان شامل پاکسازی داده ها و اطمینان از وجود زیرساخت ها برای رسیدگی به آن ها می شود – اساساً وظایف مهندسی داده، آنها لیست های شغلی را برای “دانشمندان داده” ارسال می کنند. نتیجه این است که متخصصانی که به‌عنوان دانشمندان داده استخدام می‌شوند، در نهایت کاری را انجام می‌دهند که انتظارش را نداشتند: داده‌های آشفته، جابجایی آن‌ها بین پلتفرم‌ها و آماده‌سازی آن‌ها برای تجزیه و تحلیل. ناامیدی ناگزیر برای کسانی ایجاد می شود که انتظار داشتند روز خود را صرف ساختن مدل های یادگیری ماشین کنند، نه نوشتن پرس و جوهای SQL و راه اندازی خطوط لوله.

برای مهندسان مشتاق داده، این یک فرصت پنهان است. در حالی که بازار کار پر از شرکت هایی است که به دنبال …