اگر تاکنون با راه اندازی خطوط لوله استخراج ، تغییر شکل و بارگیری داده ها (اصطلاحاً مشاغل ETL) ، مدیریت پایگاه های داده مختلف و برنامه ریزی گردش کارها دست و پنجه نرم کرده اید – بدانید که یک روش ساده تر برای اتوماسیون این کارهای مهندسی داده وجود دارد. در این مقاله ، شما می آموزید که چگونه یک گردش کار n8n ایجاد کنید که متن را پردازش کند ، داده ها را در دو پایگاه داده ذخیره کند و پیام ها را به Slack ارسال کند.
چند ماه پیش ، بوت کمپ Data Science را تکمیل کردم ، جایی که یک هفته همه چیز در مورد مهندسی داده ، خطوط لوله ETL و اتوماسیون گردش کار بود. پروژه آن هفته ایجاد پایگاه داده ای از توییت ها بود که از هشتگ #OnThisDay به همراه نمره احساسات خود استفاده می کند و ارسال توییت در یک کانال Slack برای اطلاع اعضا از وقایع تاریخی اتفاق افتاده در آن روز. این خط لوله باید با Docker Compose انجام می شد و شامل شش مرحله بود:
1. توییت ها را با هشتگ #OnThisDay جمع کنید
2. توییت های جمع آوری شده را در یک پایگاه داده MongoDB ذخیره کنید
3. توییت ها را از پایگاه داده استخراج کنید
4. توییت ها را پردازش کنید (متن را تمیز کنید ، احساسات را تجزیه و تحلیل کنید)
5- توییت های تمیز شده و نمره احساسات آنها را در یک پایگاه داده Postgres بارگیری کنید
6. استخراج و ارسال توییت هایی با احساس مثبت در یک کانال Slack
این یک پروژه سرگرم کننده است که فرصت های زیادی برای یادگیری در مورد موضوعات مختلف ارائه می دهد: API ها ، پردازش متن با …