چرا به جریان هوای آپاچی «نه» گفتیم و موتور گردش کار خودمان را ساختیم

سلام، من ایگور هستم!

در طول زمان گذشته در BasedLabs، ما روی MVP موتور گردش کار NoLabs کار کرده‌ایم. NoLabs به بیوانفورماتیکان قدرت می دهد تا خطوط لوله و گردش کار را برای آزمایش های آزمایشگاهی خود ایجاد کنند. در حالی که موتورهای گردش کار متعددی وجود دارد، ما دلایل قانع کننده ای برای توسعه موتورهای خود داشتیم.

مشکل انتخاب یا چارچوب تصمیم گیری

تصمیم گیری سخت است و انتخاب از میان راه حل های متعدد برای هسته محصول شما به ویژه چالش برانگیز است. مشکل انتخاب راه حل نادرست این است که در مراحل اولیه، چارچوب، پلتفرم یا کتابخانه ای که انتخاب کرده اید ممکن است تصمیم خوبی به نظر برسد تا زمانی که با موارد استفاده اجتناب ناپذیر در نیازمندی های کسب و کار یا محیط خود مواجه شوید. یک جزئیات کوچک یا یک ویژگی از دست رفته که در مراحل اولیه مورد توجه قرار نگرفت، زمانی که 100000 خط کد در راه حل خود دارید به یک مانع بزرگ تبدیل می شود. همانطور که مردم خردمند می گویند: “درک واضح یک مشکل اولین گام برای حل آن است.”

اولا، الزامات خاص ما یک راه حل سفارشی را ضروری می کرد. پلتفرم های موجود مانند Apache Airflow، Prefect، Dagster و دیگران یا فقط زیرمجموعه ای از نیازهای ما را برآورده می کنند یا کاستی های مهمی دارند. برای مثال، آنها ممکن است فاقد عملکرد دوشاخه‌ای برای کشتن باشند، از اشکالات مهمی مانند وظایف معلق در CANCELLING

Source link