❗سلب مسئولیت: این اولین مقاله در الف است سری شش قسمتی در مورد خراش دادن وب پیشرفته. در سرتاسر این مجموعه، همه چیزهایی را که برای تبدیل شدن به یک قهرمان خراشیدن باید بدانید، پوشش خواهیم داد. در زیر یک مقدمه کلی وجود دارد، اما قطعات بعدی بررسی خواهند شد موضوعات پیچیده و راه حل هایی که در هیچ جای دیگری به راحتی پیدا نخواهید کرد!
خراش دادن وب تبدیل به یک کلمه پر سر و صدا شده است که در همه جا وجود دارد – انتشارات، مجلات، و وبلاگ های فناوری. اما این موضوع چیست و چرا اینقدر مهم است؟ اگر اینجا هستید، احتمالاً از قبل می دانید. و، احتمالاً می‌دانید که استخراج داده‌ها در بالاترین سطح کار ساده‌ای نیست – به خصوص که سایت‌ها دائماً در حال تکامل هستند تا اسکریپت‌ها را حذف کنند.
در این اولین مقاله از سری شش قسمتی خود، به چالش‌های سطح بالای اسکراپینگ پیشرفته وب خواهیم پرداخت. پاپ کورن خود را بردارید، و بیایید شروع کنیم! 🍿
خراش دادن وب به طور خلاصه
Web scraping هنر استخراج داده ها از صفحات آنلاین است. اما چه کسی می خواهد اطلاعات را به صورت دستی کپی-پیست کند در حالی که شما می توانید آن را خودکار کنید؟ ⚡
اسکرپینگ وب معمولاً از طریق اسکریپت‌های سفارشی انجام می‌شود که کارهای سنگین را انجام می‌دهند، و کارهایی را که به صورت دستی انجام می‌دهید خودکار می‌کنند: خواندن، کپی و چسباندن اطلاعات از یک صفحه به صفحه دیگر – اما با سرعت کم و در مقیاس وسیع!
به عبارت دیگر، خراش دادن وب مانند استقرار یک کارآمد است…