اسکراپر وب شما دوباره مسدود شد؟ اوه حالا چی؟ شما آن هدرهای HTTP را میخکوب کردید و آن را شبیه یک مرورگر کردید، اما سایت هنوز متوجه شد که درخواست های شما خودکار هستند. اصلا چطور ممکن است؟ ساده: این اثر انگشت TLS شماست! 😲
در دنیای ابلهانه انگشت نگاری TLS شیرجه بزنید، کشف کنید که چرا این قاتل خاموش در پشت اکثر بلوک ها است، و یاد بگیرید که چگونه از آن دور شوید.
آنتی ربات دوباره شما را بلاک کرد؟ زمان برای یادگیری چرا!
بیایید فرض کنیم با یک سناریوی معمولی خراش دادن سر و کار دارید. شما با استفاده از یک کلاینت HTTP – مانند Requests در Python یا Axios در جاوا اسکریپت – یک درخواست خودکار برای واکشی HTML یک صفحه وب برای خراش دادن برخی از داده ها از آن انجام می دهید.
همانطور که احتمالا قبلاً می دانید، اکثر وب سایت ها دارای فناوری های محافظت از ربات هستند. در مورد بهترین فناوری ضد خراشیدن کنجکاو هستید؟ راهنمای ما در مورد بهترین راه حل های ضد خراش را بررسی کنید! 🔐
این ابزارها درخواست های دریافتی را کنترل می کنند و موارد مشکوک را فیلتر می کنند.
اگر به نظر می رسد که درخواست شما از طرف یک انسان معمولی است، خوب است که بروید. در غیر این صورت؟ قرار است دیوار سنگی شود! 🧱
درخواست های مرورگر در مقابل درخواست های ربات
حال، درخواست یک کاربر معمولی چگونه است؟ آسان! فقط DevTools مرورگر خود را فعال کنید، به تب Network بروید و خودتان ببینید:
اگر آن درخواست را با انتخاب گزینه…