گوگل باعث قطع شدن ابزار سئو جهانی می شود

گوگل اسکراپرهای وب را که داده‌های نتایج جستجو را جمع‌آوری می‌کنند، شکست، و باعث قطعی جهانی در بسیاری از ابزارهای محبوب ردیابی رتبه مانند SEMRush شد که به ارائه داده‌های تازه از صفحات نتایج جستجو بستگی دارد.

اگر SERP های گوگل به طور کامل مسدود شوند چه اتفاقی می افتد؟ مقدار معینی از داده‌های ارائه شده توسط خدمات ردیابی مدت‌هاست که توسط الگوریتم‌هایی از منابع مختلف داده برون‌یابی شده است. این امکان وجود دارد که یک راه دور زدن بلوک فعلی، برون یابی داده ها از منابع دیگر باشد.

Scraping SERP توسط Google ممنوع شده است

دستورالعمل‌های گوگل مدت‌هاست که بررسی خودکار رتبه در نتایج جستجو را ممنوع کرده است، اما ظاهراً گوگل به بسیاری از شرکت‌ها اجازه داده است تا نتایج جستجوی خود را حذف کنند و برای دسترسی به داده‌های رتبه‌بندی به منظور ردیابی کلمات کلیدی و رتبه‌بندی هزینه دریافت کنند.

طبق دستورالعمل های گوگل:

«ترافیک تولید شده توسط ماشین (که به آن ترافیک خودکار نیز می‌گویند) به تمرین ارسال پرسش‌های خودکار به Google اشاره دارد. این شامل حذف نتایج برای اهداف بررسی رتبه یا انواع دیگر دسترسی خودکار به جستجوی Google است که بدون اجازه صریح انجام می شود. ترافیک تولید شده توسط ماشین منابع را مصرف می کند و در توانایی ما برای بهترین خدمات رسانی به کاربران اختلال ایجاد می کند. چنین فعالیت‌هایی خط‌مشی‌های هرزنامه و شرایط خدمات Google را نقض می‌کنند.»

مسدود کردن اسکراپرها پیچیده است

برای مسدود کردن اسکراپرها بسیار نیاز به منابع دارد، به خصوص به این دلیل که آنها می توانند با انجام کارهایی مانند تغییر آدرس IP و عامل کاربر برای دریافت هر بلوکی به بلوک ها پاسخ دهند. راه دیگر برای مسدود کردن اسکراپرها از طریق هدف قرار دادن رفتارهای خاص مانند تعداد صفحات درخواست شده توسط کاربر است. تعداد بیش از حد درخواست های صفحه می تواند باعث ایجاد یک بلوک شود. مشکل این رویکرد این است که می‌تواند برای ردیابی تمام آدرس‌های IP مسدود شده که به سرعت به میلیون‌ها عدد می‌رسد، به منابع فشرده تبدیل شود.

گزارش ها در شبکه های اجتماعی

یک پست در گروه فیس بوک آزمایشگاه سیگنال های سئو خصوصی اعلام کرد که گوگل به شدت علیه وب اسکرپینگ ها ضربه می زند، به طوری که یکی از اعضا اظهار داشت که ابزار Scrape Owl برای آنها کار نمی کند، در حالی که دیگران ذکر کردند که داده های SEMRush به روز نشده است.

یک پست دیگر، این بار در لینکدین، به ابزارهای متعددی اشاره کرد که محتوای خود را به‌روزرسانی نمی‌کردند، اما همچنین اشاره کرد که مسدود کردن همه ارائه‌دهندگان داده را تحت تأثیر قرار نداده است، و اشاره کرد که Sistrix و MonitorRank هنوز کار می‌کنند. شخصی از شرکتی به نام HaloScan گزارش داد که تنظیماتی را برای از سرگیری خراش دادن داده ها از Google انجام داده و بازیابی کرده اند و شخص دیگری گزارش داده است که ابزار دیگری به نام MyRankingMetrics هنوز داده ها را گزارش می کند.

بنابراین هر کاری که گوگل انجام می دهد در حال حاضر روی همه اسکراپرها تأثیر نمی گذارد. ممکن است گوگل رفتارهای خراش دادن خاصی را هدف قرار دهد، از پاسخ ها درس گرفته و توانایی مسدودسازی آنها را بهبود بخشد. هفته‌های آینده ممکن است نشان دهد که گوگل توانایی خود را برای مسدود کردن خراش‌ها بهبود می‌بخشد یا تنها بزرگترین آنها را هدف قرار می‌دهد.

پست دیگری در لینکدین حدس می‌زد که مسدود کردن ممکن است منجر به دریافت منابع و هزینه‌های بالاتری برای کاربران نهایی ابزارهای سئوی SaaS شود. پست کردند:

این حرکت از سوی گوگل استخراج داده ها را چالش برانگیزتر و پرهزینه تر می کند. در نتیجه، کاربران ممکن است با هزینه اشتراک بالاتری مواجه شوند. “

رایان جونز در توییتی نوشت:

به نظر می‌رسد گوگل شب گذشته به‌روزرسانی‌ای را انجام داده است که اکثر اسکراپرها و بسیاری از APIها را مسدود می‌کند.

گوگل، فقط یک API پولی برای نتایج جستجو به ما بدهید. در عوض به شما پول می دهیم.»

بدون اطلاعیه توسط گوگل

تاکنون هیچ اطلاعیه‌ای از سوی گوگل منتشر نشده است، اما ممکن است صحبت‌های آنلاین ممکن است کسی را در گوگل مجبور به اظهار نظر کند.

تصویر ویژه توسط Shutterstock/Krakenimages.com