مارتین اسپلیت گوگل به سوالی در مورد ربات های مخربی که بر عملکرد سایت تاثیر می گذارند پاسخ داد و پیشنهاداتی را ارائه کرد که هر سئو سایت و صاحب سایت باید بداند و عمل کند.
ربات های مخرب یک مشکل سئو هستند
بسیاری از سئوکارانی که ممیزی سایت را انجام می دهند معمولاً امنیت و ترافیک ربات را به عنوان بخشی از ممیزی خود نادیده می گیرند زیرا بازاریابان دیجیتال به طور گسترده درک نمی کنند که رویدادهای امنیتی بر عملکرد سایت تأثیر می گذارد و می تواند دلیل خزیدن ناکافی سایت باشد. هنگامی که یک وضعیت امنیتی ضعیف به عملکرد ضعیف سایت کمک می کند، بهبود موارد حیاتی وب اصلی هیچ کمکی به بهبود عملکرد سایت نمی کند.
هر وبسایتی مورد حمله قرار میگیرد و اثرات خزیدن بیش از حد میتواند کد پاسخ «500 خطای سرور» را ایجاد کند، که نشاندهنده ناتوانی در سرویسدهی صفحات وب و مانع از توانایی Google در خزیدن صفحات وب است.
چگونه در برابر حملات ربات ها دفاع کنیم
شخصی که این سوال را میپرسد، توصیههای گوگل را میخواست که چگونه در برابر امواج رباتهای اسکریپر که بر عملکرد سرور آنها تأثیر میگذارند، مبارزه کنند.
این سوال پرسیده شده است:
“وب سایت ما به دلیل خراش های هدفمند توسط نرم افزارهای خودکار، اختلالات قابل توجهی را تجربه می کند که منجر به مشکلات عملکرد، افزایش بار سرور و نگرانی های بالقوه امنیت داده می شود. با وجود مسدود کردن IP و سایر اقدامات پیشگیرانه، مشکل همچنان ادامه دارد. چه کنیم؟»
مارتین اسپلیت گوگل پیشنهاد کرد سرویسی را که به عنوان منبع حملات عمل می کند شناسایی کرده و آنها را در مورد استفاده نادرست از خدمات خود مطلع کنید. او همچنین قابلیت های فایروال یک CDN (شبکه تحویل محتوا) را توصیه کرد.
مارتین پاسخ داد:
«اگر خزیدن آنقدر تهاجمی باشد که باعث کاهش عملکرد شود، این موضوع تا حدودی شبیه یک مشکل انکار سرویس توزیع شده است.
میتوانید مالک شبکهای را که ترافیک از آنجا میآید شناسایی کنید، از «میزبان آنها» تشکر کنید و یک اعلان سوء استفاده ارسال کنید. معمولاً می توانید از اطلاعات WHOIS برای آن استفاده کنید.
از طرف دیگر، CDN ها اغلب دارای ویژگی هایی برای شناسایی ترافیک ربات و مسدود کردن آن هستند و طبق تعریف، ترافیک را از سرور شما می گیرند و آن را به خوبی توزیع می کنند، بنابراین این یک پیروزی است. اکثر CDN ها ربات های موتور جستجوی قانونی را می شناسند و آنها را مسدود نمی کنند، اما اگر این یک نگرانی بزرگ برای شماست، قبل از شروع استفاده از آنها از آنها سوال کنید.”
آیا مشاوره گوگل کار خواهد کرد؟
شناسایی ارائه دهنده ابر یا مرکز داده سرور که میزبان ربات های مخرب است توصیه خوبی است. اما سناریوهای زیادی وجود دارد که در آنها کارساز نخواهد بود.
سه دلیل برای اینکه تماس با ارائه دهندگان منابع کارساز نخواهد بود
1. بسیاری از ربات ها پنهان هستند
رباتها اغلب از VPN و شبکههای منبع باز «Tor» استفاده میکنند که منبع رباتها را پنهان میکنند و تمام تلاشها برای شناسایی سرویسهای ابری یا میزبان وب فراهمکننده زیرساختها برای رباتها را شکست میدهند. هکرها همچنین پشت رایانههای خانگی و تجاری آسیبدیده پنهان میشوند که باتنت نامیده میشوند تا حملات خود را انجام دهند. هیچ راهی برای شناسایی آنها وجود ندارد.
2. ربات ها آدرس های IP را تغییر می دهند
برخی از ربات ها به مسدود کردن IP با سوئیچ کردن فوری به یک شبکه دیگر پاسخ می دهند تا بلافاصله حمله خود را از سر بگیرند. یک حمله می تواند از یک سرور آلمانی منشا گرفته شود و در صورت مسدود شدن به یک ارائه دهنده شبکه در آسیا تغییر می کند.
3. استفاده ناکارآمد از زمان
هنگامی که منبع ترافیک مبهم یا از صدها منبع باشد، تماس با ارائه دهندگان شبکه در مورد کاربران سوء استفاده کننده بیهوده است. بسیاری از صاحبان سایت و سئوکاران ممکن است از اینکه متوجه شوند حملات به وب سایت آنها چقدر شدید است شگفت زده می شوند. حتی اقدام علیه گروه کوچکی از متخلفان استفاده ناکارآمد از زمان است زیرا به معنای واقعی کلمه میلیون ها ربات دیگر وجود دارند که جایگزین ربات های مسدود شده توسط یک ارائه دهنده ابری می شوند.
و در مورد باتنتهای متشکل از هزاران رایانه در معرض خطر در سراسر جهان چطور؟ فکر می کنید زمان دارید که به همه آن ISP ها اطلاع دهید؟
اینها سه دلیل هستند که چرا اطلاع رسانی به ارائه دهندگان زیرساخت روشی مناسب برای متوقف کردن ربات هایی است که بر عملکرد سایت تأثیر می گذارند. در واقع، استفاده بیهوده و ناکارآمد از زمان است.
از WAF برای مسدود کردن ربات ها استفاده کنید
استفاده از فایروال برنامه کاربردی وب (WAF) ایده خوبی است و این همان عملکردی است که مارتین اسپلیت هنگام استفاده از CDN (شبکه تحویل محتوا) پیشنهاد می کند. یک CDN، مانند Cloudflare، صفحه وب درخواستی را از سروری که در نزدیکترین نقطه به آنها قرار دارد به مرورگرها و خزندهها ارسال میکند و عملکرد سایت را سرعت میبخشد و منابع سرور را برای صاحب سایت کاهش میدهد.
CDN همچنین دارای یک WAF (فایروال برنامه وب) است که به طور خودکار ربات های مخرب را مسدود می کند. پیشنهاد مارتین برای استفاده از CDN قطعا گزینه خوبی است، به خصوص به این دلیل که مزیت اضافی بهبود عملکرد سایت را دارد.
گزینه ای که مارتین به آن اشاره نکرد استفاده از افزونه وردپرس WAF مانند Wordfence است. Wordfence دارای یک WAF است که به طور خودکار ربات ها را بر اساس رفتار آنها خاموش می کند. به عنوان مثال، اگر یک ربات مقادیر مسخره ای از صفحات را درخواست کند، به طور خودکار یک بلوک IP موقت ایجاد می کند. اگر ربات به آدرس IP دیگری بچرخد، رفتار خزیدن را شناسایی کرده و دوباره آن را مسدود می کند.
راه حل دیگری که باید در نظر گرفت، یک پلتفرم SaaS مانند Sucuri است که یک WAF و یک CDN را برای سرعت بخشیدن به عملکرد ارائه می دهد. Wordfence و Sucuri هر دو ارائه دهندگان قابل اعتماد امنیت وردپرس هستند و نسخه های رایگان محدود اما موثری دارند.
در ساعت 6:36 دقیقه پادکست Google SEO Office Hours به پرسش و پاسخ گوش دهید:
تصویر ویژه توسط Shutterstock/Krakenimages.com