گوگل به وب‌سایت‌ها یادآوری می‌کند که از Robots.txt برای مسدود کردن URLهای اقدام استفاده کنند

در یک پست لینکدین، گری ایلیس، تحلیلگر گوگل، راهنمایی های طولانی مدت برای صاحبان وب سایت را تکرار کرد: از فایل robots.txt برای جلوگیری از دسترسی خزنده های وب به URL هایی که باعث اقداماتی مانند افزودن موارد به سبد خرید یا لیست علاقه مندی ها می شوند، جلوگیری کنید.

Illyes شکایت رایج در مورد بارگیری بیش از حد سرورهای ترافیک خزنده غیرضروری را برجسته کرد، که اغلب از ربات های موتور جستجو ناشی می شود که URL های مورد نظر برای اقدامات کاربر را خزنده می کنند.

او نوشت:

«با نگاهی به آنچه که از سایت‌های موجود در شکایات می‌خزیم، اغلب این نشانی‌های اینترنتی عملی مانند «افزودن به سبد خرید» و «افزودن به فهرست علاقه‌مندان» هستند. این‌ها برای خزنده‌ها بی‌فایده هستند و احتمالاً نمی‌خواهید خزنده شوند.»

برای جلوگیری از هدر رفتن بار سرور، Ilyes توصیه کرد دسترسی به فایل robots.txt را برای URL هایی با پارامترهایی مانند “مسدود کنید.?add_to_cart” یا “?add_to_wishlist

به عنوان نمونه پیشنهاد می کند:

“اگر URL هایی مانند:
https://example.com/product/scented-candle-v1?add_to_cart
و
https://example.com/product/scented-candle-v1?add_to_wishlist

احتمالاً باید یک قانون عدم اجازه برای آنها در فایل robots.txt خود اضافه کنید.”

در حالی که استفاده از روش HTTP POST همچنین می‌تواند از خزیدن چنین URL‌هایی جلوگیری کند، خزنده‌ها اشاره کرد که هنوز می‌توانند درخواست‌های POST را ارسال کنند، بنابراین robots.txt همچنان توصیه می‌شود.

تقویت بهترین شیوه های چند دهه گذشته

آلن پرکینز، که در این موضوع شرکت داشت، خاطرنشان کرد که این راهنمایی استانداردهای وب معرفی شده در دهه 1990 به همین دلایل را منعکس می کند.

به نقل از یک سند در سال 1993 با عنوان “استانداردی برای حذف ربات”:

«در سال‌های 1993 و 1994 مواردی وجود داشته است که روبات‌ها به دلایل مختلف از سرورهای WWW بازدید کرده‌اند که از آنها استقبال نمی‌شود… روبات‌ها از بخش‌هایی از سرورهای WWW عبور می‌کنند که مناسب نبودند، به عنوان مثال درختان مجازی بسیار عمیق، اطلاعات تکراری، اطلاعات موقت، یا cgi-scripts با عوارض جانبی (مانند رای دادن).

استاندارد robots.txt که قوانینی را برای محدود کردن دسترسی خزنده با رفتار خوب پیشنهاد می کند، به عنوان یک راه حل “اجماع” در بین سهامداران وب در سال 1994 ظاهر شد.

اطاعت و استثنائات

Illyes تأیید کرد که خزنده‌های Google به طور کامل از قوانین robots.txt پیروی می‌کنند، با استثناهای نادری که به طور کامل برای سناریوهای مربوط به «واکشی توسط کاربر یا قراردادی» مستند شده است.

این پایبندی به پروتکل robots.txt ستونی از سیاست های خزیدن وب گوگل بوده است.

چرا SEJ اهمیت می دهد

در حالی که توصیه ممکن است ابتدایی به نظر برسد، ظهور مجدد این بهترین روش چند دهه قدیمی بر ارتباط آن تأکید می کند.

با استفاده از استاندارد robots.txt، سایت‌ها می‌توانند به رام کردن خزنده‌های پرشور از افزایش پهنای باند با درخواست‌های غیرمولد کمک کنند.

چگونه این می تواند به شما کمک کند

چه شما یک وبلاگ کوچک یا یک پلت فرم تجارت الکترونیکی بزرگ دارید، پیروی از توصیه های Google برای استفاده از robots.txt برای مسدود کردن دسترسی خزنده به URL های اقدام می تواند به چندین روش کمک کند:

  • کاهش بار سرور: می‌توانید درخواست‌های بی‌ضروری سرور و استفاده از پهنای باند را با جلوگیری از ضربه زدن خزنده‌ها به URL‌هایی که اعمالی مانند افزودن موارد به سبد خرید یا لیست‌های علاقه‌مندی را فراخوانی می‌کنند، کاهش دهید.
  • بهبود کارایی خزنده: ارائه قوانین صریح تر در فایل robots.txt در مورد اینکه خزنده های URL باید از آنها اجتناب کنند، می تواند منجر به خزیدن کارآمدتر صفحات/محتوای مورد نظر برای ایندکس شدن و رتبه بندی شود.
  • تجربه کاربری بهتر: با تمرکز منابع سرور بر روی اقدامات واقعی کاربر به جای بازدیدهای هدر رفته خزنده، کاربران نهایی احتمالاً زمان بارگذاری سریع‌تر و عملکرد روان‌تری را تجربه خواهند کرد.
  • مطابق با استانداردها بمانید: پیاده‌سازی دستورالعمل‌ها، سایت شما را با استانداردهای پروتکل robots.txt مطابقت می‌دهد که برای دهه‌ها بهترین شیوه‌های صنعت بوده‌اند.

بازبینی دستورالعمل‌های robots.txt می‌تواند یک گام ساده اما تاثیرگذار برای وب‌سایت‌هایی باشد که به دنبال اعمال کنترل بیشتر بر فعالیت خزنده هستند.

پیام ایلیز نشان می دهد که قوانین باستانی robots.txt همچنان در محیط وب مدرن ما مرتبط هستند.


تصویر ویژه: BestForBest/Shutterstock

Source link