جان مولر از گوگل گفت که از آنجایی که فایل robots.txt حدود 24 ساعت توسط گوگل ذخیره می شود، به روز رسانی پویا فایل robots.txt در طول روز برای کنترل کنترل، منطقی نیست.
گوگل لزوما نمی بیند که شما نمی خواهید گوگل یک صفحه را در ساعت 7 صبح بخزد و سپس در ساعت 9 صبح می خواهید گوگل آن صفحه را بخزد.
جان مولر در Bluesky در پاسخ به این پست نوشت:
پرسش:
یکی از تکنسینهای ما پرسید که آیا میتوانند یک فایل robots.txt را در صبح آپلود کنند تا Googlebot را مسدود کند و یکی دیگر در بعدازظهر برای خزیدن آن، زیرا وبسایت گسترده است و فکر میکنند ممکن است سرور را بیش از حد بارگذاری کند. به نظر شما این تمرین خوبی خواهد بود؟
(بدیهی است که سرعت خزیدن Googlebot با نحوه پاسخگویی سرور مطابقت دارد، اما برای من سوال جالبی بود که از شما بپرسم) متشکرم!
پاسخ:
این ایده بدی است زیرا robots.txt را می توان تا 24 ساعت در حافظه پنهان نگه داشت ( developers.google.com/search/docs/… ). ما توصیه نمی کنیم فایل robots.txt خود را به صورت پویا در طول یک روز تغییر دهید. در عوض وقتی خزیدن زیاد است از 503/429 استفاده کنید.
این خبر جدیدی نیست، ما یک دهه پیش در گوگل به این موضوع پرداختیم: robots.txt را به صورت پویا تولید نکنید. ما همچنین در سال 2010 از 24 ساعته خبر داشتیم.
بحث در انجمن در Bluesky.