گوگل می گوید: شما در دامنه ریشه به Robots.txt نیاز ندارید

گری ایلیز گوگل روشی غیر متعارف اما معتبر برای متمرکز کردن قوانین robots.txt در CDN ها به اشتراک می گذارد.

  • فایل های Robots.txt را می توان روی CDN ها متمرکز کرد، نه فقط روی دامنه های ریشه.
  • وب سایت ها می توانند robots.txt را از دامنه اصلی به CDN هدایت کنند.
  • این رویکرد غیرمتعارف با استانداردهای به روز شده مطابقت دارد.

Source link