Google Crawler Document جزئیات ذخیره HTTP را اضافه می کند

Google Crawler Document جزئیات ذخیره HTTP را اضافه می کند

گوگل اسناد کمک خزنده خود را به روز کرده است تا بخش جدیدی را برای ذخیره سازی HTTP اضافه کند، که توضیح می دهد چگونه خزنده های گوگل هدرهای کنترل کش را مدیریت می کنند. گوگل همچنین یک پست وبلاگ ارسال کرد و از ما درخواست کرد که به گوگل اجازه دهیم صفحات ما را کش کند.

التماس ممکن است خیلی زیاد باشد، اما گری ایلیس به عنوان خط اول پست وبلاگ نوشت: “به ما اجازه دهید تا ذخیره کنیم، خیلی لطفا”. او سپس گفت که ما امروز به گوگل اجازه می دهیم محتوای ما را در حافظه پنهان نگه دارد، نسبت به 10 سال گذشته. گری نوشت: «تعداد درخواست‌هایی که می‌توان از حافظه‌های پنهان محلی بازگرداند کاهش یافته است: 10 سال پیش حدود 0.026٪ از کل واکشی‌ها قابل ذخیره‌سازی بودند، که در حال حاضر چندان چشمگیر نیست؛ امروز این تعداد 0.017٪ است.

Google یک بخش HTTP Caching را به سند راهنما اضافه کرد تا توضیح دهد که چگونه Google هدرهای کنترل کش را مدیریت می کند. زیرساخت خزنده Google از کش HTTP اکتشافی همانطور که توسط استاندارد حافظه پنهان HTTP تعریف شده است، به ویژه از طریق سرصفحه درخواست پاسخ ETag و If-None-Match و سرصفحه درخواست Last-Modified- و If-Modified-Since پشتیبانی می کند.

اگر هر دو فیلد سرصفحه پاسخ ETag و Last-Modified در پاسخ HTTP وجود داشته باشند، خزنده‌های Google از مقدار ETag مطابق با استاندارد HTTP استفاده می‌کنند. به طور خاص برای خزنده‌های Google، توصیه می‌کنیم از ETag به‌جای هدر Last-Modified استفاده کنید تا اولویت ذخیره‌سازی را نشان دهد زیرا ETag مشکلات قالب‌بندی تاریخ را ندارد. Google اضافه کرد، سایر دستورالعمل‌های ذخیره HTTP پشتیبانی نمی‌شوند.

باید اضافه کنم که گوگل و بینگ هر دو حداقل از سال 2018 از ETag پشتیبانی می کنند.

گوگل جزئیات بیشتری را به آن بخش اضافه کرد اما این بخش از صفحه را نیز گسترش داد:

خزنده‌ها و واکشی‌های Google از HTTP/1.1 و HTTP/2 پشتیبانی می‌کنند. خزنده ها از نسخه پروتکلی استفاده می کنند که بهترین عملکرد خزیدن را ارائه می دهد و ممکن است بسته به آمار خزیدن قبلی، پروتکل ها را بین جلسات خزیدن تغییر دهند. نسخه پیش فرض پروتکل مورد استفاده توسط خزنده های گوگل HTTP/1.1 است. خزیدن بر روی HTTP/2 ممکن است منابع محاسباتی (مثلاً CPU، RAM) را برای سایت شما و Googlebot ذخیره کند، اما در غیر این صورت هیچ مزیت خاصی برای محصول Google برای سایت وجود ندارد (به عنوان مثال، عدم افزایش رتبه در جستجوی Google). برای انصراف از خزیدن بر روی HTTP/2، به سروری که سایت شما را میزبانی می کند دستور دهید تا زمانی که Google تلاش می کند از طریق HTTP/2 به سایت شما دسترسی پیدا کند، با کد وضعیت HTTP 421 پاسخ دهد. اگر این امکان پذیر نیست، می توانید یک پیام به تیم Crawling ارسال کنید (البته این راه حل موقتی است). زیرساخت خزنده Google از خزیدن از طریق FTP (همانطور که توسط RFC959 و به‌روزرسانی‌های آن تعریف شده است) و FTPS (همانطور که توسط RFC4217 و به‌روزرسانی‌های آن تعریف شده است) پشتیبانی می‌کند، اما خزیدن از طریق این پروتکل‌ها نادر است.

بحث انجمن در X.



Source link