گوگل اسناد کمک خزنده خود را به روز کرده است تا بخش جدیدی را برای ذخیره سازی HTTP اضافه کند، که توضیح می دهد چگونه خزنده های گوگل هدرهای کنترل کش را مدیریت می کنند. گوگل همچنین یک پست وبلاگ ارسال کرد و از ما درخواست کرد که به گوگل اجازه دهیم صفحات ما را کش کند.
التماس ممکن است خیلی زیاد باشد، اما گری ایلیس به عنوان خط اول پست وبلاگ نوشت: “به ما اجازه دهید تا ذخیره کنیم، خیلی لطفا”. او سپس گفت که ما امروز به گوگل اجازه می دهیم محتوای ما را در حافظه پنهان نگه دارد، نسبت به 10 سال گذشته. گری نوشت: «تعداد درخواستهایی که میتوان از حافظههای پنهان محلی بازگرداند کاهش یافته است: 10 سال پیش حدود 0.026٪ از کل واکشیها قابل ذخیرهسازی بودند، که در حال حاضر چندان چشمگیر نیست؛ امروز این تعداد 0.017٪ است.
Google یک بخش HTTP Caching را به سند راهنما اضافه کرد تا توضیح دهد که چگونه Google هدرهای کنترل کش را مدیریت می کند. زیرساخت خزنده Google از کش HTTP اکتشافی همانطور که توسط استاندارد حافظه پنهان HTTP تعریف شده است، به ویژه از طریق سرصفحه درخواست پاسخ ETag و If-None-Match و سرصفحه درخواست Last-Modified- و If-Modified-Since پشتیبانی می کند.
اگر هر دو فیلد سرصفحه پاسخ ETag و Last-Modified در پاسخ HTTP وجود داشته باشند، خزندههای Google از مقدار ETag مطابق با استاندارد HTTP استفاده میکنند. به طور خاص برای خزندههای Google، توصیه میکنیم از ETag بهجای هدر Last-Modified استفاده کنید تا اولویت ذخیرهسازی را نشان دهد زیرا ETag مشکلات قالببندی تاریخ را ندارد. Google اضافه کرد، سایر دستورالعملهای ذخیره HTTP پشتیبانی نمیشوند.
باید اضافه کنم که گوگل و بینگ هر دو حداقل از سال 2018 از ETag پشتیبانی می کنند.
از گوگل: “خیلی لطفاً به ما اجازه ذخیره کش را بدهید. ذخیره سازی یک قطعه مهم از پازل بزرگ اینترنت است. ذخیره سازی به صفحات اجازه می دهد تا در هنگام بازدید مجدد به سرعت بارگذاری شوند، در منابع محاسباتی و در نتیجه منابع طبیعی صرفه جویی می شود و به میزان قابل توجهی صرفه جویی می شود. مقدار گران… https://t.co/vQRmBpJvQd
– گلن گیب (@glenngabe) 9 دسامبر 2024
4/ چه تاثیری بر سرعت صفحه دارد
خزندههای Google که از کش پشتیبانی میکنند، مقدار ETag بازگشتی را برای خزیدن قبلی آن URL در هدر If-None-Match ارسال میکنند. اگر مقدار ETag ارسال شده توسط خزنده با مقدار فعلی تولید شده توسط سرور مطابقت داشته باشد، سرور شما باید برگردد…
– Siddhesh SEO a/cc (@siddhesh_asawa) 9 دسامبر 2024
گوگل جزئیات بیشتری را به آن بخش اضافه کرد اما این بخش از صفحه را نیز گسترش داد:
خزندهها و واکشیهای Google از HTTP/1.1 و HTTP/2 پشتیبانی میکنند. خزنده ها از نسخه پروتکلی استفاده می کنند که بهترین عملکرد خزیدن را ارائه می دهد و ممکن است بسته به آمار خزیدن قبلی، پروتکل ها را بین جلسات خزیدن تغییر دهند. نسخه پیش فرض پروتکل مورد استفاده توسط خزنده های گوگل HTTP/1.1 است. خزیدن بر روی HTTP/2 ممکن است منابع محاسباتی (مثلاً CPU، RAM) را برای سایت شما و Googlebot ذخیره کند، اما در غیر این صورت هیچ مزیت خاصی برای محصول Google برای سایت وجود ندارد (به عنوان مثال، عدم افزایش رتبه در جستجوی Google). برای انصراف از خزیدن بر روی HTTP/2، به سروری که سایت شما را میزبانی می کند دستور دهید تا زمانی که Google تلاش می کند از طریق HTTP/2 به سایت شما دسترسی پیدا کند، با کد وضعیت HTTP 421 پاسخ دهد. اگر این امکان پذیر نیست، می توانید یک پیام به تیم Crawling ارسال کنید (البته این راه حل موقتی است). زیرساخت خزنده Google از خزیدن از طریق FTP (همانطور که توسط RFC959 و بهروزرسانیهای آن تعریف شده است) و FTPS (همانطور که توسط RFC4217 و بهروزرسانیهای آن تعریف شده است) پشتیبانی میکند، اما خزیدن از طریق این پروتکلها نادر است.
بحث انجمن در X.