برخی از سایت ها ، که در برخی از CDN ها (شبکه های تحویل محتوا) میزبان هستند ، در زمان پاسخ به سرور برای خزیدن ، سنبله بزرگی را تجربه می کنند ، در حالی که شاهد افت درخواست های خزنده در کل هستند. بنابراین از نظر فنی ، خزیدن کاهش یافته است اما Google خیلی بیشتر طول می کشد تا خیلی کمتر خزید. ظاهراً این اوایل این ماه آغاز شد و هنوز هم برای برخی مسئله است.
این توسط Gianna Brachetti-Truskawa کشف شد که اطلاعات بیشتری در مورد این موضوع در LinkedIn و Bluesky ارسال کرد و او نوشت:
آیا شاهد افت کاربران جدید بوده اید ، و یا دریافتید که میزان خزیدن گوگل در سایت شما کاهش یافته است در حالی که به نظر می رسد زمان پاسخ سرور بالاتر از حد معمول است؟
Google بی سر و صدا لیست خود را از محدوده IP مورد استفاده برای خزیدن (از 04.02.2025) به روز کرده است. اگر وب سایت شما از طریق CDN تحویل داده شود ، WAF آنها از سایت شما در برابر حملات DDOS محافظت می کند ، ممکن است GoogleBot را محدود کند یا اکنون مسدود شود – مگر اینکه آنها محدوده IP مجاز خود را بر این اساس به روز کنند.
وی گفت که این امر بر هر CDN تأثیر نمی گذارد ، در واقع ، Cloudflare آن را خوب انجام داد. اما همه CDN ها آن را اداره نکردند. “خوشبختانه ، به نظر می رسد Cloudflare در صدر آن قرار دارد! او نوشت: “هنوز برای Googlebot.
در اینجا یک نمودار از موضوع انجمن راهنما Google Webmaster وجود دارد که این مسئله را نشان می دهد. می توانید در اینجا به آمار خزنده خود در کنسول جستجو نگاه کنید:
در سال 2021 ، Google شروع به انتشار لیست IP Googlebot خود کرد و من برخی از اوقات Google را پوشش داده ام که لیست IP را به روز کرده است (سپس من متوقف شدم ، این هیجان انگیز نبود – تاکنون).
جان مولر از گوگل به نگرانی های مربوط به Blueksy پاسخ داد و اساساً توضیح داد که این پرونده JSON برای ردیابی این تغییرات وجود دارد و خزیدن به مرور زمان حل می شود. او نوشت:
ما پرونده های IP JSON را بطور خودکار فشار می دهیم – هر از گاهی تغییرات اتفاق می افتد. اگر نیاز به هشدار داخلی در مورد آن پرونده ها دارید ، در مورد نظرسنجی آنها احساس راحتی کنید. من سه به روزرسانی آخر را بررسی کردم ، آنها هر یک از بلوک های IP 2 برابر اضافه شده (IPv6/V4) بودند. این به طور کلی یک تجدید نظر کامل نیست.
دشوار است بدانید که چگونه وب نسبت به تغییر زیرساخت های ظریف واکنش نشان می دهد ، که بخشی از این است که چرا ما این محدوده های IP را بطور خودکار منتشر کرده ایم. امیدوارم که این فقط یک ضربه کوتاه مدت باشد!
من این تغییرات را هنوز و به طور عادی ردیابی می کنم ، تغییرات مکرر و اغلب بسیار جزئی برای اندازه کلی سند نیستند. اما تغییرات تغییرات هستند – در اینجا برخی از تغییرات اخیر که من ردیابی کردم:
پرونده JSON را می توانید در اینجا مشاهده کنید.
Gianna Brachetti -Truskawa نکاتی را در مورد آنچه می توانید انجام دهید به اشتراک گذاشت ، اگر تحت تأثیر قرار بگیرید – او نوشت:
- اگر آنها دامنه IP خود را برای GoogleBot به روز کرده اند ، با ارائه دهنده CDN خود تماس بگیرید. می توانید از آنها بخواهید که با استفاده از پرونده JSON Google تأیید کنند. اگر اینطور نیست ، در نظر بگیرید که به ارائه دهنده ای که از این تغییرات استفاده می کند ، در نظر بگیرید.
- نظارت بر تغییرات خود را در نظر بگیرید ، یا عکس های فوری را در دستگاه Wayback پیدا کنید. شما همچنین می توانید عکس های فوری در آنجا را به صورت تقاضا ذخیره کنید (من پیشنهاد نمی کنم به زیرساخت هایی که در اختیار ندارید اعتماد کنید اما این یک راه آسان است!) و سپس دو پرونده را با روش مورد علاقه خود مقایسه کنید (به عنوان مثال با استفاده از Testomato یا Warden Little – یا یک افزونه مقایسه در Notepad ++ اگر احساس مدرسه قدیمی می کنید).
- در نظرات مشاوره بیشتری در مورد CDN پیدا کنید.
آیا می خواهید تغییرات این پرونده JSON را به جلو بپوشانم؟ آیا برای شما مفید خواهد بود؟
بحث و گفتگوی انجمن در LinkedIn و Bluesky.
بروزرسانی: اکنون یک موضوع وب Masterworld نیز وجود دارد که از همین موضوع شکایت می کند – در اینجا یک نمودار مشابه از آنجا وجود دارد:
