داده‌ها ظاهراً ثابت می‌کنند که خزیدن Googlebot کند شده است

از

در چند هفته گذشته بحث‌های مداومی در رسانه‌های اجتماعی وجود داشته است که Googlebot خزیدن خود را به طور چشمگیری کاهش داده است. به عنوان مثال، بنیانگذار یک سرویس تجزیه و تحلیل خزیدن وب، نموداری را در توییتر منتشر کرد که نشان می دهد چگونه فعالیت خزیدن گوگل از 11 نوامبر 2021 کاهش یافته است.

اگرچه کاهش سرعت ایندکس روی همه سایت‌ها تأثیر نمی‌گذارد، بسیاری در توییتر و ردیت موافق هستند که چیزی در Google در رابطه با نمایه‌سازی تغییر کرده است و آن را با تصاویری از فعالیت Googlebot ثابت می‌کنند.

شواهد کاهش خزیدن

شواهد حکایتی از ناهنجاری های خزیدن گوگل در رسانه های اجتماعی انباشته شده است. مشکل رسانه‌های اجتماعی این است که می‌توان به معنای واقعی کلمه هر مشاهده‌ای در مورد Google انجام داد و تقریباً تضمین می‌شود که موافقت خود را دریافت کند.

حکایت جالب است اما نه به خوبی مشاهدات مبتنی بر داده، چیزی است که اخیراً در توییتر ظاهر شد.

بنیانگذار سرویس خزنده و تحلیل لاگ Seolyzer (@Seolyzer_io) نموداری از رفتار خزیدن Google را پست کرد که نشان دهنده کاهش چشمگیر فعالیت خزیدن از 11 نوامبر بود.

تبلیغات

ادامه مطلب زیر

او پست کرد:

«Googlebot در اعتصاب است! Googlebot از 11 نوامبر در ساعت 6 عصر (GMT) فعالیت خزیدن خود را در بسیاری از سایت های بزرگ به شدت کاهش داده است.

کد پاسخ سرور 304 و خزیدن ربات گوگل

برخی متوجه الگوی Googlebot شده‌اند که ناگهان دیگر صفحاتی را که کد پاسخ سرور 304 ارائه می‌دهند، خزنده نمی‌شود.

کد پاسخ 304 یعنی 304 (اصلاح نشده).

زمانی که یک مرورگر (یا Googlebot) یک درخواست مشروط برای یک صفحه ارائه می‌کند، این کد پاسخ توسط یک سرور تولید می‌شود.

این بدان معناست که یک مرورگر (یا Googlebot) به سرور می‌گوید که یک صفحه وب در حافظه پنهان ذخیره شده است، بنابراین تا زمانی که آن صفحه به‌روزرسانی (اصلاح شده) نشده باشد، سرویس آن را خسته نکنید.

در اینجا تعریف کد پاسخ سرور 304 (تغییر نشده) از گروه کاری HTTP آمده است:

“کد وضعیت 304 (تغییر نشده) نشان می دهد که یک درخواست مشروط GET یا HEAD دریافت شده است و اگر این واقعیت به دلیل نادرست بودن شرایط نبود، منجر به یک پاسخ 200 (OK) می شود.

به عبارت دیگر، نیازی به انتقال نمایشی از منبع مورد نظر توسط سرور نیست، زیرا درخواست نشان می‌دهد که کلاینت که درخواست را مشروط کرده است، قبلاً یک نمایش معتبر دارد. بنابراین سرور کلاینت را هدایت می کند تا از آن نمایش ذخیره شده استفاده کند، به گونه ای که گویی باری از یک پاسخ 200 (OK) است.”

تبلیغات

ادامه مطلب زیر

304 پاسخ باعث خزیدن کمتر Googlebot می شود؟

یک نفر در توییتی تایید کرد (به زبان فرانسوی) که در چندین سایت دارای AMP که نظارت می‌کند، صفحاتی که با پاسخ 304 پاسخ داده‌اند، دچار افت شدند.

شخصی که توییت اصلی را پست کرده بود با پست نموداری پاسخ داد که نشان می‌داد چگونه گوگل تقریباً خزیدن صفحاتی را که با کد پاسخ سرور 304 پاسخ می‌دادند متوقف کرد:

دیگران متوجه مشکل مشابهی شدند که در آن صفحاتی که پاسخ 304 را ارائه می‌کردند نرخ خزیدن به شدت پایین‌تری داشتند:

شخص دیگری متوجه کاهش خزیدن در صفحات سفر شد اما افزایش خزیدن در صفحات تجارت الکترونیک مشاهده شد:

بسیاری دیگر در حال به اشتراک گذاری تصاویر تجزیه و تحلیل و کنسول جستجو هستند:

داده های بیشتر:

کد پاسخ 304 نباید خزیدن را تغییر دهد

اسناد رسمی صفحه راهنمای توسعه‌دهنده Google در مورد خزیدن Googlebot بیان می‌کند که کد پاسخ 304 نباید بر خزیدن تأثیر بگذارد.

در اینجا چیزی است که اسناد رسمی Google توصیه می کند:

«Googlebot به خط لوله نمایه‌سازی سیگنال می‌دهد که محتوا با آخرین باری که خزیده شده است یکسان است.

خط لوله نمایه سازی ممکن است سیگنال های URL را مجدداً محاسبه کند، اما در غیر این صورت کد وضعیت تأثیری بر نمایه سازی ندارد.

تبلیغات

ادامه مطلب زیر

آیا ممکن است که گوگل تغییر کرده باشد (به طور دائم یا موقت) و آن صفحه توسعه دهنده قدیمی باشد؟

نظریه رضایت کوکی

نظریه پاسخ سرور 304 یکی از بسیاری از تئوری ها و راه حل هایی است که توضیح می دهد چرا Googlebot ممکن است یک صفحه وب را ایندکس نکند.

یک نفر توییت کرد که گوگل پس از حذف نوار رضایت کوکی، فهرست بندی را افزایش داد.

چرا یک نوار پاسخ کوکی باعث می شود گوگل یک صفحه وب را ایندکس نکند؟ آیا نوار رضایت کوکی ممکن است پاسخ 304 را ایجاد کند و باعث شود Google صفحه را ایندکس نکند؟

کاهش خزیدن Googlebot در Reddit مورد بحث قرار گرفت

پدیده کاهش خزیدن Googlebot نیز در Reddit مورد بحث قرار گرفت.

یک Redditor توضیح داد که چگونه در گذشته مقالات سایت موفق آنها در عرض 10 دقیقه پس از ارسال آنها از طریق کنسول جستجوی گوگل ایندکس می شدند.

آنها گفتند که اخیراً فقط نیمی از مقالات جدید نمایه می شوند.

تبلیغات

ادامه مطلب زیر

اما طبق این پست Reddit، در نوامبر تغییر کرد:

“به هر دلیلی در حال حاضر کمتر از نیمی از مقالات جدید ما در حال نمایه سازی هستند، حتی اگر من به صورت دستی همه آنها را پس از انتشار ارسال کنم.”

سایر Redditor ها تجربیات مشابهی را به اشتراک گذاشتند:

بسیاری از مردم در حال حاضر مشابه این را تجربه می کنند … به نظر می رسد چیزی در گوگل در حال انجام است.

“چیزی در گوگل در حال ایندکس کردن پست های جدید است…”

“وب سایت من 17 ساله است … ناگهان، آخرین مقاله هفته ها طول کشید تا نمایه شود.”

گوگل می گوید هیچ چیز خراب نیست

جان مولر گوگل به این سوالات در Reddit پاسخ داد:

من در حال حاضر هیچ چیز شکسته ای در نحوه فهرست بندی مطالب توسط گوگل نمی بینم. من می بینم که ما در مورد آنچه برای نمایه سازی انتخاب می کنیم، انتقادی هستیم، همانطور که هر موتور جستجویی باید انجام دهد.”

آیا گوگل الگوهای خزیدن جدیدی را آزمایش می کند؟

بینگ در ماه اکتبر یک پروتکل نمایه سازی منبع باز به نام IndexNow را معرفی کرد که هدف آن کاهش تعداد دفعات خزیدن خزنده ها در صفحات وب به منظور کاهش میزان مصرف انرژی در مراکز داده برای خزیدن و در سرورها برای ارائه صفحات وب است. پروتکل جدید به نفع ناشران است زیرا فرآیند اطلاع رسانی به موتورهای جستجو را هنگام به روز رسانی یا ایجاد صفحات سرعت می بخشد و در نتیجه ایندکس شدن سریعتر صفحات وب با کیفیت را در پی دارد.

تبلیغات

ادامه مطلب زیر

در ماه نوامبر، گوگل اعلام کرد که پروتکل جدید نمایه سازی IndexNow را آزمایش خواهد کرد تا ببیند آیا مزایایی برای آن وجود دارد یا خیر.

صرفه جویی در انرژی و کاهش ردپای کربن یکی از مهمترین مسائل امروز ما است. آیا ممکن است گوگل در حال بهبود راه هایی برای کاهش خزیدن بدون تغییر اساسی به پروتکل جدید باشد؟

آیا گوگل خزیدن صفحات وب را کاهش داده است؟

برخی ادعاها مبنی بر اینکه گوگل ایندکس کردن را به طور کلی متوقف کرده است وجود دارد اما این نادرست است. با این حال، بحث‌های مهمی در رسانه‌های اجتماعی با پشتوانه داده‌ها وجود دارد تا از تغییر الگوهای نمایه‌سازی Googlebot پشتیبانی شود.

سئو PBN | خبر های جدید سئو و هک و سرور