در اواسط ژوئن، متوجه شدم که گوگل بسیاری از تصاویر من را در جستجو و کشف گوگل نشان نمی دهد و همچنین برخی از خوانندگان آن را به من نشان می دهند. بنابراین من از ابزار مفید Google Search Console URL Inspection استفاده کردم تا متوجه شوم آن URL های S3 که برای میزبانی تصاویرم استفاده می کردم مانع از خزیدن Googlebot می شوند. در اینجا یک مطالعه موردی از شما وجود دارد که واقعاً یک مشکل نمایه سازی/خزیدن برای URL های تصویرم داشتم.
این اشکال AWS منجر به کاهش 83 درصدی برداشتهایی شد که تصاویر من از جستجوی Google و Google Images دریافت میکردند. این منجر به کاهش ۷۶ درصدی کلیکهای مربوط به جستجوی تصویر روی این سایت شد. من هنوز چند هفته بعد حدود 16٪ در برداشت ها و 26٪ در کلیک های جستجوی تصویر کاهش یافته ام، اما این یک پیشرفت بزرگ است.
در اینجا گزارش عملکرد جستجوی کنسول جستجوی گوگل است که نمودار برداشت ها و کلیک ها را در طول زمان نشان می دهد. شما افت را در حدود 15 ژوئن خواهید دید، سپس در حدود 8 جولای شروع به افزایش می کند. همچنین خواهید دید که ترافیک تصویر من حتی پس از دو ماه هنوز به طور کامل به اعداد عادی قبل از باگ AWS بازنگشته است:
هنگامی که Googlebot سعی می کرد به URL های تصویر من در S3 دسترسی پیدا کند، گوگل با خطای 404 not found مواجه می شد. اما وقتی با کامپیوترم از URL ها بازدید کردم، به خوبی بارگذاری شدند. اینها همان URLهای تصویری هستند که من بیش از یک دهه است که در این سایت استفاده می کنم و یک روز AWS تصمیم گرفت Googlebot را مسدود کند. من در مورد این مشکل با Google و AWS تماس گرفتم و گمان میکنم که این یک مشکل بسیار بزرگ باشد. هزاران سایت از S3 برای ذخیرهسازی تصویر و فایل استفاده میکنند، بنابراین Googlebot احتمالاً تعداد زیادی خطای 404 دریافت میکند. بخش عجیب این است که من هیچ شکایت عمومی در مورد این موضوع را دیدم.
در هر صورت، این همان چیزی است که Googlebot هنگام تلاش برای خزیدن آن URL ها مشاهده کرد:
AWS بعد از چند روز آن را برطرف کرد:
این همان چیزی است که تصاویر من در ابزار بازرسی URL در کنسول جستجوی گوگل به نظر می رسید:
باید چیزی شبیه این باشد:
از آن زمان، تصمیم گرفتم تصاویرم را به CloudFront AWS منتقل کنم – سرویسی که در اولین باری که این سایت را ساختم در دسترس نبود – به همین دلیل است که در آن زمان از S3 برای تصاویر استفاده می کردم. مشکل S3 با Googlebot هنوز برطرف شده و به خوبی کار می کند. اما من برای تصاویر به S3 برنمی گردم.
من باید از گلن گیب تشکر کنم که همچنین متوجه شد تصاویر در اوایل Google Discover حذف می شوند. گلن همچنین این مقاله انتقال تصویر را نوشت که قبل از تغییر از AWS S3 به AWS CloudFront آن را مرور کردم. من تصاویر قدیمی خود را مهاجرت نکردم، آنها را رها کردم، زیرا AWS مشکل را برطرف کرد. اما از اواخر ژوئن، تمام تصاویر جدید من از CloudFront استفاده می کنند.
برای روشن بودن، این یک باگ گوگل نبود، بلکه یک تغییر AWS بود که منجر به مسدود کردن Googlebot توسط AWS S3 شد. الان حل شده ولی انگار آسیب وارد شده…اگر نمودارها بیشتر تغییر کنند این استوری را در زیر آپدیت می کنم تا تغییرات را مستند کنم. اما تا کنون، حدود 5 هفته گذشته ثابت بوده است، بنابراین من انتظار تغییرات بزرگی در آینده ندارم.
بحث انجمن در X.