جان مولر از گوگل پاسخ داد که آیا حذف صفحات از یک سایت بزرگ به حل مشکل صفحاتی که توسط گوگل کشف می شوند اما خزیده نشده اند کمک می کند؟ جان بینش های کلی در مورد چگونگی حل این مسئله ارائه کرد.
کشف شده – در حال حاضر نمایه نشده است
Search Console سرویسی است که توسط Google ارائه می‌شود و مسائل مربوط به جستجو و بازخوردها را در اختیار شما قرار می‌دهد.
وضعیت نمایه سازی بخش مهمی از کنسول جستجو است زیرا به ناشر می گوید که چه مقدار از سایت ایندکس شده و واجد شرایط رتبه بندی است.
وضعیت نمایه سازی صفحات وب در کنسول جستجوی صفحه گزارش نمایه سازی یافت می شود.
گزارشی مبنی بر اینکه یک صفحه توسط گوگل کشف شده اما ایندکس نشده است، اغلب نشانه این است که یک مشکل باید برطرف شود.
دلایل متعددی وجود دارد که چرا ممکن است گوگل یک صفحه را کشف کند اما از فهرست کردن آن امتناع کند، اگرچه اسناد رسمی گوگل تنها یک دلیل را ذکر کرده است.
“کشف شده – در حال حاضر نمایه نشده است
این صفحه توسط گوگل پیدا شد، اما هنوز خزیده نشده است.به طور معمول، گوگل می‌خواست URL را بخزد، اما انتظار می‌رفت این کار باعث بارگیری بیش از حد سایت شود. بنابراین گوگل خزیدن را دوباره برنامه ریزی کرد.
به همین دلیل است که آخرین تاریخ خزیدن در گزارش خالی است.”
جان مولر گوگل دلایل بیشتری برای اینکه چرا یک صفحه کشف می شود اما ایندکس نمی شود ارائه می دهد.
حذف ایندکس صفحات غیر ایندکس شده برای بهبود نمایه سازی در سایت؟
این ایده وجود دارد که حذف برخی از صفحات به Google کمک می کند تا بقیه سایت را با دادن صفحات کمتری برای خزیدن به آن بخزد.
این تصور وجود دارد که گوگل ظرفیت خزیدن محدودی دارد (بودجه خزیدن) که به هر سایت اختصاص داده شده است.
کارمندان گوگل مکرراً گفته اند که چیزی به نام بودجه خزنده به گونه ای که SEO ها آن را درک می کنند وجود ندارد.
گوگل در مورد تعداد صفحاتی که باید خزیده شود، ملاحظاتی دارد، از جمله ظرفیت سرور وب سایت برای مدیریت خزیدن گسترده.
یکی از دلایل اصلی اینکه چرا گوگل در مورد میزان خزیدن خود انتخاب می کند این است که گوگل ظرفیت کافی برای ذخیره تک تک صفحات وب در اینترنت را ندارد.
به همین دلیل است که گوگل تمایل دارد صفحاتی را که مقداری ارزش دارند (اگر سرور بتواند آن را مدیریت کند) ایندکس کند و صفحات دیگر را ایندکس نکند.
برای اطلاعات بیشتر در مورد Crawl Budget بخوانید: Google Insights to Crawl Budget را به اشتراک می گذارد
این سوالی است که پرسیده شد:
«آیا نمایه‌زدایی و جمع‌آوری 8 میلیون محصول استفاده شده در 2 میلیون صفحه محصول قابل نمایه‌سازی منحصر به فرد به بهبود خزیدن و نمایه‌پذیری کمک می‌کند (کشف – مشکل در حال حاضر نمایه‌سازی نشده است)؟»
جان مولر از گوگل ابتدا اذعان کرد که پرداختن به مشکل خاص شخص ممکن نیست و سپس توصیه های کلی ارائه کرد.
او جواب داد:
گفتن غیرممکن است.
توصیه می‌کنم راهنمای سایت بزرگ برای خزیدن بودجه را در اسناد ما مرور کنید.
برای سایت های بزرگ، گاهی اوقات خزیدن بیشتر به این بستگی دارد که چگونه وب سایت شما می تواند خزیدن بیشتری را مدیریت کند.
با این حال، در بیشتر موارد، بیشتر به کیفیت کلی وب سایت مربوط می شود.
آیا با رفتن از 8 میلیون صفحه به 2 میلیون صفحه، کیفیت کلی وب سایت خود را به طور قابل توجهی بهبود می دهید؟
تا زمانی که روی بهبود کیفیت واقعی تمرکز نکنید، صرف زمان زیادی برای کاهش تعداد صفحات قابل نمایه سازی آسان است، اما در واقع وب سایت را بهتر نکنید، و این باعث بهبود شرایط برای جستجو نمی شود.
مولر دو دلیل برای مشکل کشف نشده ارائه می دهد
جان مولر از گوگل دو دلیل ارائه کرد که چرا ممکن است گوگل یک صفحه را کشف کند اما از فهرست کردن آن امتناع کند.
- ظرفیت سرور
- کیفیت کلی وب سایت
1. ظرفیت سرور
مولر گفت که توانایی گوگل برای خزیدن و فهرست‌بندی صفحات وب می‌تواند «با نحوه مدیریت وب‌سایت شما با خزیدن بیشتر محدود شود».
هر چه یک وب سایت بزرگتر شود، ربات های بیشتری برای خزیدن یک وب سایت لازم است. موضوع پیچیده تر این است که گوگل تنها رباتی نیست که در یک سایت بزرگ می خزند.
ربات های قانونی دیگری نیز وجود دارند، به عنوان مثال از مایکروسافت و اپل، که همچنین در تلاش برای خزیدن در سایت هستند. علاوه بر این، بسیاری از ربات‌های دیگر وجود دارند، برخی مشروع و برخی دیگر مربوط به هک و خراش داده‌ها هستند.
این بدان معنی است که برای یک سایت بزرگ، به خصوص در ساعات عصر، هزاران ربات می توانند از منابع سرور وب سایت برای خزیدن یک وب سایت بزرگ استفاده کنند.
به همین دلیل است که یکی از اولین سوالاتی که از یک ناشر با مشکل نمایه سازی می پرسم وضعیت سرور آنها است.
به طور کلی، یک وب سایت با میلیون ها صفحه یا حتی صدها هزار صفحه، به یک سرور اختصاصی یا یک میزبان ابری نیاز دارد (زیرا سرورهای ابری منابع مقیاس پذیر مانند پهنای باند، GPU و RAM را ارائه می دهند).
گاهی اوقات یک محیط میزبانی ممکن است نیاز به حافظه بیشتری داشته باشد که به یک فرآیند اختصاص داده شده است، مانند محدودیت حافظه PHP، تا به سرور کمک کند تا با ترافیک بالا کنار بیاید و از 500 پیام پاسخ خطا جلوگیری کند.
عیب یابی سرورها شامل تجزیه و تحلیل گزارش خطای سرور است.
2. کیفیت کلی وب سایت
این یک دلیل جالب برای ایندکس نشدن صفحات کافی است. کیفیت کلی سایت مانند امتیاز یا تعیینی است که گوگل در مورد یک وب سایت تعیین می کند.
بخش هایی از یک وب سایت می تواند بر کیفیت کلی سایت تأثیر بگذارد
جان مولر گفته است که بخشی از یک وب سایت می تواند بر تعیین کیفیت کلی سایت تأثیر بگذارد.
مولر گفت:
برای برخی چیزها، به طور کلی به کیفیت سایت نگاه می کنیم.
و وقتی به کیفیت کلی سایت نگاه می کنیم، اگر بخش های قابل توجهی دارید که کیفیت پایین تری دارند، برای ما مهم نیست که چرا کیفیت پایین تری دارند.
اگر ببینیم که قطعات قابل توجهی وجود دارد که کیفیت پایین تری دارند، ممکن است فکر کنیم که این وب سایت آنقدرها که فکر می کردیم فوق العاده نیست.
تعریف کیفیت سایت
جان مولر گوگل تعریفی از کیفیت سایت را در ویدیوی دیگر Office Hours ارائه کرد:
وقتی صحبت از کیفیت محتوا می شود، منظور ما فقط متن مقالات شما نیست.
این واقعاً کیفیت کلی وب سایت شما است.
و این شامل همه چیز از چیدمان گرفته تا طراحی می شود.
مانند اینکه چگونه چیزهایی را در صفحات خود ارائه می کنید، چگونه تصاویر را یکپارچه می کنید، چگونه با سرعت کار می کنید، همه این عوامل به نوعی در آنجا نقش دارند.”
چقدر طول می کشد تا کیفیت کلی سایت تعیین شود
واقعیت دیگری در مورد چگونگی تعیین کیفیت سایت توسط گوگل این است که چقدر طول می کشد تا گوگل کیفیت سایت را تعیین کند، ممکن است ماه ها طول بکشد.
مولر گفت:
«زمان زیادی طول می‌کشد تا بفهمیم چگونه یک وب‌سایت با بقیه اینترنت مطابقت دارد.
… و این چیزی است که به راحتی می تواند طول بکشد، نمی دانم، یکی دو ماه، یک نیم سال، گاهی اوقات حتی بیشتر از نیم سال…”
بهینه سازی سایت برای خزیدن و نمایه سازی
بهینه سازی کل سایت یا بخشی از یک سایت به نوعی یک راه عمومی سطح بالا برای بررسی مشکل است. اغلب به بهینه سازی صفحات منفرد بر اساس مقیاس محدود می شود.
به خصوص برای سایت های تجارت الکترونیک با هزاران میلیون محصول، بهینه سازی می تواند اشکال مختلفی داشته باشد.
مواردی که باید به آنها توجه کرد:
منوی اصلی
مطمئن شوید که منوی اصلی بهینه سازی شده است تا کاربران را به بخش های مهم سایت که بیشتر کاربران به آن علاقه مند هستند هدایت کند. منوی اصلی همچنین می تواند به محبوب ترین صفحات پیوند دهد.
پیوند به بخش ها و صفحات محبوب
محبوب ترین صفحات و بخش ها را نیز می توان از یک بخش برجسته از صفحه اصلی پیوند داد.
این به کاربران کمک می‌کند تا به صفحات و بخش‌هایی بروند که برایشان مهم‌تر است، اما همچنین به Google سیگنال می‌دهد که این صفحات مهم هستند که باید ایندکس شوند.
صفحات محتوای نازک را بهبود بخشید
محتوای نازک اساساً صفحاتی با محتوای مفید کم یا صفحاتی هستند که عمدتاً تکراری از صفحات دیگر (محتوای قالب) هستند.
فقط پر کردن صفحات با کلمات کافی نیست. کلمات و جملات باید دارای معنی و ارتباط با بازدیدکنندگان سایت باشند.
برای محصولات می‌تواند اندازه‌گیری، وزن، رنگ‌های موجود، پیشنهادات محصولات دیگر برای جفت شدن با آن، مارک‌هایی که محصولات با آنها بهترین کار را انجام می‌دهند، پیوند به دفترچه‌های راهنما، پرسش‌های متداول، رتبه‌بندی‌ها و سایر اطلاعاتی باشد که کاربران آن را ارزشمند می‌دانند.
حل Crawled Not Indexed برای فروش آنلاین بیشتر
در یک فروشگاه فیزیکی به نظر می رسد که کافی است محصولات را در قفسه ها قرار دهید.
اما واقعیت این است که اغلب به فروشندگان آگاه نیاز است تا آن محصولات را از آن قفسه ها خارج کنند.
یک صفحه وب می‌تواند نقش یک فروشنده آگاه را بازی کند که می‌تواند به گوگل بگوید چرا صفحه باید ایندکس شود و به مشتریان در انتخاب آن محصولات کمک کند.
ساعت کاری دفتر سئو گوگل را در ساعت 13:41 دقیقه تماشا کنید: