نفخ شاخص: چیست و چگونه آن را برطرف کنیم

Index Bloat چیست؟

نفخ ایندکس زمانی اتفاق می‌افتد که یک خزنده جستجو صفحاتی را که نمی‌خواهید در نتایج جستجو ظاهر شوند، فهرست می‌کند. این باعث هدر رفتن بودجه محدود خزیدن شما می شود، که می تواند برای نمایه سازی صفحات مهم استراتژیک بهتر استفاده شود.

صفحاتی که به نفخ ایندکس کمک می کنند عبارتند از:

• صفحات محصول فیلتر شده که از پارامترهای URL استفاده می کنند
• نتایج جستجوی داخلی
• نسخه های چاپگر پسند صفحات
• با تشکر از شما یا صفحات تایید
• نشانی‌های وب و جای‌بان‌ها را آزمایش کنید
• محتوای نازک و با کیفیت پایین

چرا نفخ شاخص مهم است

ایندکس bloat حضور شما در موتور جستجو را با محتوایی که هدفی را دنبال نمی‌کند یا مورد علاقه خوانندگان نیست، افزایش می‌دهد.

هنگامی که ربات‌های جستجو این صفحات غیر ضروری را فهرست می‌کنند، به این صورت است:

• رتبه بندی صفحات شما برای موتورهای جستجو سخت تر است. خزنده های جستجو باید وب سایت شما را درک کنند تا محتوا را به بهترین شکل با درخواست های کاربر مطابقت دهد و آن را به طور مؤثر رتبه بندی کند. صفحات بدون هدف منطقی و واضح، درک و بازیابی اطلاعات را برای گوگل و سایر موتورهای جستجو دشوارتر می کند.
• برای رتبه بندی موتورهای جستجو مضر است. صفحات با محتوای مشابه زمانی که کلمات کلیدی مشابهی را هدف قرار می دهند با یکدیگر رقابت می کنند. صفحات با کیفیت پایین یا محتوای تکراری ممکن است رتبه خوبی نداشته باشند یا کاربران را جذب کنند، که می تواند بر قدرت کلی سایت شما تأثیر بگذارد.
• استفاده ناکارآمد از بودجه خزیدن. نفخ ایندکس به این معنی است که ربات‌های جستجو بودجه محدودی را برای جمع‌آوری اطلاعاتی که گوگل به آن نیاز ندارد، هدر می‌دهند. این کار زمان و منابع را از صفحاتی که می خواهید برای آنها رتبه بندی کنید دور می کند.

درک Crawl Budget

هر وب سایت دارای بودجه خزیدن است، که تعداد URL هایی است که Googlebot در طول هر بازدید می خزند. هنگامی که Googlebot به بودجه خزیدن خود رسید، به دامنه بعدی می رود.

چند چیز بودجه خزیدن سایت شما را تعیین می کند:

• سلامت سایت خطاها و زمان پاسخ آهسته سرور باعث کاهش بودجه خزیدن می شود.
• تقاضا. سایت‌هایی که صفحات پرطرفدار دارند بیشتر خزیده می‌شوند.

در حالت ایده آل، ربات های جستجو وقت خود را در صفحاتی که می خواهید رتبه بندی کنید و برای کاربران مهم هستند، صرف می کنند. می‌توانید بودجه خزیدن را با گفتن به خزنده‌های موتور جستجو به حداکثر برسانید.

سئوی Index Bloat: 4 دلیل برای اینکه چرا Index Bloat اتفاق می افتد

علل رایج نفخ شاخص عبارتند از:

1. تکرار تصادفی صفحه

چند دلیل وجود محتوای تکراری وجود دارد. سایت های تجارت الکترونیک ممکن است به مشتریان اجازه دهند محصولات را بر اساس قیمت یا رنگ فیلتر کنند و صفحات وب را ایجاد کنند که نباید به فهرست موتورهای جستجو اضافه شوند. سایر صفحات ایجاد شده به صورت پویا شامل آرشیوهای سازماندهی شده بر اساس تاریخ، نتایج جستجوی داخلی و صفحات دسته بندی وبلاگ می باشد. ایجاد یا وجود این صفحات تنها زمانی مشکل ساز است که ایندکس شوند. استفاده از URL های ردیابی و پارامترهای URL نیز ممکن است منجر به محتوای تکراری شود.

2. فایل Robot.txt گم شده یا نادرست است

به طور پیش فرض، خزنده های جستجو می توانند از هر صفحه ای در سایت شما بازدید کنند. شما می توانید از فایل robots.txt استفاده کنید تا موتورهای جستجو نتوانند URL ها و زیرشاخه های خاصی را به فهرست خود اضافه کنند. دستوراتی مانند “allow” و “disallow” نشان می دهد که آیا می خواهید مسیرهای URL خاصی دنبال شوند یا خیر. این فایل باید در دایرکتوری سطح بالای سایت قرار گیرد تا خزنده ها قبل از دسترسی به صفحات شما، فایل را بخوانند.

3. صفحه بندی

مشاهده مقالات طولانی یا دسته بندی های طولانی محصول زمانی که محتوا به چندین صفحه تقسیم می شود آسان تر است. کاربران با استفاده از پیوندهایی به شماره صفحه بعدی، قبلی یا فردی، بین محتوا حرکت می کنند.

اگر صفحه بندی به درستی تنظیم نشده باشد، گاهی اوقات موتورهای جستجو می توانند هر صفحه از یک سری را به عنوان محتوای جداگانه ایندکس کنند. این می تواند باعث شود که صفحه سوم از یک پست پنج صفحه ای به جای یک مقاله کامل در صفحات نتایج موتور جستجو (SERPs) ظاهر شود. از آنجایی که برای خواننده مفید نیست که در وسط یک مطلب قرار بگیرد، این نمایه سازی غیر ضروری است.

4. عملکرد ضعیف یا محتوای نازک

هر صفحه در سایت شما باید هدف مشخصی داشته باشد. وقتی سایت شما حاوی محتوای نازک یا صفحاتی با عملکرد ضعیف است که تجربه کاربر را بهبود نمی بخشد، پف می کند. این صفحات باید به طور منظم هرس شوند.

تشخیص نفخ ایندکس: URL های نمایه شده خود را بررسی کنید

کنسول جستجوی گوگل تعداد صفحاتی که به فهرست جستجو اضافه شده اند را گزارش می دهد. بزرگترین شاخص نفخ شاخص؟ تعداد صفحات ایندکس شده بیشتر از آن چیزی است که باید باشد.

چگونه گزارش خزیدن خود را در کنسول جستجوی گوگل بررسی کنیم

از گزارش پوشش شاخص برای مشاهده خلاصه ای از تمام صفحاتی که گوگل در سایت شما خزیده است استفاده کنید. این ابزار به شما می گوید کدام صفحات معتبر و نمایه شده هستند و کدامیک از ایندکس حذف شده اند.

با نگاه کردن به تعداد صفحات معتبر شروع کنید – به این معنی که آنها به فهرست اضافه شده اند – و تعداد صفحات ایندکس شده را با تعداد صفحات ارسال شده در نقشه سایت XML خود مقایسه کنید.

اگر تعداد صفحات شما به میزان قابل توجهی بیشتر از حد انتظار ایندکس شده باشد، ممکن است سایت شما دارای ایندکس نفخ باشد.

برای اطلاعات بیشتر، با کلیک بر روی “معتبر” در زیر جزئیات، دسته معتبر گزارش را گسترش دهید.

با این کار لیستی از URL هایی که ایندکس شده اند ایجاد می شود. اگر نشانی‌های اینترنتی فهرست‌شده‌ای را می‌بینید که نمی‌خواهید در نتایج جستجو گنجانده شوند، باید فایل robots.txt یا برچسب‌های متا روبات خود را به‌روزرسانی کنید تا صفحات را فهرست‌بندی نکنند، URL‌ها را حذف و تغییر مسیر دهید، و URL‌ها را به ابزار حذف URL در Google ارسال کنید. کنسول جستجو.

نحوه رفع نفخ شاخص

برای رفع نفخ ایندکس، باید لینک‌های داخلی را حذف کنید، به ربات‌های خزنده دستورالعمل‌هایی بدهید که در کدام صفحات ایندکس شوند، از برچسب‌های متعارف استفاده کنید و محتوای اضافی را از سایت خود حذف کنید. هنگامی که تشخیص دادید کدام صفحات غیرضروری در فهرست گوگل قرار دارند، می توانید بهترین نحوه برخورد با آنها را تعیین کنید و درخواست حذف از SERP های Google را بدهید.

لینک های داخلی را حذف کنید

اگر قصد دارید محتوای خود را فهرست‌بندی نکنید، حذف پیوندهای داخلی به آن محتوا، توانایی Google را برای یافتن و فهرست‌بندی آن محدود می‌کند. از آنجایی که گوگل از لینک های داخلی برای یافتن محتوای جدید در سایت شما استفاده می کند، وقتی آن مسیر را حذف می کنید، گوگل توجه خود را به سایر لینک های داخلی صفحه شما معطوف می کند و در عوض آن ها را می خزند.

اگر می‌خواهید صفحات خارجی خود را حذف کنید، حذف لینک‌های داخلی به آن صفحات احتمال شکسته شدن لینک‌ها را کاهش می‌دهد و این فرصت را برای شما فراهم می‌کند تا به محتوای مرتبط‌تری پیوند دهید. خواستن گوگل برای ایندکس کردن

Robot.txt را به روز کنید یا نصب کنید

اگر سایت شما قبلاً فایلی ندارد، یک فایل robot.txt ایجاد کنید. تمرین خوبی است که به طور منظم فایل‌های robot.txt موجود را بررسی کنید و دستورالعمل‌ها را به‌روزرسانی کنید تا مطمئن شوید خزنده‌های جستجو از صفحات مناسب بازدید می‌کنند.

یک فایل robot.txt مانع از دسترسی ربات های موتور جستجو به یک زیر شاخه می شود. برای مثال، ما Google را از خزیدن نتایج جستجوی تولید شده توسط کاربر مسدود می‌کنیم. اگر فایل robots.txt ما این کار را انجام نمی‌داد، ممکن است Google به هزاران صفحه‌ای که نمی‌خواهیم در نتایج جستجو نشان داده شوند دسترسی پیدا کند، بخزد و فهرست‌بندی کند و بودجه خزیدن خود را تمام کند.

از Meta Robots Tags و X Robots استفاده کنید

متا تگ robots را می توان به یک سند HTML اضافه کرد تا دستورالعمل هایی در مورد آن صفحه خاص بدون ایجاد تغییرات در فایل robots.txt در سراسر سایت ارائه کند. کنترل بیشتری بر نحوه خزیدن یک صفحه به شما می دهد. حتی می‌توانید دستورالعمل‌هایی را برای خزنده‌های خاص (“Googlebot” یا “bingbot”) بگذارید و صفحات را از جستجوی تصویر، ویدئو و اخبار گوگل حذف کنید. تگ متا روبات فقط باید در صفحاتی استفاده شود که پوشیده نیستند توسط فایل robots.txt شما. اگر ناخواسته یک برچسب noindex به صفحه‌ای که از طریق فایل robots.txt مسدود شده است اضافه کنید، Google نمی‌تواند دستورالعمل‌های شما را بخواند.

تگ X-Robots یک پاسخ هدر HTTP است. عملکردی مشابه با تگ متا روبات دارد و نمایه سازی تصاویر، فیلم ها، فایل های PDF و سایر فایل های غیر HTML را کنترل می کند.

برچسب های متعارف را اضافه کنید

برچسب‌های متعارف تضمین می‌کنند که Google همه موارد محتوای مشابه یا تکراری را فهرست نمی‌کند. این تگ ها در هدر یک صفحه وب قرار می گیرند و به گوگل می گویند که ترجیح می دهید از کدام URL به عنوان کپی اصلی صفحه در نتایج جستجو استفاده کنید.

اصلاح صفحه بندی

هنگامی که محتوای مرتبط را در یک سری از صفحات تقسیم می کنید، از بهترین شیوه های صفحه بندی استفاده کنید تا Google روابط بین صفحات را درک کند. یک صفحه اصلی منفرد حاوی تمام محتوا ایجاد کنید، مانند صفحه «مشاهده همه» برای یک دسته محصول که در چندین صفحه پخش شده است. می‌توانید یک برچسب متعارف اضافه کنید تا از Google بخواهید به جای فهرست‌بندی جزئی محصولات، این صفحه را در نتایج جستجو فهرست کند.

حذف یا ادغام صفحات

محتوای با عملکرد ضعیف که ترافیک ارگانیک کمی ارائه می دهد نیز به نفخ ایندکس کمک می کند. اینها شامل صفحات فراموش شده با محتوای قدیمی یا صفحات با محتوای مشابه است.

با این حال، قبل از شروع حذف صفحات، یک طرح ایجاد کنید. هرس محتوا باید با دقت انجام شود تا از تأثیر منفی بر سئو و اعتبار سایت جلوگیری شود.

ممیزی محتوا می تواند تعیین کند که آیا می توان با ادغام صفحات و ادغام کلمات کلیدی یا حذف کامل آنها، نفخ شاخص را برطرف کرد. همچنین باید از تغییر مسیرهای دائمی استفاده کنید تا مطمئن شوید که کاربران در صفحات مرده قرار نخواهند گرفت. ریدایرکت‌های مناسب می‌توانند از طریق هر پیوندی که صفحات ایجاد کرده‌اند انجام دهند و اطمینان حاصل کنند که URLهای صحیح ایندکس می‌شوند.

حذف صفحات فهرست شده با ابزار حذف URL

می‌توانید در کنسول جستجوی Google درخواست حذف URL‌های خاص از Google را بدهید. در سمت چپ، “Removals” را انتخاب کنید.

روی «درخواست جدید» کلیک کنید و URL خود را وارد کنید.

به دستورالعمل‌ها توجه کنید – شما حدود شش ماه فرصت دارید تا URL را حذف کنید یا آن را بدون فهرست کنید. اگر نتوانید برچسب robots.txt یا meta robots خود را به روز کنید و URL را حفظ کنید، Google دوباره صفحه را می خزد و فهرست می کند. به یاد داشته باشید که پیوندهای داخلی که به هر صفحه ای که می خواهید از فهرست گوگل حذف شود را نیز حذف کنید.

نیاز به ممیزی سایت دارید؟

با وب سایتی که برای جذب ترافیک ارگانیک بهینه شده است، از کسب و کار رو به رشد خود حمایت کنید. خدمات ممیزی سئو ما می تواند موانعی را که مانع دیده شدن آنلاین شما می شوند شناسایی کند و از رتبه بندی سایت شما در نتایج جستجو جلوگیری کند. درخواست یک مشاوره رایگان کنید و دریابید که چگونه از حضور دیجیتال خود حداکثر استفاده را ببرید.