متا تگ های Noindex: چگونه یک صفحه را Noindex کنیم

Noindex به چه معناست؟

اصطلاح “noindex” یک دستورالعمل ویژه در متا تگ روبات است که به خزنده های جستجو می گوید صفحه را از صفحات نتایج موتورهای جستجو (SERPs) حذف کنند. این بدان معناست که جستجوگران نمی توانند از طریق جستجو به صفحه دسترسی پیدا کنند.

بخش ارزشمندی از هر استراتژی فنی سئو، متا تگ های روبات ها به شما این امکان را می دهد که صفحاتی را که ارزشی برای جستجوگران ارائه نمی دهند یا اطلاعاتی را که نمی خواهید در نتایج جستجو نشان داده شوند را در خود نگه دارید، مانند:

• صفحات تایید و تشکر
• صفحات ورود
• صفحه خط مشی رازداری یا شرایط خدمات
• محتوای دروازه‌دار
• پیغام خطا

Robots Meta Tag در مقابل Robots.txt در مقابل X-Robots Tag

متا تگ Robots اغلب با فایل robots.txt و تگ x-robots اشتباه گرفته می شود. هر سه دستورالعمل هایی را برای جستجوی خزنده ها در مورد صفحات ارائه می دهند و بخشی از پروتکل حذف روبات ها (REP) هستند. به زبان ساده تر: آنها به گوگل می گویند که چه چیزی را در جستجوی گوگل قرار دهد و چه چیزی را از آن دور نگه دارد، و همچنین صفحاتی را که باید بخزند. با این حال، آنها نمی توانند و نباید به جای یکدیگر استفاده شوند.

متا تگ روبات ها

یک متا تگ robots به بخش یک صفحه وب خاص اضافه می شود و فقط دستورالعمل های مربوط به آن صفحه خاص را ارسال می کند. متا تگ ربات که اغلب به آن تگ noindex یا متا تگ noindex گفته می شود، می تواند بیشتر از این که به خزنده جستجوگر بگوید که صفحه را ایندکس نکند، انجام دهد.

همچنین می‌توان از آن برای درخواست از خزنده‌ها استفاده کرد که پیوندها را دنبال نکنند، یک صفحه را ترجمه نکنند، یک ربات جستجوی خاص را مسدود کنند، یا یک پیوند ذخیره شده در حافظه پنهان در SERP ظاهر نشود.

دستورالعمل های متا تگ ربات های رایج عبارتند از:

• Noindex, nofollow —
  Googlebot و سایر خزنده‌های وب ممکن است به صفحه دسترسی داشته باشند، اما نباید آن را ایندکس کنند یا پیوندهای آن را دنبال کنند.
• Noindex، دنبال کنید —
  Googlebot و سایر خزنده‌های وب ممکن است به صفحه دسترسی داشته باشند و پیوندهای موجود در آن را دنبال کنند، اما نباید خود صفحه را ایندکس کنند. شما نیازی به اضافه کردن “دنبال کردن” در متا تگ ندارید زیرا این پیش فرض است.

Robots.txt

Robots.txt فایلی است که به صاحبان سایت اجازه می دهد تا به موتورهای جستجو بگویند که کدام بخش از سایت خود را نمی خواهند خزیده شوند. این مانند یک علامت مزاحم نشوید شخصی برای وب سایت شما است که در فهرست اصلی دامنه یا زیر دامنه شما قرار دارد.

یک فایل robots.txt برای جلوگیری از دسترسی و خزیدن به کل زیرشاخه ها به جای صفحات جداگانه بهترین است. از آن برای جلوگیری از دسترسی و نمایه سازی خزنده های جستجو استفاده کنید:

• صفحات جستجوی داخلی
• پارامترهای URL
• تالارهایی که در آنها هرزنامه تولید شده توسط کاربر ممکن است مشکلاتی ایجاد کند
• زیرشاخه های داخلی، مانند آنهایی که فقط برای کارمندان هستند

این مراحل را برای ایجاد یک فایل robots.txt دنبال کنید و حتما به نقشه سایت XML خود پیوند دهید.

اگر به صفحه ای پیوند می دهید که در فایل robots.txt خود قرار دارد، ممکن است بخواهید یک متا تگ robots را نیز به آن اضافه کنید تا مطمئن شوید که در نتایج جستجو نشان داده نمی شود. به یاد داشته باشید – robots.txt فقط خزنده‌ها را از دسترسی به یک صفحه مسدود می‌کند، نه ایندکس کردن آن. اگر صفحات تحت پوشش دستورات robots.txt شما پیوندهای خارجی دریافت کنند، موتورهای جستجو ممکن است آنها را فهرست کنند. از متا تگ robots به همراه فایل robots.txt برای جلوگیری از این امر استفاده کنید.

تگ ربات های ایکس

برای جلوگیری از نمایش PDF، ویدیو یا تصویر در SERP، از تگ x-robots استفاده کنید. همان دستورالعمل های مشخص شده برای متا تگ های روبات ها برای ربات های x استفاده می شود. با این حال، برخلاف متا تگ روبات که در هدر HTML صفحه قرار دارد، تگ x-robots در پاسخ هدر HTTP قرار می گیرد.

بخشنامه به شکل زیر است:

X-Robots-Tag: noindex

هنگامی که یک صفحه را Noindex کنید

مهار نفخ شاخص

نفخ ایندکس زمانی اتفاق می‌افتد که گوگل صفحاتی را با ارزش بسیار کم برای جستجوگران ایندکس می‌کند. این صفحات اضافی منابع را از صفحات ارزشمندتر کم می کنند. برای مدیریت صفحاتی که در نتایج جستجو ظاهر می شوند، از متا تگ روبات استفاده کنید.

ریشه کن کردن کلمه کلیدی آدمخواری

آدمخواری کلمات کلیدی زمانی اتفاق می‌افتد که دو صفحه یک کلمه کلیدی و هدف جستجوی مشابه را به اشتراک بگذارند، بنابراین باعث می‌شود در SERP با یکدیگر رقابت کنند.

اگر دو صفحه دارید که همدیگر را آدمخوار می کنند و می خواهید هر دو را بدون تغییر محتوایشان نگه دارید، یک noindex. گفته شد، شما باید این کار را فقط در صورتی انجام دهید که صفحه‌ای که در حال فهرست‌بندی نیستید، ترافیک را از کلمات کلیدی که صفحه دیگر انجام نمی‌دهد، هدایت نمی‌کند. در شرایطی مانند این، ممکن است لازم باشد محتوای یک یا هر دو صفحه را دوباره کار کنید تا مشکل آدم خواری را حل کنید.

از صفحات فرود دردار محافظت کنید

هنگامی که در ازای اطلاعات تماس، منبعی با ارزش را به مشتریان ارائه می دهید، مطمئن شوید که از راه دیگری قابل دسترسی نیست. یک متا تگ robots را به صفحه noindex اضافه کنید و از نمایش آن در SERP جلوگیری کنید.

محصولات نامطلوب را از جستجو حذف کنید

سایت های تجارت الکترونیک اغلب محصولاتی را برای ارائه خدمات به مشتریان خاص حمل می کنند، حتی اگر تقاضای زیادی برای آنها وجود نداشته باشد. به عنوان مثال، یک خرده فروش قطعات خودرو یا یک شرکت فنی دیگر ممکن است محصولاتی برای مدل های خاص یا تجهیزات کمیاب داشته باشد. اگر این صفحه‌های محصول یا دسته‌بندی ترافیک ارگانیک را هدایت نمی‌کنند، معمولاً می‌توانند بدون فهرست شوند.

نحوه Noindex کردن یک صفحه وب

متا تگ noindex در هدر HTML صفحه قرار می گیرد. کد به حروف بزرگ و کوچک حساس نیست و به شکل زیر است:

<meta name="robots" content="noindex">

«ربات‌ها» به این معنی است که این دستورالعمل برای هر خزنده‌ای اعمال می‌شود، اما می‌توانید با جایگزین کردن «ربات‌ها» با نام‌های خزنده شناخته شده، مانند «Googlebot» یا «bingbot»، خزنده‌ها را مشخص کنید.

خزنده ها همچنان پیوندهای موجود در صفحه را دنبال می کنند، مگر اینکه دستور nofollow را نیز اضافه کنید. شما ممکن است این کار را برای جلوگیری از جاری شدن ارزش پیوند در صفحه انجام دهید یا از دنبال کردن یک پیوند به محتوای دروازه‌دار توسط خزنده جلوگیری کنید.

برای اضافه کردن یک مقدار nofollow، آن را با یک کاما از دستور noindex جدا کنید.

<meta name="robots" content="noindex, nofollow">

چگونه یک متا تگ Robots را به کد HTML خود اضافه کنید

1. کد منبع صفحه ای را که می خواهید noindex کنید باز کنید.
2. هدر را در بالای صفحه پیدا کنید. با شروع می شود و با به پایان می رسد. احتمالاً کد دیگری نیز در هدر وجود خواهد داشت.
3. متا تگ robots را در یک خط جدید اضافه کنید، مطمئن شوید که بین تگ‌های و ظاهر می‌شود.

خودشه! اگر صفحه شما قبلاً ایندکس شده است، می توانید از Google بخواهید که با چسباندن URL آن در ابزار بازرسی URL، آن را دوباره بخزد.

قبلا ایندکس شده اید؟ از ابزار حذف URL استفاده کنید

وقتی یک تگ noindex را به صفحه جدیدی از محتوا اضافه می کنید، Googlebot دستورالعمل را هنگام خزیدن در صفحه مشاهده می کند و آن را ایندکس نمی کند.

با این حال، اگر شما برچسب را به صفحه ای اضافه می کنید قبلاً نمایه شده است، صفحه در نتایج جستجو ظاهر می شود تا زمانی که دوباره خزیده شود و ربات ها دستورالعمل های جدید noindex را ببینند. می‌توانید از Google بخواهید که URL را در کنسول جستجوی Google از طریق ابزار بازرسی URL بازرسی کند، اما فوراً صفحه را از SERP حذف نمی‌کند.

اگر نیاز به حذف سریع صفحه از SERP دارید، از ابزار Removals در کنسول جستجوی گوگل استفاده کنید. این کار باعث می شود تا حدود شش ماه صفحات از نتایج جستجوی گوگل خارج شوند. تا آن زمان، متا تگ noindex باید کار کند.

نحوه Noindex کردن یک صفحه در وردپرس

هر صفحه در وردپرس به صورت پیش فرض ایندکس می شود. می توانید از افزونه Yoast SEO برای noindex کردن یک صفحه در وردپرس بدون نوشتن کد استفاده کنید. در اینجا چگونگی آن است.

روی تب ‘Advanced’ در متا باکس Yoast SEO کلیک کنید.

در زیر سوال، “اجازه به موتورهای جستجو برای نمایش این پست در نتایج جستجو؟” “نه” را از کادر بازشو انتخاب کنید.

در حالی که این تنظیم به Google دستور می‌دهد پست را ایندکس نکند، ربات‌ها همچنان به طور خودکار پیوندهای صفحه را دنبال می‌کنند تا صفحات دیگر را بخزند.

اگر می‌خواهید یک دستورالعمل nofollow اضافه کنید، دکمه “نه” را در زیر این سوال انتخاب کنید: “آیا موتورهای جستجو باید پیوندهای موجود در این پست را دنبال کنند؟”

پرسش و پاسخ متا تگ روبات ها

آیا همه موتورهای جستجو از دستورالعمل noindex پیروی می کنند؟

می توانید از گوگل، بینگ و سایر موتورهای جستجوی قانونی انتظار داشته باشید که متا تگ روبات ها را رعایت کنند.

آیا می توانم به صفحات بدون ایندکس لینک کنم؟

آره. تگ noindex به ربات‌های جستجوگر می‌گوید چگونه با یک صفحه در هنگام خزیدن و نمایه‌سازی رفتار کنند. بر توانایی شما برای پیوند دادن به یک صفحه تأثیری نمی گذارد. این می‌تواند برای صفحات دسته‌بندی در وبلاگ مفید باشد، که نباید در نتایج جستجو نشان داده شوند، اما می‌توانند پیوندهایی به صفحات ارزشمندی را در اختیار ربات‌ها قرار دهند.

چه زمانی باید از متا تگ روبات استفاده کنم؟

اگر صفحه‌ای دارید که هیچ ارزشی به جستجوگران ارائه نمی‌دهد، مانند یک صفحه تشکر یا یک صفحه مناسب چاپگر، آن را با متا تگ روبات‌ها فهرست نکنید تا در SERP ظاهر نشود.

چه زمانی نباید از دستورالعمل noindex استفاده کنم؟

از نظر فنی می‌توانید مشکلات محتوای تکراری و برخی مشکلات بودجه خزیدن را با دستورالعمل‌های noindex حل کنید، اما این بهترین راه برای انجام آن نیست. محتوای تکراری به بهترین وجه با استفاده از تگ‌های متعارف، که ارزش لینک را از موارد تکراری روی صفحه متعارف متمرکز می‌کند، مدیریت می‌شود. اگر می‌خواهید از بودجه خزیدن صرفه‌جویی کنید، باید از فایل robots.txt استفاده کنید تا خزیدن آن بخش از سایت را ممنوع کنید.

آیا صفحات بدون ایندکس ارزش لینک را پاس می کنند؟

آره. حتی اگر صفحه ای ایندکس نشده باشد، همچنان می تواند هر مرجع رتبه بندی ایجاد شده را به اشتراک بگذارد. با این حال، خزنده‌های جستجو باید این توانایی را داشته باشند که پیوندهای موجود در صفحه را دنبال کنند تا ارزش پیوند از طریق آن جریان یابد. اگر صفحه‌ای روی noindex و nofollow تنظیم شده باشد، نمی‌تواند ارزش لینک را ارسال کند.

آیا عدم ایندکس کردن یک صفحه به طور خودکار آن را از SERP های گوگل حذف می کند؟

اگر صفحه شما از قبل ایندکس شده است، افزودن متا تگ robots به طور خودکار از نتایج جستجو حذف نمی شود. مدتی طول می کشد تا صفحاتی که قبلاً ایندکس شده اند از SERP محو شوند. ربات های جستجو برای دیدن تگ noindex نیاز به خزیدن مجدد صفحات دارند. برای نتایج سریع‌تر، از Google درخواست کنید صفحه را دوباره بخزد و از ابزار حذف URL استفاده کند.

با بررسی سئو صفحات مشکل ساز را کشف کنید

اجازه ندهید محتوای نازک یا تکراری روی دید جستجوی شما تأثیر بگذارد. مطمئن شوید که به صفحات خود بهترین فرصت را برای رتبه بندی می دهید. 200+ Point SEO Audit ما مشکلاتی مانند محتوای تکراری، فایل robots.txt از دست رفته، متا تگ‌های روبات‌ها، نفخ ایندکس و موارد دیگر را علامت‌گذاری می‌کند. برای مشاوره رایگان SEO ثبت نام کنید تا ببینید چگونه خدمات ممیزی SEO ما می تواند دید آنلاین شما را به حداکثر برساند و به رشد کسب و کار شما کمک کند.