خزیدن چیست؟ • SEO برای مبتدیان • Yoast

رتبه بندی در موتورهای جستجو به یک وب سایت با سئوی فنی بی عیب و نقص و محتوای عالی و مرتبط نیاز دارد. خوشبختانه، افزونه Yoast SEO از (تقریبا) همه چیز در سایت وردپرس شما مراقبت می کند. با این حال، اگر واقعاً می‌خواهید بیشترین بهره را از وب‌سایت خود ببرید و از رقبا پیشی بگیرید، دانش اولیه سئو فنی ضروری است. در این پست یکی از مهمترین مفاهیم سئو فنی را توضیح خواهیم داد: خزیدن.

دوباره خزنده چیست؟

موتور جستجویی مانند گوگل از یک خزنده، یک فهرست و یک الگوریتم تشکیل شده است. خزنده پیوندها را دنبال می کند. هنگامی که خزنده Google – همچنین به عنوان Googlebot شناخته می شود – وب سایت شما را پیدا می کند، آن را رندر می کند، می خواند و محتوا را در فهرست ذخیره می کند.

یک خزنده پیوندها را در وب دنبال می کند. به خزنده ربات، ربات یا عنکبوت نیز گفته می شود. 24/7 در سراسر اینترنت می چرخد. هنگامی که به یک وب سایت می رسد، نسخه HTML را در یک پایگاه داده غول پیکر به نام فهرست ذخیره می کند. این شاخص هر بار که خزنده به وب سایت شما می آید و نسخه جدید یا اصلاح شده آن را پیدا می کند، به روز می شود. بسته به اینکه گوگل چقدر سایت شما را مهم می‌داند و تعداد تغییراتی که در وب‌سایت خود ایجاد می‌کنید، خزنده بیشتر یا کمتر دیده می‌شود.

بیشتر بخوانید: اصول سئو: گوگل چه می کند »

و خزیدن چیست؟

خزیدن با امکاناتی که گوگل برای خزیدن وب سایت شما دارد، ارتباط دارد. می توانید خزنده ها را در سایت خود مسدود کنید. چند راه برای مسدود کردن خزنده از وب سایت شما وجود دارد. اگر وب سایت یا صفحه ای در وب سایت شما مسدود شده است، به خزنده Google می گویید: «اینجا نیایید». سایت شما یا صفحه مربوطه در اکثر این موارد در نتایج جستجو ظاهر نمی شود.

چند چیز وجود دارد که می تواند مانع از خزیدن (یا ایندکس) گوگل در وب سایت شما شود:

  • اگر فایل robots.txt شما خزنده را مسدود کند، گوگل به وب سایت یا صفحه وب خاصی شما نمی آید.
  • قبل از خزیدن وب سایت شما، خزنده نگاهی به هدر HTTP صفحه شما می اندازد. این هدر HTTP حاوی یک کد وضعیت است. اگر این کد وضعیت می گوید که صفحه ای وجود ندارد، گوگل وب سایت شما را نمی خزند. در ماژول مربوط به هدرهای HTTP آموزش SEO فنی ما همه چیز را به شما خواهیم گفت.
  • اگر متا تگ روبات در یک صفحه خاص، موتور جستجو را از فهرست کردن آن صفحه مسدود کند، گوگل آن صفحه را می‌خزد، اما آن را به فهرست خود اضافه نمی‌کند.

این نمودار جریان ممکن است به شما در درک فرآیندی که ربات‌ها هنگام تلاش برای فهرست کردن یک صفحه دنبال می‌کنند، کمک کند:

خزیدن سایت خود را با Yoast SEO Premium بهبود بخشید

بارها گفته‌ایم که خزیدن یکی از جنبه‌های مهم سئو است. و بنابراین بهینه سازی خزیدن سایت کاری است که باید انجام دهید. استفاده از ابزارهایی مانند Yoast SEO Premium می تواند این کار را برای شما آسان تر کند.

خزنده ها ممکن است چندین بار در روز به سایت شما بیایند. گاهی اوقات آنها برای کشف محتوای جدید از سایت شما بازدید می کنند، گاهی اوقات آنها برای بررسی اینکه آیا به روز رسانی های جدیدی وجود دارد یا خیر مراجعه می کنند. اما هر بار که به سایت شما می رسند، مطمئناً می خزند هر چیزی که برای آنها شبیه یک URL به نظر می رسد. به همین دلیل، احتمال اینکه یک URL چندین بار در روز خزیده شود بسیار زیاد است.

این طوری نیست که همه چیز باید باشد. در بیشتر موارد، بعید است که در یک روز مشخص، چندین تغییر در URL ایجاد کنید. ناگفته نماند، تقریباً هر CMS نشانی‌های اینترنتی خروجی را تولید می‌کند که منطقی نیست که خزنده‌ها می‌توانند با خیال راحت از آنها رد شوند. اما به جای نادیده گرفتن این آدرس‌ها، خزنده‌ها هر بار که به یک آدرس اینترنتی برخورد کنند، دوباره و دوباره آن‌ها را می‌خزند. تمام این خزیدن غیر ضروری منابع انرژی را می گیرد که این امر را به یک عمل مضر برای سیاره ما تبدیل می کند.

به همین دلیل است که در Yoast SEO Premium 18.6، ما اولین افزودنی را به تنظیمات خزیدن خود معرفی کردیم که به شما این امکان را می دهد تا بهتر مدیریت کنید که موتورهای جستجو چه چیزی را در سایت شما رد می کنند. در این بخش که هنوز در مرحله بتا است، می‌توانید کلیدهای بسیاری را بیابید که به شما امکان می‌دهند موارد مختلفی را که وردپرس به‌طور خودکار به سایت شما اضافه می‌کند و اکثر سایت‌ها از دست نمی‌دهند، غیرفعال کنید. در Yoast SEO Premium 18.7، فهرست تنظیماتی را که می‌توانید تغییر دهید گسترش داده‌ایم و در نسخه‌های بعدی Yoast SEO Premium به این کار ادامه خواهیم داد.

آیا می خواهید همه چیز را در مورد خزیدن بدانید؟

اگرچه خزیدن فقط اصول اولیه سئوی فنی است (با تمام مواردی که گوگل را قادر می‌سازد تا سایت شما را فهرست کند) انجام می‌شود، اما در حال حاضر برای بیشتر افراد چیزهای بسیار پیشرفته‌ای است. با این وجود، اگر مسدود می کنید – شاید حتی بدون اینکه بدانید! – خزنده های سایت شما، هرگز در گوگل رتبه بالایی نخواهید داشت. بنابراین، اگر در مورد سئو جدی هستید، این باید برای شما مهم باشد.

اگر واقعاً می خواهید تمام جنبه های فنی خزیدن را درک کنید، باید آموزش SEO فنی ما را بررسی کنید. این دوره آموزشی SEO به شما آموزش می دهد که چگونه مسائل فنی سئو را شناسایی کرده و آنها را حل کنید (با افزونه Yoast SEO). Yoast SEO Academy بدون هزینه اضافی در اشتراک Premium شما گنجانده شده است.

به خواندن ادامه دهید: سئوی فنی چیست: 8 جنبه که همه باید بدانند »