گوگل قسمت جدیدی از مجموعه ویدیوهای آموزشی خود را با عنوان «جستجو چگونه کار میکند» منتشر کرده است که توضیح میدهد موتور جستجوی آن چگونه صفحات وب را از طریق خزیدن کشف میکند و به آنها دسترسی پیدا میکند.
فرآیند خزیدن جزئیات مهندس گوگل
در اپیزود هفت دقیقه ای که توسط تحلیلگر گوگل، گری ایلیس میزبانی شد، این شرکت نگاهی عمیق به جنبه های فنی نحوه عملکرد Googlebot – نرم افزاری که گوگل برای خزیدن در وب استفاده می کند – ارائه می دهد.
Illyes مراحلی را که Googlebot برای یافتن محتوای جدید و بهروز در میان تریلیونها صفحه وب اینترنت انجام میدهد و آنها را در Google قابل جستجو میکند، تشریح میکند.
ایلیز توضیح می دهد:
“بیشتر URL های جدیدی که گوگل کشف می کند از سایر صفحات شناخته شده ای هستند که گوگل قبلاً آنها را خزیده است.
میتوانید درباره یک سایت خبری با صفحات دستهبندی مختلف فکر کنید که سپس به مقالات خبری جداگانه پیوند میدهند.
گوگل میتواند با مراجعه مجدد به صفحه دستهبندی و استخراج URLهایی که به مقالات منتهی میشوند، بیشتر مقالات منتشر شده را کشف کند.
Googlebot چگونه در وب می خزد
Googlebot با دنبال کردن پیوندها از صفحات وب شناخته شده برای کشف URL های جدید، فرآیندی به نام کشف URL شروع می شود.
از بارگذاری بیش از حد سایت ها با خزیدن هر یک با سرعت منحصر به فرد و سفارشی بر اساس زمان پاسخ سرور و کیفیت محتوا جلوگیری می کند.
Googlebot صفحات را با استفاده از نسخه فعلی مرورگر Chrome برای اجرای هر جاوا اسکریپت و نمایش صحیح محتوای پویا بارگیری شده توسط اسکریپت ها ارائه می کند. همچنین فقط صفحات در دسترس عموم را خزیده است، نه صفحاتی که پشت لاگین هستند.
بهبود کشف و خزیدن
Illyes سودمندی نقشههای سایت – فایلهای XML که نشانیهای اینترنتی یک سایت را فهرست میکنند – برای کمک به Google در یافتن و خزیدن محتوای جدید برجسته کرد.
او به توسعه دهندگان توصیه کرد که سیستم های مدیریت محتوای خود را به طور خودکار نقشه سایت تولید کنند.
بهینه سازی فاکتورهای فنی سئو مانند معماری سایت، سرعت و دستورالعمل های خزیدن نیز می تواند خزیدن را بهبود بخشد.
در اینجا چند تاکتیک اضافی برای خزیدن بیشتر سایت شما وجود دارد:
- از فرسودگی بودجه خزیدنی خودداری کنید – وبسایتهایی که مرتباً بهروزرسانی میشوند میتوانند بودجه خزیدن Googlebot را تحت تأثیر قرار دهند و از کشف محتوای جدید جلوگیری کنند. پیکربندی دقیق CMS و تگ های rel= “next” / rel= “prev” می توانند کمک کنند.
- پیوند داخلی خوب را پیاده سازی کنید – پیوند دادن به محتوای جدید از صفحات دسته بندی و هاب به Googlebot امکان می دهد URL های جدید را کشف کند. یک ساختار پیوند داخلی موثر به خزیدن کمک می کند.
- مطمئن شوید که صفحات به سرعت بارگذاری می شوند – سایت هایی که به کندی به واکشی ربات Google پاسخ می دهند ممکن است سرعت خزیدن آنها کاهش یابد. بهینه سازی صفحات برای عملکرد می تواند خزیدن سریعتر را امکان پذیر کند.
- خطاهای soft 404 را حذف کنید – رفع 404 های نرم ناشی از پیکربندی نادرست CMS، اطمینان حاصل می کند که URL ها به صفحات معتبر منتهی می شوند و موفقیت خزیدن را بهبود می بخشند.
- ترفندهای robots.txt را در نظر بگیرید – یک robots.txt فشرده می تواند صفحات مفید را مسدود کند. ممیزی SEO ممکن است محدودیتهایی را که میتوان با خیال راحت حذف کرد، آشکار کرد.
جدیدترین سری فیلم های آموزشی
آخرین ویدئو پس از آن منتشر شد که گوگل هفته گذشته مجموعه آموزشی “چگونه جستجو کار می کند” را برای روشن کردن فرآیندهای جستجو و نمایه سازی راه اندازی کرد.
قسمت تازه منتشر شده در مورد خزیدن بینشی را در مورد یکی از اساسی ترین عملیات موتور جستجو ارائه می دهد.
در ماههای آینده، Google قسمتهای دیگری را برای بررسی موضوعاتی مانند نمایهسازی، ارزیابی کیفیت و اصلاحات جستجو تولید خواهد کرد.
این سریال در کانال Google Search Central YouTube موجود است.
سوالات متداول
فرآیند خزیدن همانطور که توسط گوگل توضیح داده شده است چیست؟
فرآیند خزیدن Google، همانطور که در قسمت اخیر مجموعه «جستجو چگونه کار میکند» مشخص شده است، شامل مراحل کلیدی زیر است:
- Googlebot با دنبال کردن پیوندهای صفحات شناخته شده ای که قبلاً خزیده است، URL های جدید را کشف می کند.
- برای جلوگیری از بارگذاری بیش از حد سرورها، با در نظر گرفتن زمان پاسخ و کیفیت محتوا، سایتها را به صورت استراتژیک با سرعت سفارشی میخزد.
- خزنده همچنین صفحات را با استفاده از آخرین نسخه کروم رندر می کند تا محتوای بارگیری شده توسط جاوا اسکریپت را به درستی نمایش دهد و فقط به صفحات در دسترس عموم دسترسی داشته باشد.
- بهینه سازی عوامل فنی سئو و استفاده از نقشه های سایت می تواند خزیدن گوگل در محتوای جدید را تسهیل کند.
چگونه بازاریابان می توانند اطمینان حاصل کنند که محتوای آنها به طور موثر توسط Googlebot کشف و خزیده می شود؟
بازاریابان می توانند استراتژی های زیر را برای افزایش قابلیت کشف و خزیدن محتوای خود برای Googlebot اتخاذ کنند:
- یک تولید نقشه سایت خودکار را در سیستم های مدیریت محتوای خود پیاده سازی کنید.
- بر روی بهینه سازی عناصر فنی سئو مانند معماری سایت و سرعت بارگذاری تمرکز کنید و به طور مناسب از دستورالعمل های خزیدن استفاده کنید.
- با پیکربندی موثر CMS و استفاده از برچسب های صفحه بندی، اطمینان حاصل کنید که به روز رسانی های مکرر محتوا، بودجه خزیدن را تمام نمی کند.
- یک ساختار پیوند داخلی موثر ایجاد کنید که به کشف URL های جدید کمک می کند.
- فایل robots.txt وب سایت را بررسی و بهینه سازی کنید تا مطمئن شوید که برای Googlebot بیش از حد محدود نیست.