چگونه بررسی کنیم که آیا گوگل سایت من را خزیده است (و رفع کند)

به روز شده: 1 ژوئیه 2023.

سه راه آسان برای بررسی اینکه آیا گوگل سایت شما را خزیده است یا خیر، کشف کنید.

اگر اینجا هستید، احتمالاً سعی می‌کنید بفهمید که آیا خزنده‌های قدرتمند وب گوگل از سایت شما بازدید کرده‌اند یا خیر. درک اینکه آیا و چه زمانی گوگل سایت شما را خزیده است، بخش مهمی از هر استراتژی سئو قوی است، و من اینجا هستم تا به شما در رمزگشایی این فرآیند کمک کنم.

در این مقاله، من به دنیای خزیدن گوگل می پردازم – چیست، چرا اهمیت دارد و مهمتر از همه، چگونه می توانید متوجه شوید که سایت شما توسط گوگل خزیده شده است یا خیر.

در پایان این مطالعه، شما تمام ابزارهای مورد نیاز خود را در اختیار خواهید داشت تا نه تنها تأیید کنید که آیا گوگل سایت شما را خزیده است، بلکه اگر این کار را نکرده است، اقدامی انجام دهید. بیا شروع کنیم!

TL;DR: چگونه بررسی کنیم که آیا گوگل سایت شما را خزیده است یا خیر

TL;DR: برای بررسی سریع اینکه آیا گوگل سایت شما را خزیده است یا خیر، از ابزار بازرسی URL در کنسول جستجوی گوگل (GSC) استفاده کنید. URL خود را در ابزار وارد کنید و اطلاعات مربوط به آخرین تاریخ خزیدن، هرگونه خطای خزیدن و وضعیت نمایه سازی را ارائه می دهد. این یک راه مفید و قابل اعتماد برای دانستن اینکه آیا گوگل واقعاً سایت شما را خزیده است.

خزیدن گوگل چیست و چگونه کار می کند؟

گوگل دائماً در جستجوی صفحات جدید و به روز شده برای افزودن به لیست صفحات “شناخته” خود است، مرحله ای که آن را “کشف URL” می نامند. گاهی اوقات، با دنبال کردن پیوندی از یک صفحه موجود یا از نقشه سایت ارسالی شما، صفحات جدیدی را پیدا می کند.

هنگامی که یک URL کشف شد، گوگل ممکن است تصمیم بگیرد با استفاده از برنامه ای به نام Googlebot از آن صفحه بازدید کند یا آن را “خزیدن” کند. ماموریت Googlebot این است که اطلاعات را از میلیاردها صفحه وب واکشی کند، در حالی که فرکانس و تعداد صفحاتی را که از هر سایت واکشی می کند متعادل می کند تا از بارگذاری بیش از حد آنها جلوگیری کند.

اما Googlebot همه چیز را نمی‌خزد. گاهی اوقات، مالک سایت ممکن است خزیدن را ممنوع کرده باشد، یا ممکن است صفحه نیاز به دسترسی به ورود داشته باشد.

با خزیدن Googlebot، صفحه را رندر می‌کند و هر جاوا اسکریپتی را که با آن مواجه می‌شود از طریق نسخه‌ای از Chrome که شبیه مرورگر شما است اجرا می‌کند. این بسیار مهم است زیرا بسیاری از وب سایت ها از جاوا اسکریپت برای آوردن محتوا به صفحه استفاده می کنند و گوگل باید این محتوا را ببیند.

با این حال، ممکن است سکسکه وجود داشته باشد. Googlebot ممکن است با موانعی مانند مشکلات سرور، مشکلات شبکه یا قوانین دسترسی تنظیم شده توسط فایل‌های robots.txt روبرو شود. بنابراین، در حالی که گوگل مشتاق خزیدن است، همیشه امکان پذیر نیست.

نکته: صفحات زیر “کشف شده – در حال حاضر فهرست نشده” در کنسول جستجوی Google، صفحاتی هستند که Google از آنها اطلاع دارد اما هنوز خزیده نشده است.

می‌توانید راهنمای بسیار دقیقی در مورد نحوه عملکرد جستجوی Google در Google Search Central پیدا کنید. اکیداً توصیه می کنم این راهنما را بخوانید.

چگونه بررسی کنم که آیا گوگل سایت من را خزیده است (به 4 روش)

در اینجا چهار روشی که من می دانم برای بررسی اینکه آیا گوگل آخرین بار در سایت شما خزیده است یا خیر، آورده شده است.

کنسول جستجوی گوگل (ابزار بازرسی URL)

وقتی صحبت از اطلاعات دقیق و قابل اعتماد در مورد وب سایت شما می شود، هیچ چیز بهتر از کنسول جستجوی گوگل نیست. ابزار بازرسی URL، به ویژه، منبع اصلی شما برای تعیین اینکه آیا و آخرین بار گوگل یک صفحه خاص را در وب سایت شما خزیده است یا خیر. این چیزی است که شما انجام می دهید:

• وارد Google Search Console شوید.
• در منوی سمت چپ، ابزار “URL Inspection” را پیدا کنید.
• آدرس صفحه ای را که می خواهید بررسی کنید را در نوار جستجو وارد کنید.

• بخش «نمایه‌سازی صفحه» اطلاعات دقیقی را درباره صفحه نمایش می‌دهد، از جمله آخرین زمان خزیدن آن و اینکه آیا ایندکس شده است.

به خاطر داشته باشید که برای دسترسی به این اطلاعات، باید وب سایت خود را در کنسول جستجوی گوگل تأیید کنید.

تجزیه و تحلیل فایل لاگ

فایل‌های گزارش مانند یک دفترچه خاطرات از وب‌سایت شما هستند و تمام درخواست‌های ارسال شده به سایت شما، از جمله درخواست‌هایی که توسط Googlebot ارائه شده است را ثبت می‌کنند. شما می‌توانید به صورت دستی این فایل‌ها را تجزیه و تحلیل کنید تا ببینید گوگل آخرین بار چه زمانی وب‌سایت شما را خزیده است.

• شما باید به فایل های گزارش وب سایت خود دسترسی داشته باشید. با ارائه دهنده هاست یا تیم فنی خود تماس بگیرید.
• هنگامی که فایل های گزارش را در اختیار دارید، می توانید از نرم افزارهایی مانند اکسل برای باز کردن و تجزیه و تحلیل آنها استفاده کنید.

توجه داشته باشید که این روش می تواند کاملا فنی و پیچیده باشد، بنابراین ممکن است برای همه مناسب نباشد.

نمونه فایل گزارشی که بازدید Googlebot را نشان می دهد

فایل های گزارش معمولاً مانند یک فایل متنی ساده با خطوط داده به نظر می رسند. هر خط نشان دهنده یک درخواست سرور است و نقاط داده در هر خط اغلب با فاصله یا کاما از هم جدا می شوند. خطی در یک فایل گزارش که نشان می دهد Googlebot به سایت شما دسترسی پیدا کرده است ممکن است چیزی شبیه به این باشد:

66.249.66.1 - - [01/Jul/2023:12:01:27 -0700] "GET /your-page.html HTTP/1.1" 200 4523 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

این نمونه ای از ورودی فایل log در فرمت Common Log است. اجازه دهید معنی هر قسمت را توضیح دهم:

• 66.249.66.1: این آدرس IP است که درخواست را انجام می دهد. Google دارای طیف وسیعی از آدرس‌های IP است که از آن برای خزیدن در وب استفاده می‌کند، و این یک آدرس Googlebot شناخته شده است.

• -: اینها متغیرهایی برای شناسه مشتری و شناسه کاربر هستند. در این حالت هیچ کدام ثبت نمی شود.
• [01/Jul/2023:12:01:27 -0700]: این تاریخ و ساعت درخواست است. در این مورد، درخواست در 1 ژوئیه 2023، در ساعت 12:01:27 بعد از ظهر، به وقت تابستانی اقیانوس آرام انجام شد.
• “GET /your-page.html HTTP/1.1”: این خط درخواست است. «GET» روشی است که برای درخواست صفحه استفاده می‌شود، «/your-page.html» نشانی اینترنتی صفحه درخواست شده و «HTTP/1.1» پروتکل مورد استفاده است.
• 200: این کد وضعیت پاسخ است. کد وضعیت 200 به این معنی است که درخواست با موفقیت انجام شد و صفحه تحویل داده شد.
• 4523: این اندازه پاسخ در بایت است.
• “-“: این ارجاع دهنده است، که صفحه ای است که به صفحه مورد درخواست پیوند داده شده است. در این مورد، هیچ ارجاعی وجود ندارد.
• “Mozilla/5.0 (سازگار؛ Googlebot/2.1; +http://www.google.com/bot.html)”: این عامل کاربر است که نرم افزار درخواست کننده را شناسایی می کند. این عامل کاربر خزنده را به عنوان Googlebot شناسایی می کند.

توجه داشته باشید که سرورهای مختلف ممکن است فایل های گزارش خود را به طور متفاوتی پیکربندی کنند، بنابراین همه فایل های گزارش دقیقاً شبیه این نیستند. برخی ممکن است شامل داده های اضافی باشند و برخی ممکن است بخش های خاصی را حذف کنند.

ابزارهای شخص ثالث

اگر جستجو در فایل‌های گزارش کار شما نیست، ابزارهای شخص ثالثی در دسترس هستند که فرآیند را ساده می‌کنند. به عنوان مثال، JetOctopus Log Analyzer یا Semrush Log File Analyzer:

• با استفاده از این ابزارها، شما به سادگی فایل های لاگ خود را آپلود می کنید و ابزار آنالیز را برای شما انجام می دهد.
• سپس به راحتی می توانید ببینید که Googlebot چه زمانی و چند بار از سایت شما بازدید کرده است.

راهنمای کامل من در مورد نحوه انجام تجزیه و تحلیل فایل لاگ با JetOctopus را بررسی کنید.

“سایت:” فرمان در گوگل

در نهایت، یک روش ساده، سریع و البته کمتر دقیق، استفاده از دستور “site:” به طور مستقیم در جستجوی گوگل است. در اینجا نحوه کار آن آمده است:

• به Google بروید و عبارت “site:” را تایپ کنید و سپس آدرس وب سایت خود را در نوار جستجو تایپ کنید.
• اگر گوگل صفحاتی را از وب سایت شما در نتایج جستجو برگرداند، به این معنی است که آن صفحات را خزیده و ایندکس کرده است.

به یاد داشته باشید، این به شما نمی گوید که گوگل چه زمانی وب سایت شما را خزیده است، اما راهی سریع برای بررسی اینکه آیا سایت شما خزیده شده و ایندکس شده است یا خیر.

اگر وب سایت شما خزیده نمی شود چه باید کرد؟

اگر متوجه شدید که وب سایت شما توسط گوگل خزیده نمی شود، نترسید. در اینجا چند مرحله برای ترغیب گوگل به انجام وظیفه آورده شده است:

مراحلی برای ترغیب گوگل به خزیدن وب سایت شما

1. URL خود را به گوگل ارسال کنید: شما می توانید این کار را مستقیماً از طریق ابزار URL Inspection در کنسول جستجوی گوگل انجام دهید. پس از رسیدن به آنجا، می توانید برای هر URL مرتبط با ویژگی که تأیید کرده اید، درخواست نمایه سازی کنید.
2. از نقشه سایت استفاده کنید: این مانند یک نقشه برای وب سایت شما است که به گوگل ارسال می کنید. این می تواند به گوگل کمک کند تا ساختار سایت شما را کشف و درک کند. اطمینان حاصل کنید که نقشه سایت شما به روز شده و به درستی قالب بندی شده است، سپس آن را از طریق کنسول جستجوی گوگل ارسال کنید.
3. کسب (نه ساخت) پیوندهای خارجی: اگر هیچ سایت دیگری به سایت شما پیوند داده نشود، ممکن است Google در کشف آن مشکل داشته باشد. در حالی که نمی توانید مستقیماً کنترل کنید چه کسی به سایت شما پیوند می دهد، می توانید شانس خود را با ایجاد محتوای با کیفیت بالا و قابل اشتراک گذاری افزایش دهید.
4. کیفیت: مطمئن شوید که سایت شما محتوای منحصر به فرد و با کیفیتی ارائه می دهد. EEAT و مفید بودن محتوا هرگز مهمتر از اکنون نبوده است.

من همچنین راهنمای کاملی را در مورد چگونگی وادار کردن گوگل به خزیدن در سایت خود نوشته ام. برای جزئیات بیشتر حتما آن را بررسی کنید.

سوالات متداول (پرسش های متداول) در مورد چگونگی بررسی اینکه آیا گوگل سایت شما را خزیده است یا خیر

در اینجا متداول ترین سوالاتی که در مورد خزیدن (یا خزیدن) گوگل در سایت شما پرسیده می شود وجود دارد.