گزارش های دسترسی به سرور یک منبع سئو ارزشمند اما اغلب نادیده گرفته می شوند.
آنها هر درخواستی را برای یک وب سایت دریافت می کنند، یک نمای کامل و بدون فیلتر از نحوه تعامل کاربران و ربات ها با سایت ارائه می دهند و بینش های مهمی را برای تقویت استراتژی SEO شما ارائه می دهند.
بیاموزید که چرا گزارش های دسترسی به سرور برای SEO ضروری هستند، چگونه آنها را تجزیه و تحلیل کنید و چگونه از بینش ها و تجسم ها برای بهبود استراتژی سئو خود استفاده کنید.
چرا گزارش های دسترسی به سرور برای تجزیه و تحلیل پیشرفته SEO ضروری هستند
بسیاری از ابزارهای محبوب تجزیه و تحلیل وب و ردیابی، بینش های ارزشمندی را ارائه می دهند، اما محدودیت های ذاتی دارند.
آنها عمدتاً تعاملات جاوا اسکریپت را ضبط می کنند یا به کوکی های مرورگر متکی هستند، به این معنی که برخی از تعاملات بازدیدکننده را می توان از دست داد.
به طور پیش‌فرض، هدف ابزارهایی مانند Google Analytics فیلتر کردن بیشتر ترافیک غیرانسانی و درخواست‌های گروهی در جلسات نگاشت شده به کانال‌ها است.
گزارش‌های دسترسی تمام بازدیدهای سرور را ردیابی می‌کنند و داده‌ها را هم روی کاربران انسانی و هم از کاربران ربات ضبط می‌کنند. این یک دید واضح و بدون فیلتر از ترافیک سایت می دهد و تجزیه و تحلیل گزارش را به ابزاری کلیدی برای سئو تبدیل می کند، صرف نظر از اینکه کاربران چگونه با سایت تعامل دارند.
آناتومی ورودی ورود به سیستم دسترسی به سرور
یک ورودی گزارش دسترسی کامل به سرور ممکن است به شکل زیر باشد:
192.168.1.1 - - (10/Oct/2023:13:55:36 +0000) "GET /about-us.html HTTP/1.1" 200 1024 "https://www.example.com/home" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 0.237این ورودی نشان دهنده یک درخواست واحد به سرور است و شامل موارد زیر است:
- آدرس IP:
192.168.1.1- آدرس IP مشتری را شناسایی می کند.
- مهر زمان:
(10/Oct/2023:13:55:36 +0000)- تاریخ و زمان درخواست را نشان می دهد.
- روش HTTP:
GET- نوع درخواست را مشخص می کند.
- URL درخواستی:
/about-us.html- صفحه در حال دسترسی
- پروتکل HTTP:
HTTP/1.1- نسخه پروتکل مورد استفاده برای درخواست.
- کد وضعیت:
200- درخواست موفقیت آمیز را نشان می دهد.
- بایت منتقل شد:
1024- اندازه داده ارسال شده در پاسخ.
- URL ارجاع دهنده:
https://www.example.com/home- صفحه ای که بازدید کننده از آن آمده است.
- عامل کاربر:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)- Googlebot را به عنوان مشتری شناسایی می کند.
- زمان پاسخگویی:
0.237- زمان برای پاسخگویی سرور صرف شده است.
با تجزیه و تحلیل هر جزء، سئوکاران می توانند:
- رفتار کاربر و ربات را درک کنید.
- مسائل فنی را شناسایی کنید.
- برای بهبود عملکرد سئو تصمیمات مبتنی بر داده بگیرید.
مشاهده دانه ای در فعالیت ربات
گزارش‌ها به ویژه برای ردیابی فعالیت ربات‌ها مفید هستند، زیرا نشان می‌دهند خزنده‌های موتور جستجو چگونه و چه زمانی با صفحات خاصی در یک وب‌سایت تعامل دارند.
دانستن اینکه Googlebot، Bingbot یا سایر موتورهای جستجو به دفعات در سایت شما خزیده می‌کنند، می‌تواند به شناسایی الگوها و تعیین دقیق صفحاتی که توسط ربات‌ها اولویت دارند – یا نادیده گرفته می‌شوند، کمک کند، و همچنین صفحات با ارزش را برای «تخصیص بودجه خزیدن» بهتر شناسایی کند.
گزارش های دسترسی می توانند به شما در پاسخ به سوالاتی مانند:
- چه نوع محتوایی بیشتر توسط Googlebot خزیده می شود؟
- چه سهمی از درخواست‌های کلی در یک نوع صفحه خاص قرار می‌گیرد و چگونه با سهم کلی URLها مقایسه می‌شود؟
- آیا صفحات اولویت دار به دفعات مورد نیاز خزیده می شوند؟
- آیا URL هایی وجود دارند که اصلاً خزیده نمی شوند؟
- آیا الگوهای درخواست ربات برای انواع خاصی از محتوا با درخواست‌های سایر عوامل کاربر و ارجاع‌دهنده‌ها مطابقت دارد؟ آیا می توان بینشی از تفاوت ها به دست آورد؟
- آیا برخی از URL ها سهم نامتناسبی از درخواست های خزیدن دارند؟
- آیا برخی از محتوای اولویت دار توسط ربات ها نادیده گرفته می شود؟
- چند درصد از کل URL های قابل فهرست بندی توسط Googlebot درخواست می شود؟
اگر متوجه شدید که صفحات با اولویت بالا یا کل بخش‌های سایت توسط ربات‌ها نادیده گرفته می‌شوند، ممکن است زمان بررسی معماری اطلاعات، توزیع لینک‌های داخلی یا سایر مسائل فنی فرا رسیده باشد.
دریافت خبرنامه که بازاریابان به آن اعتماد دارند.
شرایط را ببینید.
کشف فرصت‌های کارآمدی خزیدن
درک و نظارت بر رفتار ربات های موتور جستجو برای سایت های بزرگتر بسیار مهم است.
در ترکیب با ابزارهای دیگر، مانند کنسول جستجوی گوگل (GSC)، گوگل آنالیتیکس (GA) و BigQuery، گزارش‌های سرور می‌توانند به شما کمک کنند تا نمای سرتاسری از قیف جستجوی ارگانیک خود بسازید و به شناسایی کمبودها کمک کنند.
برای یک سایت تجارت الکترونیک بزرگتر، این می تواند شامل تجزیه و تحلیل سطح سایت یا نوع صفحه باشد که زنجیره کامل را در نظر می گیرد، از جمله:
- تعداد کل URL (CMS، پایگاه داده).
- تعداد URL شناخته شده (GSC).
- URL های خزیده شده (GSC، نقشه های سایت XML، گزارش های سرور).
- URL های نمایه شده (GSC).
- نشانی‌های اینترنتی در حال نمایش (GSC – BigQuery).
- URL هایی که بازدید/کلیک می کنند (GA، GSC – BigQuery، گزارش سرور).
- تبدیل (GA).
تجزیه و تحلیل این زنجیره به شناسایی مشکلات و راهنمایی خزنده‌ها برای اولویت‌بندی نشانی‌های وب مهم کمک می‌کند و در عین حال موارد غیرضروری مانند موارد تکراری یا محتوای کم ارزش را حذف می‌کند تا در بودجه خزیدن صرفه‌جویی شود.
نمونه هایی از تجزیه و تحلیل گزارش دسترسی به سرور برای SEO
نظارت بر فعالیت خزیدن در طول زمان
از نمودارهای خطی برای نشان دادن روند بازدید از ربات استفاده کنید که به تشخیص تغییرات در رفتار ربات در طول زمان کمک می کند.
کاهش شدید بازدیدهای ربات Google ممکن است نشان دهنده مشکلی باشد که نیاز به بررسی دارد، در حالی که جهش ها ممکن است نشان دهنده تغییر کد باشد که Googlebot را وادار به خزیدن مجدد سایت کند.
تشخیص مسائل فنی سئو از طریق نمودارهای توزیع خطا
نمودارهای توزیع خطا که خطاهای 404 یا 500 را دنبال می کنند، می توانند نظارت بر خطا را ساده کنند. تجسم خطاها در طول زمان یا توسط خوشه URL به شناسایی مشکلات تکرار شونده کمک می کند.
این می تواند برای عیب یابی 500 خطا که فقط در ساعات اوج مصرف رخ می دهد و به مشکلات عملکرد پلت فرم مربوط می شود، ارزشمند باشد که ممکن است به راحتی قابل تکرار نباشد.
ابزارهایی مانند BigQuery، ELK Stack یا اسکریپت‌های سفارشی می‌توانند به خودکارسازی جمع‌آوری، تجزیه و تحلیل و هشدارهای بی‌درنگ برای افزایش درخواست‌ها، خطاهای 404 یا 500 و رویدادهای دیگر کمک کنند.
شناسایی فعالیت ناخواسته ربات (فیلتر ربات)
همه ترافیک ربات ها مفید نیستند. ربات‌ها و خراش‌دهنده‌های مخرب می‌توانند پرهزینه و مضر باشند، سرورها را با درخواست‌ها فراگیر کرده و باعث فشار سرور، از جمله مسائل دیگر، شوند.
از گزارش های دسترسی به سرور برای شناسایی ترافیک ناخواسته ربات و تنظیم مکانیسم های فیلتر IP یا مسدود کردن ربات استفاده کنید.
به عنوان مثال، نظارت بر دسترسی مکرر از آدرس‌های IP خاص یا ربات‌های غیر موتور جستجو به شناسایی ربات‌های بالقوه خراش‌دهنده، عوامل مخرب، هوش مصنوعی یا فعالیت‌های رقیب کمک می‌کند.
محدود کردن نرخ یا حتی مسدود کردن ربات‌های ناخواسته، بار سرور را کاهش می‌دهد، از محتوا محافظت می‌کند و به سرور اجازه می‌دهد تا منابع را روی تعاملات ارزشمند کاربر و ربات متمرکز کند.
نمونه های واقعی از تجزیه و تحلیل ورود به سیستم
سایت تجارت الکترونیک: بهینه سازی کارایی خزیدن و اولویت های فهرست بندی
پس زمینه
یک وب‌سایت تجارت الکترونیک با کاتالوگ محصولات وسیعی که صدها دسته را در بر می‌گیرد، برای حفظ سطح مطلوبی از بازدیدهای ارگانیک از صفحات مهم محصول تلاش می‌کند، زیرا به‌اندازه کافی سریع ایندکس نمی‌شوند یا به‌روزرسانی‌های محتوا دوباره خزیده نمی‌شوند.
چالش
ابزارهای تجزیه و تحلیل وب بازاریابی بینش لازم را برای مشخص کردن دلایل ریشه ای برای عملکرد ضعیف صفحه ارائه نکردند و باعث شد تیم SEO به گزارش های دسترسی به سرور روی بیاورد.
راه حل
با استفاده از گزارش‌های دسترسی به سرور، این تیم تجزیه و تحلیل کرد که کدام URLها اغلب خزیده می‌شوند و الگوهایی را در رفتار ربات شناسایی کردند.
آنها درخواست‌های ربات را در انواع مختلف صفحه (مانند محصولات، دسته‌ها و صفحات تبلیغاتی) ترسیم کردند و متوجه شدند که ربات‌ها صفحات ثابتی را با کمترین به‌روزرسانی در حال خزیدن بیش از حد هستند در حالی که محتوای دارای اولویت بالا را ندارند.
این تیم با داشتن این بینش ها:
- تنظیمات پیوند داخلی را برای ایجاد مسیرهای خزیدن جدید به صفحات با اولویت بالاتر اجرا کرد.
- برچسب‌های noindex، nofollow را به برخی از صفحات کم ارزش (به عنوان مثال، صفحات فروش فصلی یا محتوای بایگانی شده) اضافه کرد تا بودجه خزیدن را به دور از این URL ها هدایت کند.
- چندین نوع فیلتر جستجو در robots.txt غیرمجاز است.
- نقشه های سایت XML پویا را برای صفحات محصول تازه اضافه شده یا به روز شده ایجاد کرد.
نتایج
این تغییرات منجر به توزیع مطلوب‌تر درخواست‌های خزیدن شد که منجر به کشف و نمایه‌سازی محصولات جدید در عرض چند ساعت یا چند روز شد.
این باعث بهبود دید ارگانیک و ترافیک صفحات محصول شد.
شرکت رسانه: کاهش ترافیک ناخواسته ربات و کاهش بار سرور
پس زمینه
یک وب سایت ناشر رسانه بارهای سرور بالایی را تجربه کرد که منجر به کندی زمان پاسخگویی و قطعی های گاه به گاه سایت شد.
این سایت به‌روزرسانی‌های مکرر محتوا را منتشر کرد، از جمله مقالات خبری، پست‌های وبلاگ و رسانه‌های تعاملی، که نمایه‌سازی سریع و عملکرد پایدار را بسیار مهم می‌کرد.
چالش
گمان می رفت که ترافیک سنگین ربات بر منابع سرور فشار وارد می کند که منجر به افزایش تأخیر و توقف گاه به گاه می شود.
راه حل
از طریق تجزیه و تحلیل گزارش‌های سرور، مشخص شد که ربات‌های غیر موتور جستجو – مانند خراش‌ها و خزنده‌های سرویس‌های شخص ثالث، و همچنین ربات‌های مخرب – بخش قابل توجهی از درخواست‌های کلی را تشکیل می‌دهند.
این تیم الگوهایی را از محدوده IP خاص و عوامل کاربر ربات شناسایی کرد که با خزنده‌های تهاجمی و مخرب مرتبط بودند و:
- آدرس‌های IP مشکل‌ساز مسدود شده، و همچنین دسترسی محدود به ربات‌های خاص از طریق فایل robots.txt.
- محدود کردن نرخ برای عوامل کاربر خاصی که سرور را بیش از حد بارگذاری می کنند، معرفی شده است.
- هشدارهای بی‌درنگ را برای افزایش ترافیک غیرمعمول تنظیم کنید، به تیم اجازه می‌دهد به سرعت به افزایش ترافیک ناخواسته ربات پاسخ دهد.
نتایج
سایت ناشر اخبار به میزان قابل توجهی بار سرور را کاهش داد و زمان بارگذاری صفحه را بهبود بخشید.
با کاهش فشار سرور، ربات‌های موتور جستجو و کاربران انسانی راحت‌تر به محتوا دسترسی پیدا کردند، که منجر به بهبود خزیدن و نمایه‌سازی و تعامل کاربر شد.
استفاده از گزارش های دسترسی به سرور برای بینش های پیشرفته SEO
گزارش‌های دسترسی به سرور، عمقی از داده‌ها را در اختیار سئو می‌گذارند که ابزارهای بازاریابی وب و تحلیل سنتی به سادگی نمی‌توانند ارائه دهند.
با گرفتن بینش خام و فیلتر نشده در مورد تعاملات کاربر و ربات، گزارش‌های سرور فرصت‌های جدیدی را برای بهینه‌سازی توزیع خزیدن، بهبود SEO فنی و به دست آوردن درک دقیق‌تری از رفتار ربات باز می‌کنند.