گری ایلیس، تحلیلگر گوگل، یک مسئله مهم برای خزنده ها را برجسته کرده است: پارامترهای URL.
در یکی از قسمتهای اخیر پادکست Search Off The Record گوگل، Illyes توضیح داد که چگونه پارامترها میتوانند URLهای بیپایانی برای یک صفحه ایجاد کنند و باعث ناکارآمدی خزیدن شوند.
Illyes جنبه های فنی، تاثیر SEO و راه حل های بالقوه را پوشش داد. او همچنین رویکردهای گذشته گوگل را مورد بحث قرار داد و به اصلاحات آینده اشاره کرد.
این اطلاعات به ویژه برای سایتهای بزرگ یا تجارت الکترونیک مرتبط است.
مشکل URL بی نهایت
ایلیز توضیح داد که پارامترهای URL می توانند تعداد بی نهایت URL را برای یک صفحه ایجاد کنند.
او توضیح می دهد:
از نظر فنی، میتوانید این پارامترها را در یک تقریباً نامتناهی – خوب، عملاً بینهایت – به هر URL اضافه کنید، و سرور فقط آنهایی را که پاسخ را تغییر نمیدهند، نادیده میگیرد.»
این مشکل برای خزنده های موتورهای جستجو ایجاد می کند.
در حالی که این تغییرات ممکن است به محتوای یکسانی منجر شود، خزندهها نمیتوانند بدون بازدید از هر URL متوجه این موضوع شوند. این می تواند منجر به استفاده ناکارآمد از منابع خزیدن و مشکلات نمایه سازی شود.
سایت های تجارت الکترونیکی که بیشترین تأثیر را دارند
این مشکل در بین وبسایتهای تجارت الکترونیک رایج است، که اغلب از پارامترهای URL برای ردیابی، فیلتر کردن و مرتبسازی محصولات استفاده میکنند.
به عنوان مثال، یک صفحه محصول واحد ممکن است دارای چندین تغییر URL برای گزینه های رنگی، اندازه ها یا منابع ارجاع مختلف باشد.
ایلیز خاطرنشان کرد:
“از آنجا که شما فقط می توانید پارامترهای URL را به آن اضافه کنید … همچنین به این معنی است که وقتی در حال خزیدن و خزیدن به معنای درست مانند “دنبال کردن پیوندها” هستید، همه چیز بسیار پیچیده تر می شود.”
زمینه تاریخی
گوگل سال ها با این مشکل دست و پنجه نرم کرده است. در گذشته، گوگل یک ابزار URL Parameters را در کنسول جستجو ارائه میکرد تا به مدیران وبسایت کمک کند تا مشخص کنند کدام پارامترها مهم هستند و کدامیک را میتوان نادیده گرفت.
با این حال، این ابزار در سال 2022 منسوخ شد و برخی از سئوکاران را نگران نحوه مدیریت این موضوع کرد.
راه حل های بالقوه
در حالی که ایلیز راه حل قطعی ارائه نکرد، او به رویکردهای بالقوه اشاره کرد:
- گوگل در حال بررسی راه هایی برای مدیریت پارامترهای URL، احتمالاً با توسعه الگوریتم هایی برای شناسایی URL های اضافی است.
- ایلیز پیشنهاد کرد که ارتباط شفافتر صاحبان وبسایت در مورد ساختار URL آنها میتواند کمک کند. او خاطرنشان کرد: «ما فقط میتوانیم به آنها بگوییم، خوب، از این روش برای مسدود کردن فضای URL استفاده کنید».
- Illyes اشاره کرد که فایلهای robots.txt میتوانند بیشتر برای هدایت خزندهها مورد استفاده قرار گیرند. او گفت: “با robots.txt، به طرز شگفت آوری منعطف است که چه کاری می توانید با آن انجام دهید.”
مفاهیم برای سئو
این بحث چندین پیامد برای سئو دارد:
- خزیدن بودجه: برای سایتهای بزرگ، مدیریت پارامترهای URL میتواند به صرفهجویی در بودجه خزیدن کمک کند، و تضمین کند که صفحات مهم خزیده شده و فهرستبندی میشوند.
- معماری سایت: توسعه دهندگان ممکن است نیاز به تجدید نظر در نحوه ساختار URL ها، به ویژه برای سایت های تجارت الکترونیکی بزرگ با تنوع محصولات متعدد داشته باشند.
- ناوبری وجهی: سایتهای تجارت الکترونیکی که از ناوبری وجهی استفاده میکنند باید به این موضوع توجه داشته باشند که چگونه این امر بر ساختار URL و خزیدن آن تأثیر میگذارد.
- برچسب های متعارف: استفاده از برچسبهای متعارف میتواند به Google کمک کند تا بفهمد کدام نسخه URL باید اصلی در نظر گرفته شود.
به طور خلاصه
مدیریت پارامترهای URL برای موتورهای جستجو دشوار است.
گوگل در حال کار روی آن است، اما همچنان باید ساختارهای URL را زیر نظر داشته باشید و از ابزارهایی برای هدایت خزنده ها استفاده کنید.
بحث کامل را در قسمت پادکست زیر بشنوید: