جان مولر، مدافع جستجوی گوگل در پاسخ به سوالی در مورد اینکه چرا ابزارهای سئو همه بک لینک ها را نشان نمی دهند، می گوید که خزیدن در کل وب غیرممکن است.
این در یک نظر در Reddit در موضوعی که توسط یک متخصص سئو ناامید شروع شده است بیان شده است.
آنها می پرسند که چرا همه پیوندهایی که به یک سایت اشاره می کنند توسط ابزار SEO که استفاده می کنند پیدا نمی شوند.
اینکه شخص از کدام ابزار استفاده می کند مهم نیست. همانطور که از مولر می آموزیم، این امکان وجود ندارد هر ابزاری برای کشف 100٪ از لینک های ورودی یک وب سایت.
در اینجا دلیل آن است.
هیچ راهی برای خزیدن در وب “درست” وجود ندارد
مولر می گوید هیچ راه درستی برای خزیدن در وب وجود ندارد زیرا تعداد بی نهایت URL دارد.
هیچ کس منابع لازم برای نگهداری تعداد بی پایان URL در پایگاه داده را ندارد، بنابراین خزنده های وب سعی می کنند تعیین کنند چه چیزی ارزش خزیدن را دارد.
همانطور که مولر توضیح می دهد، این امر به ناچار منجر به خزیدن URL ها به ندرت یا عدم خزیدن می شود.
هیچ راهی عینی برای خزیدن در وب به درستی وجود ندارد.
خزیدن همه آن از نظر تئوری غیرممکن است، زیرا تعداد URL های واقعی بی نهایت است. از آنجایی که هیچ کس نمی تواند تعداد بی نهایت URL را در پایگاه داده نگهداری کند، همه خزنده های وب در مورد آنچه که ارزش خزیدن واقع بینانه دارد، فرضیات، ساده سازی و حدس می زنند.
و حتی در این صورت، برای اهداف عملی، نمی‌توانید تمام آنها را همیشه بخزید، اینترنت اتصال و پهنای باند کافی برای آن ندارد، و اگر بخواهید به طور منظم به صفحات زیادی دسترسی داشته باشید، هزینه زیادی دارد. (برای خزنده و برای صاحب سایت).
گذشته از آن، برخی از صفحات به سرعت تغییر می کنند، برخی دیگر به مدت 10 سال تغییر نکرده اند – بنابراین خزنده ها سعی می کنند با تمرکز بیشتر بر روی صفحاتی که انتظار دارند تغییر کنند، به جای صفحاتی که انتظار دارند تغییر نکنند، در تلاش خود صرفه جویی کنند.
چگونه خزنده های وب تعیین می کنند که چه چیزی ارزش خزیدن را دارد
مولر در ادامه توضیح می دهد که چگونه خزنده های وب، از جمله موتورهای جستجو و ابزارهای سئو، متوجه می شوند که کدام URL ها ارزش خزیدن را دارند.
و سپس، قسمتی را لمس می کنیم که خزنده ها سعی می کنند بفهمند کدام صفحات واقعا مفید هستند.
وب پر از آشغال هایی است که هیچ کس به آنها اهمیت نمی دهد، صفحاتی که به صورت اسپم بی فایده شده اند. این صفحات ممکن است همچنان مرتباً تغییر کنند، ممکن است URL های معقولی داشته باشند، اما مقصد آنها محل دفن زباله است و هر موتور جستجویی که به کاربران خود اهمیت می دهد آنها را نادیده می گیرد.
گاهی اوقات این فقط یک آشغال آشکار نیست. بیشتر و بیشتر، سایت‌ها از نظر فنی خوب هستند، اما از نظر کیفیت به «نوار» نمی‌رسند تا شایستگی بیشتر خزیدن را داشته باشند.»
خزنده های وب با مجموعه محدودی از URL ها کار می کنند
مولر پاسخ خود را به پایان می‌رساند و می‌گوید همه خزنده‌های وب روی یک مجموعه «ساده‌شده» از URLها کار می‌کنند.
از آنجایی که هیچ راه درستی برای خزیدن در وب وجود ندارد، همانطور که قبلاً ذکر شد، هر ابزار SEO روش خاص خود را برای تصمیم گیری در مورد URL هایی دارد که ارزش خزیدن را دارند.
به همین دلیل است که یک ابزار ممکن است بک لینک هایی را پیدا کند که ابزار دیگری آنها را پیدا نکرده است.
بنابراین، همه خزنده‌ها (از جمله ابزارهای سئو) روی یک مجموعه بسیار ساده از URLها کار می‌کنند، آنها باید بررسی کنند که چند وقت یکبار خزیدن، کدام URLها بیشتر خزیده شوند، و کدام قسمت‌های وب را نادیده بگیرند. هیچ قانون ثابتی برای هیچ یک از این موارد وجود ندارد، بنابراین هر ابزاری باید در طول مسیر تصمیمات خود را بگیرد. به همین دلیل است که موتورهای جستجو محتوای متفاوتی فهرست‌بندی می‌کنند، چرا ابزارهای سئو لینک‌های متفاوتی را فهرست می‌کنند، چرا هر معیاری که بر روی آنها ساخته شده است بسیار متفاوت است.
منبع: Reddit
تصویر ویژه: rangizzz/Shutterstock