آیا گوگل با فایل های Big Robots.txt مشکلی دارد؟

گوگل به موضوع فایل‌های robots.txt می‌پردازد و اینکه آیا این یک تمرین SEO خوب است که آنها را در اندازه معقول نگه دارید.

این موضوع توسط جان مولر، مدافع جستجوی گوگل در جریان پاتوق ساعات اداری سئوی مرکزی جستجوی گوگل که در 14 ژانویه ضبط شده است، بحث شده است.

دیوید زیگر، مدیر SEO برای یک ناشر خبری بزرگ در آلمان، با نگرانی در مورد فایل robots.txt “عظیم” و “پیچیده” به جریان زنده پیوست.

چقدر بزرگ اینجا صحبت می کنیم؟

زیگر می‌گوید بیش از 1500 خط با «انبوهی» از موارد غیر مجاز وجود دارد که در طول سال‌ها رشد می‌کنند.

این موارد غیرمجاز، گوگل را از فهرست‌بندی قطعات HTML و URL‌هایی که از تماس‌های AJAX استفاده می‌کنند جلوگیری می‌کند.

زیگر می‌گوید تنظیم noindex امکان‌پذیر نیست، که راه دیگری برای دور نگه‌داشتن قطعات و URL‌ها از فهرست گوگل است، بنابراین او به پر کردن robots.txt سایت با موارد غیر مجاز متوسل می‌شود.

آیا اثرات منفی سئو وجود دارد که می تواند از یک فایل بزرگ robots.txt ناشی شود؟

این چیزی است که مولر می گوید.

ملاحظات سئو برای فایل های بزرگ Robots.txt

یک فایل robots.txt بزرگ نمی تواند به طور مستقیم هر گونه تأثیر منفی بر سئوی سایت ایجاد کند.

با این حال، نگهداری یک فایل بزرگ سخت تر است، که ممکن است منجر به مشکلات تصادفی در جاده شود.

مولر توضیح می دهد:

هیچ مشکل مستقیم سئو منفی با آن وجود ندارد، اما حفظ آن را بسیار سخت‌تر می‌کند. و فشار تصادفی چیزی که باعث ایجاد مشکل می شود را بسیار آسان تر می کند.

بنابراین فقط به این دلیل که یک فایل بزرگ است به این معنی نیست که مشکل دارد، بلکه ایجاد مشکل را برای شما آسان تر می کند.

زیگر با پرسیدن اینکه آیا مشکلی در مورد درج نشدن نقشه سایت در فایل robots.txt وجود دارد، پیگیری می کند.

مولر می گوید این مشکلی نیست:

«نه. این روش‌های مختلف ارسال نقشه سایت همگی برای ما معادل هستند.»

سپس زیگر چندین سؤال بعدی را مطرح می کند که در بخش بعدی به آنها نگاهی خواهیم انداخت.

آیا گوگل قطعات HTML را تشخیص می دهد؟

زیگر از مولر می‌پرسد که کوتاه‌کردن فایل robots.txt تأثیر سئوی سایت چیست؟ مثلاً حذف همه غیرمجازها.

سوالات زیر مطرح می شود:

  • آیا گوگل قطعات HTML را که به بازدیدکنندگان سایت مرتبط نیستند تشخیص می دهد؟
  • اگر قطعات HTML در robots.txt غیر مجاز نباشند، در فهرست جستجوی گوگل قرار می گیرند؟
  • گوگل چگونه با صفحاتی که از تماس های AJAX استفاده می شود برخورد می کند؟ (مانند عنصر سرصفحه یا پاورقی)

او سوالات خود را با بیان اینکه بیشتر مواردی که در فایل robots.txt او غیرمجاز است، عناصر سرصفحه و پاورقی هستند که برای کاربر جالب نیستند، خلاصه می کند.

مولر می‌گوید اگر این قطعات به طور ناگهانی اجازه فهرست‌بندی داده شوند، دشوار است که دقیقاً بدانیم چه اتفاقی می‌افتد.

مولر توضیح می دهد که رویکرد آزمون و خطا ممکن است بهترین راه برای کشف این موضوع باشد:

گفتن منظور شما در رابطه با آن قطعات سخت است

فکر من این است که سعی کنم بفهمم چگونه از آن URL های قطعه استفاده می شود. و اگر مطمئن نیستید، ممکن است یکی از این URL های قطعه را بردارید و اجازه خزیدن آن را بدهید و به محتوای URL قطعه نگاه کنید و سپس بررسی کنید که در جستجو چه اتفاقی می افتد.

آیا در مورد محتوای نمایه شده در سایت شما تأثیری دارد؟
آیا برخی از آن محتوا به طور ناگهانی در سایت شما قابل یافتن است؟
مشکلی هست یا نه؟

و سعی کنید بر اساس آن کار کنید، زیرا مسدود کردن چیزها توسط robots.txt بسیار آسان است، که در واقع برای نمایه سازی استفاده نمی شوند، و سپس زمان زیادی را صرف نگهداری از این فایل بزرگ robots.txt می کنید، اما در واقع این کار را نمی کند. این مقدار را برای وب سایت خود تغییر دهید.”

ملاحظات دیگر برای ساخت فایل Robots.txt

زیگر آخرین پیگیری را در رابطه با فایل‌های robots.txt دارد و از او می‌پرسد که آیا دستورالعمل‌های خاصی وجود دارد که باید هنگام ساختن یکی از آنها پیروی کرد.

مولر می گوید هیچ قالب خاصی برای دنبال کردن وجود ندارد:

«نه، اساساً به شما بستگی دارد. مانند برخی از سایت ها فایل های بزرگ دارند، برخی از سایت ها فایل های کوچکی دارند، همه آنها باید فقط کار کنند.

ما یک کد منبع باز از تجزیه کننده robots.txt داریم که از آن استفاده می کنیم. بنابراین کاری که می توانید انجام دهید این است که توسعه دهندگان خود را وادار کنید تا آن تجزیه کننده را برای شما اجرا کنند، یا به نوعی آن را تنظیم کنند تا بتوانید آن را آزمایش کنید، و سپس URL های وب سایت خود را با آن تجزیه کننده بررسی کنید تا ببینید کدام URL ها واقعا مسدود می شوند و چه چیزی را تغییر خواهد داد و به این ترتیب می توانید چیزها را قبل از اینکه آنها را زنده کنید آزمایش کنید.

تجزیه کننده robots.txt که مولر به آن اشاره می کند را می توان در Github یافت.

گفتگوی کامل را در ویدئوی زیر بشنوید:


تصویر ویژه: اسکرین شات از YouTube.com/GoogleSearchCentral، ژانویه 2022.