گوگل فهرست خزنده‌های رسمی خود را با افزودن نام و اطلاعات یک خزنده نسبتاً ناشناخته که ناشران هرازگاهی آن را مشاهده می‌کردند، به‌روزرسانی کرد، اما قبلاً هیچ سندی برای آن وجود نداشت.
اگرچه گوگل اسناد رسمی را برای این خزنده اضافه کرده است، به نظر می رسد اطلاعات ارائه شده شفاف سازی بیشتری را تشویق می کند.
خزنده های مورد خاص
گوگل چندین نوع خزنده (همچنین به عنوان ربات و عنکبوت شناخته می شود) دارد.
اشکال مختلف خزنده ها عبارتند از:
- خزنده های معمولی
این ربات ها بیشتر برای نمایه سازی انواع مختلف محتوا استفاده می شوند. اما برخی از خزنده‌های رایج نیز برای ابزارهای تست جستجو، استفاده از تیم محصول داخلی گوگل و خزیدن مرتبط با هوش مصنوعی هستند. - واکشی‌های راه‌اندازی شده توسط کاربر
اینها ربات هایی هستند که توسط کاربران راه اندازی می شوند. این شامل استفاده هایی مانند واکشی فیدها یا تأیید سایت می شود. - خزنده های مورد خاص
این موارد برای موارد خاص مانند بررسی کیفیت صفحه وب تبلیغات تلفن همراه یا پیام‌های اعلان فشار از طریق Google API هستند. این ربات‌ها از دستورالعمل‌های عامل کاربر جهانی در robots.txt که با ستاره علامت‌گذاری می‌شوند، اطاعت نمی‌کنند.
.
اسناد خزنده جدید برای نماینده کاربر Google-Safety است. خزنده جدید نیست اما مستندات جدید هستند.
Google-Safety Crawler
اسناد موجود در خزنده Google-Safety خزنده‌های ویژه مواردی است که توسط فرآیندهای Google برای یافتن بدافزار استفاده می‌شود.
Google-Safety Crawler که در بین خزنده‌های مورد خاص منحصر به فرد است، تمام دستورالعمل‌های robots.txt را کاملاً نادیده می‌گیرد.
اسناد جدید برای Google-Safety Crawler:
«نماینده کاربر Google-Safety خزیدن‌های مربوط به سوء استفاده را مدیریت می‌کند، مانند کشف بدافزار برای پیوندهای پست شده عمومی در دارایی‌های Google.
این عامل کاربر قوانین robots.txt را نادیده می گیرد.
"Google-Safety"
رشته کامل عامل برای خزنده:
اسناد جدید برای عامل کاربر Google-Safety را در صفحه جستجوی مرکزی Google برای خزنده‌ها در بخش اختصاص داده شده به خزنده‌های مورد خاص بخوانید.
نمای کلی خزنده‌ها و واکشی‌های Google (عامل‌های کاربر) – خزنده‌های مورد خاص