در اواخر آوریل، گوگل بی سر و صدا لیست خزنده های وب خود را به روز کرد تا افزودنی جدیدی را به آن اضافه کند – GoogleOther. گوگل دائماً خود را با تغییرات الگوریتم روزانه، بهبود در سیستم‌های امنیتی و جستجو و موارد دیگر به‌روزرسانی می‌کند، بنابراین جای تعجب نیست که این به‌روزرسانی به جز پست LinkedIn تحلیلگر گری ایلیس که بیان می‌کند، هیچ مانعی برای اعلام آن نداشته باشد:
ما یک ربات جدید به نام GoogleOther را به لیست ربات‌های خود اضافه کرده‌ایم که در نهایت باعث تسکین Googlebot می‌شود. این یک تغییر غیر جراحی برای شما است، اما به نظر من جالب است. همانطور که ما نحوه و آنچه Googlebot خزیدن را بهینه می کنیم، چیزی که می خواستیم اطمینان حاصل کنیم این بود که کارهای خزیدن Googlebot فقط به صورت داخلی برای ایجاد فهرستی که توسط جستجو استفاده می شود استفاده می شود. برای انجام این کار، یک ربات جدید به نام GoogleOther اضافه کرده‌ایم که جایگزین برخی از وظایف دیگر Googlebot مانند خزیدن تحقیق و توسعه می‌شود تا مقداری از ظرفیت خزیدن Googlebot را آزاد کند.
GoogleOther به لیست ربات‌ها اضافه شد و برای کاهش فشاری که سایر ربات‌های خزنده، به‌ویژه Googlebot تحت آن هستند، طراحی شده است. به عنوان یکی از برجسته ترین موتورهای جستجو، گوگل بیش از 99000 جستجو را در هر ثانیه یا بیش از 8.5 میلیارد جستجو در روز انجام می دهد و با این سطح از ترافیک، فشار روی ربات های آن برای فهرست بندی موثر و کارآمد میلیون ها وب سایت برای پاسخگویی به این جستجوها در حال افزایش است. هر روز. با الگوریتم‌های جدید مبتنی بر هوش مصنوعی و یادگیری ماشینی، Googlebot بیش از هر زمان دیگری تحت فشار و فشار برای ارائه خزیدن دقیق و کامل وب‌سایت است.
GoogleOther به عنوان راهی برای کاهش فشار راه‌اندازی شد و یک ربات خزنده عمومی را ارائه کرد که بر اساس دستورالعمل‌ها و پروتکل‌های ربات اصلی Google اجرا می‌شود، اما منابع را برای ربات‌های اصلی آزاد می‌کند. فهرست موجود در سایت توسعه دهندگان Googlebot را به صورت زیر نشان می دهد:
یک ربات عمومی که می تواند توسط تیم های مختلف محصول برای بازیابی محتوای در دسترس عموم از سایت ها استفاده شود. به عنوان مثال، می توان از آن برای خزیدن یکباره برای تحقیق و توسعه داخلی استفاده کرد.
این ربات دارای محدودیت‌ها و ویژگی‌های یکسانی است، از جمله robots.txt، محدودیت‌های بار میزبان، نسخه پروتکل HTTP یکسان، و اندازه‌های واکشی، که عملاً این ربات را همانند Googlebot، اما با نامی متفاوت، می‌سازد. برای وب مسترها، این بدان معناست که تغییرات بسیار کمی وجود دارد یا باید انجام شود. فقط هر از چند گاهی یک ربات جدید ظاهر می شود.
برای کسب اطلاعات بیشتر در مورد اینکه گوگل چگونه وب سایت شما را مشاهده می کند یا برای کمک به تنظیم وب سایت شما به گونه ای که نه تنها برای Google بلکه برای سایر موتورهای جستجو نیز بهینه شود، ما اینجا هستیم تا به شما کمک کنیم. برای کسب اطلاعات بیشتر فقط تماس بگیرید.