Компания Google недавно представила новый поисковый робот под названием «GoogleOther», предназначенный для снижения нагрузки на Googlebot, его основной поисковый индексатор.

Добавление этого нового поискового робота в конечном итоге поможет Google оптимизировать и упростить операции сканирования.

Поисковые роботы, также известные как роботы или пауки, автоматически обнаруживают и сканируют веб-сайты.

Googlebot отвечает за создание индекса для поиска Google.

GoogleOther — это универсальный поисковый робот, который будет использоваться различными группами разработчиков Google для извлечения общедоступного контента с веб-сайтов.

В Сообщение в LinkedInаналитик поисковой системы Google Гэри Иллиес делится подробностями.

Разделение обязанностей между Googlebot и GoogleOther

Основная цель нового поискового робота GoogleOther — взять на себя второстепенные задачи, которые в настоящее время выполняет робот Googlebot.

Таким образом, Googlebot теперь может сосредоточиться исключительно на построении поискового индекса, используемого поиском Google.

Между тем, GoogleOther будет выполнять другие задачи, такие как сканирование исследований и разработок (R&D), которые не имеют прямого отношения к индексации поиска.

Иллиес заявляет в LinkedIn:

«Мы добавили новый поисковый робот GoogleOther в наш список поисковых роботов, который в конечном итоге снимет нагрузку с Googlebot. Это бесполезное изменение для вас, но тем не менее, я думаю, это интересно.

Поскольку мы оптимизируем то, как и что сканирует робот Googlebot, мы хотели убедиться, что задания сканирования робота Googlebot используются только внутри для построения индекса, используемого Поиском. Для этого мы добавили новый поисковый робот GoogleOther, который заменит некоторые другие функции робота Googlebot, такие как сканирование исследований и разработок, чтобы высвободить часть ресурсов сканирования для робота Googlebot».

GoogleOther наследует инфраструктуру Googlebot

GoogleOther использует ту же инфраструктуру, что и Googlebot, а это означает, что он обладает теми же ограничениями и функциями, включая ограничения нагрузки на хост, файл robots.txt (хотя и с другим токеном пользовательского агента), версию протокола HTTP и размер выборки.

По сути, GoogleOther — это Googlebot, работающий под другим именем.

Последствия для SEO-специалистов и владельцев сайтов

Внедрение GoogleOther не должно существенно повлиять на веб-сайты, поскольку он использует ту же инфраструктуру и ограничения, что и Googlebot.

Тем не менее, это примечательное событие в продолжающихся усилиях Google по оптимизации и упрощению процессов веб-сканирования.

Если вас беспокоит GoogleOther, вы можете отслеживать его следующими способами:

• Анализ журналов сервера: регулярно просматривайте журналы сервера, чтобы идентифицировать запросы, сделанные GoogleOther. Это поможет вам понять, как часто он сканирует ваш сайт и какие страницы посещает.
• Обновить robots.txt: убедитесь, что ваш файл robots.txt обновлен, чтобы включить определенные правила для GoogleOther, если это необходимо. Это поможет вам контролировать его доступ и поведение при сканировании вашего веб-сайта.
• Отслеживайте статистику сканирования в Google Search Console: следите за статистикой сканирования в Google Search Console, чтобы отслеживать любые изменения в частоте сканирования, бюджете сканирования или количестве проиндексированных страниц с момента появления GoogleOther.
• Отслеживайте эффективность сайта: регулярно отслеживайте показатели производительности вашего веб-сайта, такие как время загрузки, показатель отказов и вовлеченность пользователей, чтобы выявить любые потенциальные корреляции со сканированием GoogleOther. Это поможет вам определить, вызывает ли новый поисковый робот какие-либо непредвиденные проблемы на вашем веб-сайте.

---

Источник: Google

Рекомендуемое изображение: BestForBest/Shutterstock