Google добавил новый сканер в свой список Google Crawlers и пользовательских агентов, он называется GoogleOther. Это описал как «универсальный сканер, который может использоваться различными группами разработчиков для извлечения общедоступного контента с сайтов».

Google объяснил, например, что его можно использовать для разового сканирования для внутренних исследований и разработок. Искатель GoogleOther всегда соблюдает правила robots.txt для своего токена пользовательского агента и глобального пользовательского агента.

и использует те же диапазоны IP-адресов, что и Googlebot.

Токен пользовательского агента — «GoogleOther», а полная строка пользовательского агента — «GoogleOther». Гэри Иллиес из Google объяснил на LinkedIn

что этот новый поисковый робот «заменит некоторые другие задачи робота Googlebot, такие как обход исследований и разработок, чтобы высвободить часть возможностей сканирования для робота Google».

Гэри написал: «Мы добавили новый поисковый робот GoogleOther в наш список поисковых роботов, которые в конечном итоге снимут нагрузку с робота Googlebot. сканирования, мы хотели убедиться, что задания сканирования Googlebot используются только для внутреннего использования для создания индекса, используемого Поиском. Для этого мы добавили новый сканер GoogleOther, который заменит некоторые другие задания робота Googlebot, такие как сканирование исследований и разработок, чтобы освободить некоторые возможности сканирования для робота Google. Новый сканер использует ту же инфраструктуру, что и Googlebot, поэтому у него те же ограничения и функции, что и у Googlebot: ограничения нагрузки на хост, robotstxt (хотя и другой токен пользовательского агента), версия протокола http, размер выборки, что угодно. По сути, это Googlebot под другим именем».

Нет никаких комментариев относительно того, может ли этот сканер использоваться для Google Bard или нет.

Итак, если вы видите этот новый поисковый робот GoogleOther, это то, о чем он.

Я думаю, они должны были назвать его «MiniMeGoogleBot».

Просто уточнение от Гэри:

> используется продуктовыми группами Google для внутреннего построения индекса Google

наоборот: Googlebot используется для построения индекса, GoogleOther — для других задач, ранее принадлежавших Googlebot. — Гэри Кудзири/경리 Illyes (@methode)

20 апреля 2023 г.
например, случайные одноразовые обходы, которые мы использовали для изучения чего-либо. Хотите узнать, сколько сайтов *требуют* заголовок запроса на принятие языка? запустить задание обхода. Раньше это было с googlebot, теперь это будет с GoogleOther.

Пожалуйста, не переусердствуйте, это действительно так скучно. — Гэри Кудзири/경리 Illyes (@methode)

20 апреля 2023 г. Обсуждение форума наLinkedIn