У Google есть добавлен добавила в свой список сканеров двух новых роботов Google, Google Crawler. К ним относятся GoogleOther Image и GoogleOther Video, которые относятся к категории ботов GoogleOther и используются для сканирования двоичных данных в целях исследований и разработок.

Google написал«Добавлены два новых сканера: GoogleOther Image и GoogleOther Video, которые представляют собой версии GoogleOther, оптимизированные для получения байтов изображений и видео соответственно. При этом мы также обновили список строк пользовательского агента GoogleOther, чтобы лучше отображать наиболее активные версии пользовательского агента.

«Новые сканеры были представлены для лучшей поддержки сканирования двоичных данных, которые можно использовать для исследований и разработок», — добавили в Google.

В апреле 2023 года Google добавила GoogleOther в качестве сканера, «сканера общего назначения, который может использоваться различными группами разработчиков для получения общедоступного контента с веб-сайтов». Гэри Иллес из Google объяснил тогда, что сканер «заменит некоторые другие задачи Googlebot, такие как сканирование исследований и разработок, чтобы освободить часть возможностей сканирования для Googlebot».

Он добавил, что эти боты «используются продуктовыми командами Google для внутреннего построения индекса Google». «Googlebot будет использоваться для создания индексов, GoogleOther будет использоваться для других задач, которые раньше принадлежали Googlebot», — добавил он.

Вы можете найти этих ботов в Документация здесь:

• GoogleOther Image — это версия GoogleOther, оптимизированная для получения URL-адресов общедоступных изображений. Он принадлежит токенам пользовательского агента. GoogleOther-Image и GoogleOther и использует полную строку пользовательского агента GoogleOther-Image/1.0.
• GoogleOther Video — это версия GoogleOther, оптимизированная для получения URL-адресов общедоступных видео. Он является частью токенов пользовательского агента GoogleOther-Video и GoogleOther и использует полную строку пользовательского агента GoogleOther-Video/1.0.

Вот скриншот трех сканеров GoogleOther:

GoogleOther сканирует слишком много?

Вы также можете использовать форму обратной связи по сканированию, указанную ниже. Если есть что-то конкретное, чем нужно поделиться, это прочитают люди, управляющие сканерами Google.

— Джон ? … ? (@JohnMu) 17 мая 2024 г.

Обсуждение на форуме ниже Икс.