Google теперь делится диапазонами IP-адресов Googlebot для сборщиков, запускаемых пользователем. Сборщики, инициируемые пользователем, — это инструменты и функции продуктов Google, где конечный пользователь запускает выборку.

Google сказал«Добавлен дополнительный список IP-адресов для сборщиков, которые контролируются продуктами Google, в отличие, например, от скрипта приложений, управляемого пользователем. Новый список, user-triggered-fetchers-google.json, содержит диапазоны IP-адресов, которые используется уже давно».

Гугл добавил в страница подтверждения Googlebot эта секция:

Сборщики, контролируемые Google, берут начало с IP-адресов в объекте user-triggered-fetchers-google.json и преобразуются в имя хоста google.com. IP-адреса в объекте user-triggered-fetchers.json преобразуются в имена хостов gae.googleusercontent.com. Эти IP-адреса используются, например, если сайт, работающий в Google Cloud (GCP), имеет функцию, которая требует получения внешних RSS-каналов по запросу пользователя этого сайта.

Вы можете получить эти диапазоны IP-адресов из пользовательские-триггеры-fetchers.json и триггерные пользователем сборщики-google.json.

В Google заявили, что добавили эти данные, потому что «стало технически возможным экспортировать диапазоны».

Гугл также удаленный вариант AdsBot Mobile Web для iOS из список сканеров Google.

Обсуждение на форуме Икс.