Google обновил список своих официальных сканеров, добавив имя и информацию об относительно неизвестном сканере, который издатели время от времени видели, но документации по нему ранее не существовало.

Хотя Google добавил официальную документацию для этого сканера, предоставленная информация, похоже, побуждает к дополнительным разъяснениям.

Краулеры для особых случаев

У Google есть несколько видов сканеров (также известных как боты и пауки).

Различные формы сканеров:

• Обычные краулеры
  Эти боты в основном используются для индексации различных видов контента. Но некоторые распространенные сканеры также предназначены для инструментов поискового тестирования, внутреннего использования командой разработчиков Google и сканирования, связанного с искусственным интеллектом.
• Сборщики данных, запускаемые пользователем
  Это боты, которые запускаются пользователями. Сюда входят такие виды использования, как получение каналов или проверка сайта.
• Гусеницы для особых случаев
  Они предназначены для особых случаев, например, для проверки качества веб-страницы мобильных объявлений или для push-уведомлений через API Google. Эти боты не подчиняются глобальным директивам пользовательского агента в файле robots.txt, отмеченным звездочкой.

.

Новая документация сканера предназначена для пользовательского агента Google-Safety. Сканер не новый, но документация новая.

Google-сканер безопасности

Документация сканера Google-Safety для особых случаев используется процессами Google для поиска вредоносных программ.

Уникальный среди сканеров для особых случаев, Google-Safety Crawler полностью игнорирует все директивы robots.txt.

Новая документация для Google-Safety Crawler:

«Пользовательский агент Google-Safety обрабатывает сканирование, связанное со злоупотреблениями, например, обнаружение вредоносного ПО для общедоступных ссылок на ресурсах Google.

Этот пользовательский агент игнорирует правила robots.txt».

"Google-Safety"

Полная строка агента для сканера:

Прочтите новую документацию по пользовательскому агенту Google-Safety на странице Центра поиска Google для сканеров в разделе, посвященном сканерам для особых случаев.

Обзор сканеров и сборщиков Google (пользовательских агентов) – сканеры для особых случаев