Google обновил справочную документацию специально для Гугл-сканер и добавил сканер безопасности Google в список сканеров для особых случаев. Этот сканер не нов, но Google решил добавить его, потому что за последний год получил «много вопросов» об этом сканере.

Сканер безопасности Google работает под полной строкой пользовательского агента «Google-Safety».

Пользовательский агент безопасности Google обрабатывает сканирование, связанное со злоупотреблениями, например обнаружение вредоносного ПО для общедоступных ссылок на веб-сайтах Google.

Пользовательский агент безопасности Google игнорирует правила robots.txt.

Почему robots.txt игнорируется? Я полагаю, потому что ему необходимо проверять сайты и каталоги, которые могут быть небезопасными для защиты искателей и пользователей?

Обсуждение на форуме ниже Икс.

Фото предоставлено Лиззи.