Кажется, Google знает или следует за полями заголовка RateLimit для HTTP. Майк Блейзер спросил об этом Джона Мюллера из Google, и Джон ответил, что никогда об этом не слышал, поэтому он предполагает, что Google Search с этим не справляется.

Майк Блейзер спросил: «Соблюдает ли Google HTTP-заголовок x-ratelimit-limit при сканировании веб-сайтов?»

Джон Мюллер ответил: «Я никогда об этом не слышал, так что думаю, это и есть ответ :-). Мы документируем HTTP 429 и 503 для запросов на замедление».

Вот сообщения мастодонт:

Вы можете просмотреть полный справочный документ о том, что Google поддерживает с помощью этих заголовков. здесь.

Обсуждение на форуме ниже мастодонт.