Google выделяет каждому имени хоста свой собственный бюджет сканирования. Это означает, что каждый домен, поддомен и т. д. имеет свой собственный краулинговый бюджет.

Об этом говорилось в комментариях в LinkedIn Сообщение, в котором Тони Маккрит задавал вопросы о бюджете сканирования Google о сканировании страницы в домене A, которая загружает ресурс из домена B (другой сервер).

Джон Мюллер из Google ответил: «Они независимы».

Тогда бывший сотрудник Google Педро Диас написал: «Афаик, сопоставление происходит по имени хоста, верно? Таким образом, даже в пределах одного домена несколько поддоменов могут иметь свои собственные ограничения скорости сканирования».

Гэри Иллис из Google подтвердил точность этого утверждения и ответил: «Правильно».

Вот сообщение:

Дополнительную информацию о бюджете сканирования см. этот справочный документ Google.

Обсуждение на форуме ниже LinkedIn.