В пятницу Лиззи Сассман из Google обновила справочный документ по управлению краулинговым бюджетом, добавив еще две темы. В частности, Google добавил два новых мифа в документацию по краулинговому бюджету.

(1) Google добавил, что использование noindex не является хорошим способом управления краулинговым бюджетом, но в долгосрочной перспективе может косвенно высвободить краулинговый бюджет.

(2) Кроме того, Google пишет, что страницы, которые обслуживают коды состояния 4xx (кроме 429), не тратят впустую краулинговый бюджет.

Вот где Гугл добавил ихсправа внизу:

Любой сканируемый URL-адрес влияет на краулинговый бюджет, и Google должен просканировать страницу, чтобы найти правило отсутствия индексации.

Тем не менее, noindex поможет вам не вносить вещи в индекс. Если вы хотите, чтобы эти страницы не попали в индекс Google, продолжайте использовать noindex и не беспокойтесь о краулинговом бюджете. Также важно отметить, что если вы удаляете URL-адреса из индекса Google с помощью noindex или иным образом, робот Googlebot может сосредоточиться на других URL-адресах на вашем сайте, а это означает, что noindex может косвенно высвободить часть краулингового бюджета для вашего сайта в долгосрочной перспективе.

Страницы, которые обслуживают коды состояния HTTP 4xx (кроме 429), не тратят впустую краулинговый бюджет. Google попытался просканировать страницу, но получил код состояния и никакого другого контента.

Обсуждение форума на мастодонт.