Google предостерегает от использования 404 и других ошибок состояния клиентского сервера 4xx, таких как 403, с целью установки ограничения скорости сканирования для робота Googlebot. «Пожалуйста, не делайте этого», — говорит Гэри Иллиес из команды Google Search Relations. написал.

Почему уведомление. В последнее время увеличилось количество сайтов и CDN, использующих эти методы, чтобы попытаться ограничить сканирование Googlebot. «За последние несколько месяцев мы заметили всплеск числа владельцев веб-сайтов и некоторых сетей доставки контента (CDN), пытающихся использовать 404 и другие 4xx ошибки клиента (но не 429), чтобы попытаться снизить скорость сканирования Googlebot», — написал Гэри Иллиес.

Что делать вместо этого. У Google есть подробный справочный документ как раз на тему сокращения сканирования роботом Googlebot вашего сайта. Рекомендуемый подход — использовать настройки скорости сканирования Google Search Console, чтобы настроить скорость сканирования.

Google объяснил: «Чтобы быстро снизить скорость сканирования, вы можете изменить скорость сканирования Googlebot в Search Console. Изменения, внесенные в этот параметр, обычно отражаются в течение нескольких дней. Чтобы использовать этот параметр, сначала подтвердите право собственности на сайт. Убедитесь, что вы не устанавливаете для скорости сканирования значение, слишком низкое для нужд вашего сайта. Узнать больше о что значит краулинговый бюджет для робота Googlebot. Если Настройки скорости сканирования недоступен для вашего сайта, подать специальный запрос чтобы уменьшить скорость сканирования. Вы не можете запросить увеличение скорости сканирования».

Если вы не можете этого сделать, Google затем говорит: «Снизьте скорость сканирования на короткий период времени (например, на пару часов или 1-2 дня), затем верните информационную страницу с ошибкой 500, 503 или 429 Код состояния ответа HTTP».

Почему мы заботимся. Если вы заметили проблемы со сканированием, возможно, ваш хостинг-провайдер или CDN недавно применили эти методы. Вы можете отправить им запрос в службу поддержки, чтобы показать им сообщение в блоге Google по этой теме, чтобы убедиться, что они не используют ошибки 404 или 403 для снижения скорости сканирования.