Не используйте 403 или 404 для ограничения скорости | Центральный блог поиска Google | Разработчики Google
пятница, 17 февраля 2023 г. За последние несколько месяцев мы заметили всплеск числа владельцев веб-сайтов и некоторых сетей доставки контента (CDN), пытающихся использовать 404 и другие 4xx ошибки клиента (но не 429), чтобы попытаться снизить скорость сканирования Googlebot. Краткая версия этого сообщения в блоге: пожалуйста, не делайте этого; у нас есть документация о том, как […]