Устаревшая функция контроля скорости сканирования вашего веб-сайта Google перестанет работать 8 января 2024 года. Эта функция была запущена 15 лет назад, но Google так и не перенес ее в новую версию Search Console. Гэри Иллис из Google сказал: «С улучшениями, которые мы внесли в нашу логику сканирования и другие инструменты, доступные издателям, их полезность исчезла».
Гэри отметил, как инструмент медленно реагировал на изменение настроек. Фактически, Google сказал нам много лет назад, что запуск может занять целый день, а к тому времени ваш сервер может быть поджарен (ладно, шучу над тостом). Гэри писал: «Инструмент ограничения скорости действовал гораздо медленнее; на самом деле, возможно, потребовался целый день, чтобы новые ограничения были применены к сканированию».
Он также сказал, что очень немногие владельцы сайтов использовали его, и сказал, что когда они его использовали, он на самом деле не делал того, чего они от него ожидали. «Однако, к счастью, владельцам сайтов редко приходилось прибегать к использованию этого инструмента, а те, кому это приходилось, во многих случаях устанавливали скорость сканирования на минимум».
Google также устанавливает более низкую минимальную скорость сканирования Googlebot, «сопоставимую со старыми ограничениями скорости сканирования», объяснил Гэри. Это делается для того, чтобы «продолжать соблюдать настройки, которые некоторые владельцы сайтов установили в прошлом, если интерес к поиску низкий, и наши сканеры не тратят попусту пропускную способность сайта», — сказал он.
«Робот Googlebot реагирует на то, как сайт — или, точнее, сервер, обслуживающий сайт, — отвечает на HTTP-запросы робота Googlebot. Например, если сервер постоянно возвращает коды состояния HTTP 500 для диапазона URL-адресов, робот Google автоматически и почти сразу же замедлит работу. Аналогично робот Googlebot автоматически замедляет работу, если время ответа на запросы значительно увеличивается. Если вы испытываете необычно интенсивное сканирование, с которым ваш сайт не может справиться самостоятельно, см. эта справочная статья,» он объяснил.
На данный момент вы можете получить доступ к инструменту здесьэто выглядит так:
Вот как это выглядело при запуске:
Обсуждение на форуме Икс.
