Google опубликовал руководство о том, как правильно снизить скорость сканирования Googlebot из-за увеличения количества ошибочных кодов ответов 403/404, которые могут негативно повлиять на веб-сайты.
В руководстве упоминается, что неправомерное использование кодов ответов растет со стороны веб-издателей и сетей доставки контента.
Ограничение скорости Googlebot
Googlebot — это автоматизированное программное обеспечение Google, которое посещает (сканирует) веб-сайты и загружает контент.
Ограничение скорости Googlebot означает замедление скорости сканирования веб-сайта Google.
Фраза, скорость сканирования Google, относится к тому, сколько запросов веб-страниц в секунду делает Googlebot.
Бывают случаи, когда издатель может захотеть замедлить робота Googlebot, например, если он вызывает слишком большую нагрузку на сервер.
Google рекомендует несколько способов ограничить скорость сканирования Googlebot, главным из которых является использование Google Search Console.
Ограничение скорости через консоль поиска замедлит скорость сканирования на 90 дней.
Еще один способ повлиять на скорость сканирования Google — это использование robots.txt чтобы запретить роботу Googlebot сканирование отдельных страниц, каталогов (категорий) или всего веб-сайта.
В Robots.txt хорошо то, что он только просит Google воздержаться от сканирования и не просит Google удалить сайт из индекса.
Однако использование файла robots.txt может привести к «долгосрочным последствиям» для шаблонов сканирования Google.
Возможно, по этой причине идеальным решением является использование Search Console.
Google: остановить ограничение скорости с помощью 403/404
Google опубликовал руководство в своем блоге Search Central, в котором издателям рекомендуется не использовать коды ответов 4XX (за исключением кода ответа 429).
В сообщении в блоге конкретно упоминается неправильное использование кодов ответов об ошибках 403 и 404 для ограничения скорости, но руководство распространяется на все коды ответов 4XX, кроме ответа 429.
Эта рекомендация необходима, поскольку они заметили увеличение числа издателей, использующих эти коды ответов об ошибках для ограничения скорости сканирования Google.
Код ответа 403 означает, что посетителю (в данном случае роботу Google) запрещено посещать веб-страницу.
Код ответа 404 сообщает роботу Googlebot, что веб-страница полностью исчезла.
Код ответа сервера об ошибке 429 означает «слишком много запросов», и это допустимый ответ об ошибке.
Со временем Google может в конечном итоге удалить веб-страницы из своего поискового индекса, если они продолжат использовать эти два кода ответа на ошибку.
Это означает, что страницы не будут учитываться для ранжирования в результатах поиска.
Гугл написал:
«За последние несколько месяцев мы заметили всплеск числа владельцев веб-сайтов и некоторых сетей доставки контента (CDN), пытающихся использовать 404 и другие ошибки клиента 4xx (но не 429), чтобы попытаться снизить скорость сканирования Googlebot.
Краткая версия этого поста в блоге: пожалуйста, не делайте этого…»
В конечном итоге Google рекомендует использовать коды ответа на ошибку 500, 503 или 429.
Код ответа 500 означает, что произошла внутренняя ошибка сервера. Ответ 503 означает, что сервер не может обработать запрос веб-страницы.
Google рассматривает оба этих типа ответов как временные ошибки. Таким образом, он снова придет позже, чтобы проверить, доступны ли страницы снова.
Ответ об ошибке 429 сообщает боту, что он делает слишком много запросов, а также может попросить его подождать в течение установленного периода времени перед повторным сканированием.
Google рекомендует проконсультироваться со своей страницей разработчика. об ограничении скорости Googlebot.
Прочитайте сообщение в блоге Google:
Не используйте коды 403 или 404 для ограничения скорости.
Избранное изображение Shutterstock/Krakeimages.com
