Google добавил новый раздел в справочный документ по управлению краулинговым бюджетом. Новый раздел предназначен для заголовка запроса If-Modified-Since. Раздел называется «Укажите изменения содержимого с помощью кодов состояния HTTP».

Google написал«Google обычно поддерживает заголовки HTTP-запросов If-Modified-Since и If-None-Match для сканирования. Сканеры Google не отправляют заголовки при всех попытках сканирования; это зависит от варианта использования запроса (например, AdsBot с большей вероятностью установит заголовки HTTP-запроса If-Modified-Since и If-None-Match)».

«Если наши сканеры отправляют заголовок If-Modified-Since, значение заголовка — это дата и время последнего сканирования контента. На основе этого значения сервер может выбрать возврат кода состояния HTTP 304 (не изменено) без ответа. body, и в этом случае Google будет повторно использовать версию контента, которую он сканировал в последний раз. Если контент новее, чем дата, указанная сканером в заголовке If-Modified-Since, сервер может вернуть код состояния HTTP 200 (OK). с телом ответа».

«Независимо от заголовков запроса, вы можете отправить код состояния HTTP 304 (не изменено) и не отправлять текст ответа для любого запроса Googlebot, если содержимое не изменилось с тех пор, как робот Googlebot последний раз посещал URL-адрес. Это сэкономит время и ресурсы обработки вашего сервера. , что может косвенно повысить эффективность сканирования».

Я не уверен, есть ли у меня какие-либо комментарии по этому поводу, за исключением того факта, что этот новый раздел был добавлен на эту страницу.

Обсуждение форума на Твиттер.