Google объявил об обновлении документации своего сканера, добавив дополнительную информацию о кэшировании, которая должна помочь лучше понять, как оптимизировать работу сканера Google. Следуя новым рекомендациям по реализации правильных заголовков HTTP-кэширования, оптимизаторы и издатели могут повысить эффективность сканирования и оптимизировать ресурсы сервера.
Содержание
Обновленная документация сканера
В документации сканера теперь есть раздел, в котором объясняется, как сканеры Google используют механизмы HTTP-кэширования, которые помогают экономить вычислительные ресурсы как издателей, так и Google во время сканирования.
Дополнения к документации значительно расширяют предыдущую версию.
Механизмы кэширования
Google рекомендует включать кеширование с такими заголовками, как ETag и If-None-Match, а также (при необходимости) Last-Modified и If-Modified-Since, чтобы сигнализировать об изменении содержимого. Это может помочь сократить ненужное сканирование и сэкономить ресурсы сервера, что является выигрышем как для издателей, так и для сканеров Google.
В новой документации говорится:
«Инфраструктура сканирования Google поддерживает эвристическое HTTP-кэширование, как это определено стандартом HTTP-кэширования, в частности, через заголовок запроса ETag-ответ и If-None-Match, а также заголовок запроса Last-Modified response- и If-Modified-Since».
Предпочтение Google для предпочтения ETag
Google рекомендует использовать ETag вместо Last-Modified, поскольку ETag менее подвержен ошибкам, таким как проблемы с форматированием даты, и обеспечивает более точную проверку контента. Он также объясняет, что произойдет, если будут обработаны оба заголовка ответа ETag и Last-Modified:
«Если в ответе HTTP присутствуют поля заголовка ответа ETag и Last-Modified, сканеры Google используют значение ETag, как того требует стандарт HTTP».
В новой документации также указано, что другие директивы кэширования HTTP не поддерживаются.
Переменная поддержка для сканеров
В новой документации поясняется, что поддержка кэширования у разных сканеров Google различается. Например, Googlebot поддерживает кэширование для повторного сканирования, а Storebot-Google имеет ограниченную поддержку кэширования.
Гугл объясняет:
«Отдельные сканеры и сборщики Google могут использовать или не использовать кеширование, в зависимости от потребностей продукта, с которым они связаны. Например, Googlebot поддерживает кеширование при повторном сканировании URL-адресов для поиска Google, а Storebot-Google поддерживает кеширование только при определенных условиях».
Руководство по реализации
В новой документации Google рекомендуется обращаться за помощью к поставщикам хостинга или CMS. Он также предполагает (но не требует), чтобы издатели установили поле max-age в заголовке ответа Cache-Control, чтобы сканеры знали, когда сканировать определенные URL-адреса.
Совершенно новый пост в блоге
Google также опубликовал новую запись в блоге:
Сканирование в декабре: HTTP-кэширование
Прочтите обновленную документацию:
Рекомендованное изображение: Shutterstock/Asier Romero
