Google обновил справочную документацию для сканеров, добавив новый раздел, посвященный HTTP-кешированию, в котором объясняется, как сканеры Google обрабатывают заголовки управления кэшем. Google также опубликовал сообщение в блоге с просьбой разрешить Google кэшировать наши страницы.

Просить, возможно, слишком много, но Гэри Иллис написал«Разрешите нам кэшировать, пожалуйста» в первой строке сообщения в блоге. Затем он сказал, что сегодня мы разрешаем Google кэшировать наш контент, чем 10 лет назад. Гэри написал: «Количество запросов, которые могут быть возвращены из локальных кэшей, уменьшилось: 10 лет назад около 0,026% от общего числа выборок были кэшируемыми, что уже не так уж впечатляюще; сегодня это число составляет 0,017%».

Google добавил HTTP-кэширование раздел справочного документа, в котором объясняется, как Google обрабатывает заголовки управления кэшем. Инфраструктура сканирования Google поддерживает эвристическое кэширование HTTP, как это определено стандартом кэширования HTTP, в частности, через заголовок запроса ETag response и If-None-Match, а также заголовок запроса Last-Modified response и If-Modified-Since.

Если в ответе HTTP присутствуют поля заголовка ответа ETag и Last-Modified, сканеры Google используют значение ETag в соответствии со стандартом HTTP. В частности, для сканеров Google мы рекомендуем использовать ETag вместо заголовка Last-Modified, чтобы указать предпочтения кеширования, поскольку ETag не имеет проблем с форматированием даты. Другие директивы HTTP-кэширования не поддерживаются, добавил Google.

Я должен добавить, что Google и Bing поддерживают ETag как минимум с 2018 года.

От Google: «Пожалуйста, разрешите нам кэшировать. Кэширование — это важная часть большой головоломки, которой является Интернет. Кэширование позволяет страницам загружаться молниеносно при повторном посещении, оно экономит вычислительные ресурсы и, следовательно, также природные ресурсы, а также экономит огромное количество ресурсов. количество дорогих… https://t.co/vQRmBpJvQd

— Гленн Гейб (@glenngabe) 9 декабря 2024 г.

4/ Как это влияет на скорость страницы?

Сканеры Google, поддерживающие кэширование, отправят значение ETag, возвращенное для предыдущего сканирования этого URL-адреса, в заголовке If-None-Match. Если значение ETag, отправленное сканером, соответствует текущему значению, сгенерированному сервером, ваш сервер должен вернуть…

— Сиддхеш SEO a/cc (@siddhesh_asawa) 9 декабря 2024 г.

Google добавил в этот раздел больше деталей, но также расширил этот раздел страницы:

Сканеры и сборщики Google поддерживают HTTP/1.1 и HTTP/2. Сканеры будут использовать версию протокола, которая обеспечивает наилучшую производительность сканирования, и могут переключать протоколы между сеансами сканирования в зависимости от предыдущей статистики сканирования. Версия протокола по умолчанию, используемая сканерами Google, — HTTP/1.1; сканирование по протоколу HTTP/2 может сэкономить вычислительные ресурсы (например, ЦП, ОЗУ) для вашего сайта и робота Googlebot, но в противном случае для сайта не будет никакой конкретной выгоды от продукта Google (например, нет повышения рейтинга в поиске Google). Чтобы отказаться от сканирования по HTTP/2, попросите сервер, на котором размещен ваш сайт, отвечать кодом состояния HTTP 421, когда Google пытается получить доступ к вашему сайту по HTTP/2. Если это невозможно, вы можете отправить сообщение команде сканирования (однако это решение временное). Инфраструктура сканера Google также поддерживает сканирование через FTP (как определено в RFC959 и его обновлениях) и FTPS (как определено в RFC4217 и его обновлениях), однако сканирование по этим протоколам происходит редко.

Обсуждение на форуме Х.