Google начал капитальный пересмотр документации своего сканера. Основная обзорная страница была уменьшена в размере, а ее содержимое разделено на три новые, более целенаправленные страницы. Хотя в журнале изменений изменения преуменьшены, есть совершенно новый раздел и, по сути, переписанная вся страница обзора сканера. Дополнительные страницы позволяют Google увеличить информационную плотность всех страниц сканера и улучшить тематический охват.

Что изменилось?

В журнале изменений документации Google отмечено два изменения, но их гораздо больше.

Вот некоторые из изменений:

• Добавлена ​​обновленная строка пользовательского агента для сканера GoogleProducer.
• Добавлена ​​информация о кодировке контента.
• Добавлен новый раздел по техническим характеристикам

Раздел «Технические характеристики» содержит совершенно новую информацию, которой раньше не было. В поведении сканера ничего не меняется, но, создав три тематические страницы, Google может добавить больше информации на страницу обзора сканера, одновременно уменьшив ее.

Это новая информация о кодировании (сжатии) контента:

«Сканеры и сборщики Google поддерживают следующие кодировки (сжатия) контента: gzip, deflate и Brotli (br). Кодировки контента, поддерживаемые каждым пользовательским агентом Google, указаны в заголовке Accept-Encoding каждого запроса. Пример: Accept-Encoding: gzip, deflate, br».

Существует дополнительная информация о сканировании по HTTP/1.1 и HTTP/2, а также заявление о том, что цель состоит в том, чтобы просканировать как можно больше страниц, не затрагивая сервер веб-сайта.

Какова цель редизайна?

Изменение документации произошло из-за того, что страница обзора стала слишком большой. Дополнительная информация для сканера сделает обзорную страницу еще больше. Было решено разделить страницу на три подтемы, чтобы дать возможность дальнейшему росту содержания конкретного сканера и освободить место для более общей информации на обзорной странице. Выделение подтем на отдельные страницы — отличное решение проблемы наилучшего обслуживания пользователей.

Вот как журнал изменений документации объясняет это изменение:

«Документация стала очень большой, что ограничило наши возможности расширять контент с помощью наших сканеров и сборщиков, управляемых пользователями.

…Документация для сканеров Google и сборщиков данных, управляемых пользователями, была реорганизована. Мы также добавили подробные примечания о том, к какому продукту применяется каждый сканер, и добавили фрагмент файла robots.txt для каждого сканера, чтобы продемонстрировать, как используются токены пользовательского агента. В остальном существенных изменений в содержании не произошло».

В журнале изменений изменения преуменьшаются, описывая их как реорганизацию, поскольку в дополнение к созданию трех совершенно новых страниц обзор сканера также был фундаментально переписан.

Хотя контент по существу остается прежним, разделение на подтемы позволяет Google добавлять больше контента на новые страницы без необходимости дальнейшего расширения исходной страницы. Исходная страница под названием «Обзор сканеров и сборщиков Google (пользовательских агентов)» теперь представляет собой настоящий обзор, а более подробный контент перемещен на отдельные страницы.

Google выпустил три новые страницы:

1. Обычные краулеры
2. Специальный гусеничный робот
3. Сборщик, запускаемый пользователем

1. Обычные краулеры

Как следует из названия, это обычные сканеры, некоторые из которых связаны с GoogleBot, включая Google InspectionTool, который использует пользовательский агент GoogleBot. Все боты, перечисленные на этой странице, следуют правилам robots.txt.

Это документированные сканеры Google:

• Googlebot
• Изображение робота Googlebot
• Видео робота Googlebot
• Новости Googlebot
• Google StoreBot
• Инструмент проверки Google
• GoogleДругое
• GoogleДругое изображение
• GoogleДругое видео
• Google CloudVertexBot
• Google Продвинутый

3. Гусеничный робот для особых случаев

Это сканеры, которые связаны с конкретными продуктами и сканируются с согласия пользователей этих продуктов. Они работают с IP-адресов, отличных от IP-адресов сканеров GoogleBot.

Список специальных сканеров:

• АдСенс
  Пользовательский агент для файла Robots.txt: Mediapartners-Google
• AdBot
  Пользовательский агент для Robots.txt: AdsBot-Google
• AdsBot для мобильных устройств
  Пользовательский агент для Robots.txt: AdsBot-Google-Mobile.
• API Google
  Пользовательский агент для файла Robots.txt: API-Google
• Google Безопасность
  Пользовательский агент для файла Robots.txt: Безопасность Google

3. Сборщик данных, запускаемый пользователем

На странице «Сборщики, запускаемые пользователем» описаны боты, активируемые по запросам пользователей. Объяснение следующее:

«Инициируемые пользователем сборщики инициируются пользователями для выполнения функции выборки в продукте Google. Например, Google Site Verifier отвечает на запрос пользователя, или сайт, размещенный в Google Cloud (GCP), имеет функцию, которая позволяет пользователям сайта получать внешний RSS-канал. Поскольку выборка была запрошена пользователем, эти сборщики обычно игнорируют правила Robots.txt. Общие технические характеристики сканеров Google также применимы и к сборщикам данных, запускаемым пользователем».

В документацию входят следующие боты:

• Получение корма
• Центр издателей Google
• Google Читать вслух
• Google Проверка сайта

Еда на вынос:

Страница обзора сканера Google стала слишком подробной и потенциально менее полезной, поскольку пользователям не всегда нужна подробная страница, их интересует только конкретная информация. Страница обзора менее конкретна, но ее легче понять. Теперь он служит точкой входа, с помощью которой пользователи могут переходить к более конкретным подтемам, связанным с тремя типами сканеров.

Это изменение дает представление о том, как обновить страницу, которая может больше не работать, поскольку стала слишком подробной. Разбивая полную страницу на отдельные страницы, подтемы могут удовлетворить конкретные потребности пользователей и потенциально сделать их более полезными при размещении в результатах поиска.

Я бы не сказал, что это изменение отражает что-то в алгоритме Google. Это просто отражает то, как Google обновил свою документацию, чтобы сделать ее более полезной, и настроил ее для добавления еще большего количества информации.

Прочтите новую документацию Google

Обзор Google Crawler and Fetcher (пользовательские агенты)

Список популярных сканеров Google

Список специализированных сканеров Google

Список поисковых служб Google, контролируемых пользователем

Рекомендованное изображение: Shutterstock/Cast Of Thousands