Google исправил опечатку в документации своего сканера, из-за которой один из их сканеров был случайно идентифицирован.

В целом, это незначительная проблема, но это серьезная проблема для оптимизаторов и издателей, которые полагаются на документацию при установке правил брандмауэра.

Неспособность указать правильные данные может привести к тому, что веб-сайт непреднамеренно заблокирует законного сканера Google.

Инструмент проверки Google

Опечатка находится в разделе документации о Google Inspection Tool.

Это важный сканер, который отправляется на веб-сайт в ответ на два запроса.

1. Функция проверки URL-адресов в Search Console.
Когда пользователь хочет проверить в консоли поиска, проиндексирована ли веб-страница, или запросить индексацию, система Google отвечает с помощью сканера Google Inspection Tool.

Инструмент проверки URL-адресов предлагает следующий функционал:

  • Просмотр статуса URL-адреса в индексе Google
  • Проверьте действующий URL-адрес
  • Запросить индексацию URL-адреса
  • Посмотреть визуализированную версию страницы
  • Просмотр загруженных ресурсов, вывода JavaScript и другой информации.
  • Устранение неполадок с отсутствующей страницей
  • Изучите свою каноническую страницу

2. Тест с расширенными результатами

Это тест для проверки достоверности структурированных данных и определения того, соответствуют ли они критериям расширенных результатов поиска, также известных как расширенный результат.

Использование этого теста заставит определенный сканер получить веб-страницу и проанализировать структурированные данные.

Почему ошибка опечатки агента пользователя сканера является проблематичной

Это может стать проблемой для веб-сайтов, которые находятся за платным доступом, но вносят в белый список определенных роботов, таких как пользовательский агент Google-InspectionTool.

Неправильная идентификация пользовательского агента также может быть проблематичной, если CMS необходимо заблокировать сканер с помощью файла robots.txt или мета-директивы robots, чтобы Google не обнаруживал страницы, которые ему не следует просматривать.

ЧИТАТЬ  Nokia расследует возможную брешь в системе безопасности после заявления хакера о краже исходного кода

Некоторые системы управления контентом форумов удаляют ссылки на части сайта, такие как страница регистрации пользователей, профили пользователей и функция поиска, чтобы боты не индексировали эти страницы.

Трудно обнаружить опечатку в пользовательском агенте

Проблема заключалась в трудно уловимой опечатке в описании пользовательского агента.

Посмотрите, сможете ли вы заметить разницу?

Это ответ:

Оригинальная версия:

Mozilla/5.0 (совместим; Google-InspectionTool/1.0)

Новая версия:

Mozilla/5.0 (совместим; Google-InspectionTool/1.0;)

Обязательно обновите соответствующий файл robots.txt, директивы мета-роботов или код CMS, если вы или ваш клиент вносите в белый список сканеры Google или блокируете сканеры на определенных веб-страницах.

Сравните оригинальная версия (на Internet Archive Wayback Machine) с помощью обновленная версия здесь.

Это маленькая деталь, но она может иметь большое значение.

Рекомендованное изображение: Shutterstock/Николета Ионеску



Source link