Адвокат разработчиков Google Мартин Сплитт предупреждает владельцев веб-сайтов, что им следует быть осторожными с трафиком, который исходит от робота Googlebot. Многие запросы, выдающие себя за роботов Googlebot, на самом деле исходят от сторонних парсеров.

Об этом он поделился в последнем эпизод из серии Google SEO Made Easy, подчеркивая, что «не каждый, кто утверждает, что является роботом Googlebot, на самом деле является роботом Googlebot».

Почему это имеет значение?

Поддельные сканеры могут искажать аналитику, потреблять ресурсы и затруднять точную оценку производительности вашего сайта.

Вот как можно отличить законный трафик Googlebot от фальшивой активности сканера.

Методы проверки робота Googlebot

Вы можете отличить реальный трафик роботов Googlebot от фальшивых сканеров, просматривая общие закономерности трафика, а не необычные запросы.

Реальный трафик Googlebot обычно имеет постоянную частоту, время и поведение запросов.

Если вы подозреваете фальшивую активность Googlebot, Сплитт советует использовать следующие инструменты Google для ее проверки:

Инструмент проверки URL-адресов (поисковая консоль)

  • Обнаружение определенного содержания в отрендеренном HTML-коде подтверждает, что робот Googlebot может успешно получить доступ к странице.
  • Обеспечивает возможность живого тестирования для проверки текущего статуса доступа.

Тест расширенных результатов

  • Действует как альтернативный метод проверки доступа робота Googlebot.
  • Показывает, как робот Googlebot отображает страницу.
  • Можно использовать даже без доступа к Search Console.

Отчет о статистике сканирования

  • Показывает подробные данные ответов сервера, в частности, по подтвержденным запросам робота Googlebot.
  • Помогает выявить закономерности в законном поведении роботов Googlebot.

Стоит отметить ключевое ограничение: эти инструменты проверяют, что видит и делает настоящий робот Googlebot, но они не идентифицируют напрямую подставных лиц в журналах вашего сервера.

ЧИТАТЬ  По мнению Google, внутренние ссылки nofollow посылают сигнал качества.

Чтобы полностью защититься от фальшивых роботов Google, вам необходимо:

  • Сравните журналы сервера с официальными диапазонами IP-адресов Google.
  • Внедрить проверку обратного поиска DNS
  • Используйте приведенные выше инструменты, чтобы определить базовое законное поведение робота Googlebot.

Мониторинг ответов сервера

Сплитт также подчеркнул важность мониторинга ответов сервера на запросы сканирования, в частности:

  • Ошибки 500-й серии
  • Получить ошибки
  • Таймауты
  • проблемы с DNS

Эти проблемы могут существенно повлиять на эффективность сканирования и видимость поиска для крупных веб-сайтов, на которых размещены миллионы страниц.

Сплит говорит:

«Обратите внимание на ответы, которые ваш сервер дал роботу Googlebot, особенно на большое количество ответов (500), ошибки выборки, тайм-ауты, проблемы с DNS и другие вещи».

Он отметил, что, хотя некоторые ошибки носят временный характер, постоянные проблемы «возможно, требуют дальнейшего изучения».

Сплитт предложил использовать анализ журналов сервера для более точной диагностики, хотя и признал, что это «непростая задача».

Однако он подчеркнул его ценность, отметив, что «просмотр журналов вашего веб-сервера… является мощным способом лучше понять, что происходит на вашем сервере».

Потенциальное воздействие

Помимо безопасности, фальшивый трафик Googlebot может повлиять на производительность веб-сайта и усилия по SEO.

Сплитт подчеркнул, что доступность веб-сайта в браузере не гарантирует доступ робота Googlebot, сославшись на различные потенциальные препятствия, в том числе:

  • Ограничения файла robots.txt
  • Конфигурации брандмауэра
  • Системы защиты ботов
  • Проблемы с сетевой маршрутизацией

Заглядывая в будущее

Ложный трафик Googlebot может раздражать, но Сплитт говорит, что в редких случаях не стоит слишком беспокоиться.

Предположим, что фальшивая активность сканера становится проблемой или использует слишком много мощности сервера. В этом случае вы можете предпринять такие шаги, как ограничение частоты запросов, блокировка определенных IP-адресов или использование более эффективных методов обнаружения ботов.

ЧИТАТЬ  Промышленный аудит: действия, которые необходимо предпринять - SC Conseil

Подробнее об этой проблеме смотрите в полном видео ниже:

Рекомендуемое изображение: eamesBot/Шаттерсток



Source link