Эта статья была опубликована 16 декабря 2024 года в The Search Engine Journal. Мэтт Г. ЮжныйСтарый「Google предупреждает: Остерегайтесь ложного трафика Googlebot」Переводится.

Важный момент

  1. Многие веб -роботы утверждают, что Googlebot. Это может привести к искаженным результатам анализа веб -сайта или потреблению ресурсов сервера.
  2. Настоящий трафик Googlebotзубы,Исследовательская консольИлиБогатый результат тестаВы можете проверить, используя инструменты Google.
  3. Мониторив модели ответа и ошибок сервера, вы можете определить проблемного робота.

Совет разработчика Google, Мартин Сплиттт, подчеркнул, что многие запросы, которые влияют на Googlebot, фактически связаны с скребками третьей части. Он сказал: «Все, что утверждает, что это Googlebot, не обязательно Googlebot», — сказал он.

Проблемы, вызванные ложным Googlebot

Ложные роботы могут исказить анализ, потреблять ресурсы и затруднить оценку эффективности сайта.

Общий трафик на GooglebotМетод различения ложной активности гусениц выглядит следующим образом:

Метод проверки Googlebot

Проверьте модель трафика

Вы можете различить обычный трафик Googlebot и ложные роботы, проверив общую модель трафика, а не необычный запрос.
Обычный трафик GooglebotЧастота запросов, сроков и движений последовательнаЕсть функциональность.

Если подозревается ложная деятельность Googlebot, Splittt рекомендует использовать следующие инструменты Google:

Инструмент проверки URL (консоль исследования)

  • Если вы можете увидеть конкретный контент, отображаемый на странице, вы можете увидеть, что Googlebot обычно доступ.
  • Вы можете проверить текущий доступ в режиме реального времени, используя функцию теста в прямом эфире.
ЧИТАТЬ  Является ли рейтинг глубоких ссылок фактором ранжирования?

Богатый результат теста

  • Он работает в качестве альтернативного метода проверки для доступа Googlebot.
  • Вы можете увидеть, как Googlebot делает страницу.
  • Можно использовать без подключения для поиска консоли.

Статистический отчет рампы

  • Отображает данные ответа на подробный сервер на основе подтвержденного запроса Googlebot.
  • Полезно для определения законной операционной модели Googlebot.

Меры предосторожности

Эти инструменты направлены на проверку того, что GoogleBot предусматривает и работает. Тем не менее, невозможно напрямую идентифицировать маскирующего робота в газете сервера.

Метод защиты от ложного Googlebot

  1. Серверная газета в GoogleОфициальный IP -диапазонКонтакт с.
  2. Обратный поиск DNSПроверка выполнена.
  3. Используя приведенный выше инструмент Google,Googlebot законно операционный стандартУчреждать.

Реализуя эти измерения, вы можете минимизировать влияние ложного Googlebot.

Мониторинг ответов сервера

Martin Splittt смотрите ответ сервера на запрос рампы GooglebotЯ отмечаю, что это важно.
Следующие моменты следует отметить следующие:

  • 500 -х ошибки
  • Сделать ошибку
  • мертвые время
  • Проблема DNS

Эти проблемы находятся на крупных веб -сайтах (такие как сайты, на которых размещаются миллионы страниц)Ползучивая эффективностьИлиНаблюдение за исследованиемЭто может оказать значительное влияние на.

Splittt говорит:

«Обратите внимание на ответ, который сервер вернулся в Googlebot, в частности, количество 500 ошибок, ошибок восстановления, время истечения срока действия и задач DNS».

Некоторые ошибки могут быть временными,Постоянная проблемаЕсли вы подтверждены, необходим дополнительный опрос.

Кроме того, Splittt должен поставить большой диагноз.Анализ журнала сервераЯ подчеркнул важность. Анализ журнала сервера не является легкой, но драгоценной задачей. Он объявляет следующее:
«Просмотр газеты веб -сервера — это мощный способ понять, что происходит на сервере».
Ссылка:Как изменить пользовательские агенты с помощью Chrome, Edge, Safari, Firefox

ЧИТАТЬ  Даже в эпоху исследований ИИ SEO не будет разрушен - маркетинговые стратегии, которые развиваются с LLM

Потенциальное воздействие

Ложный трафик Googlebot может повлиять не только на проблемы безопасности, но и на производительность веб -сайта и измерения SEO следующим образом:

Splitt подчеркивает, что даже если вы можете получить доступ к веб -сайту с помощью браузера, он не гарантирует доступ Googlebot. Кроме того, следующим образомПотенциальный барьерТакже перечислен.

  • Роботы.
  • Параметры брандмауэра
  • Система защиты ботов
  • Проблема сетевой маршрутизации

Будущие перспективы

Ложный трафик Googlebot является смущающей проблемой, но, как правило, это редкий случай, и Splittt говорит, что у вас не слишком много проблем. Однако, если возникают следующие проблемы, необходимы соответствующие меры.

Предположим, что активность ложного робота стала проблемой или чрезмерной мощностью сервера. В этом случае,Ограничить ставки запросаВы можете принять меры, такие как блокирование определенных IP -адресов и использование лучшего метода обнаружения ботов.

Для получения дополнительной информации по этому вопросу см. Следующее видео. ::

Google SEO сделал простой: ложный трафик Googlebot

Source