Специалист по поиску Google Джон Мюллер рассказал о диагностике широко распространенных проблем со сканированием.
Это руководство было опубликовано в ответ на инцидент, о котором сообщил Адриан Шмидт на LinkedIn. Сканер Google прекратил разрешать одновременный доступ к нескольким своим доменам.
Несмотря на сбой, Шмидт обнаружил, что живое тестирование через Search Console продолжало работать без каких-либо сообщений об ошибках.
Исследования не показывают увеличения количества ошибок 5xx или проблем с запросами robots.txt.
В чем может быть проблема?
Содержание
Ответ Мюллера
Мюллер рассмотрел ситуацию и указал на общую инфраструктуру как на вероятную причину:
«Если он используется несколькими доменами и ориентирован на что-то вроде сканирования, скорее всего, это проблема с общей частью инфраструктуры. Если он уже восстанавливается, то, по крайней мере, это уже не так срочно, и у вас есть время взглянуть на последние изменения/протоколы инфраструктуры».
Обследование инфраструктуры
Все затронутые веб-сайты использовали Cloudflare в качестве CDN, что вызвало переполох.
Когда его спросили об отладке, Мюллер рекомендовал проверить данные Search Console, чтобы определить, является ли проблема DNS или неудачными запросами.
Мюллер объяснил:
«Статистика сканирования в Search Console также покажет немного больше, возможно, помогая сделать выбор между, скажем, DNS и неудачными запросами».
Он также отметил, что решающим фактором является время:
«Если бы все было точно в одно и то же время, это не был бы robots.txt и, вероятно, не был бы и DNS».
Влияние на результаты поиска
Что касается беспокойства по поводу видимости поиска, Мюллер заверил, что такого рода сбои не вызовут проблем:
«Если бы это было сегодня и длилось всего несколько часов, я бы не ожидал каких-либо видимых проблем с поиском».
Почему это важно
Если робот Googlebot внезапно перестанет сканировать несколько веб-сайтов одновременно, определить причину может быть сложно.
Хотя временные перерывы в сканировании не могут немедленно повлиять на рейтинг в поисковых системах, они могут повлиять на способность Google обнаруживать и индексировать новый контент.
Этот инцидент подчеркивает уязвимость, с которой могут столкнуться организации, даже не осознавая этого, особенно те, которые полагаются на общую инфраструктуру.
Как это может вам помочь
Когда робот Googlebot прекращает сканировать ваши сайты:
- Проверьте, затрагивает ли проблема несколько веб-сайтов одновременно.
- Сначала посмотрите на вашу общую инфраструктуру
- Используйте данные Search Console, чтобы сузить причину
- Не исключайте DNS только потому, что нормальный трафик выглядит хорошо.
- Следите за своими журналами
Если вы запускаете несколько веб-сайтов за CDN, убедитесь в следующем:
- Обеспечьте хорошее ведение учета
- Обратите внимание на скорость сканирования
- Знайте, кому позвонить, если что-то пойдет не так
- Следите за своим провайдером инфраструктуры
Рекомендуемое изображение: PeopleImages.com — Юрий А/Шаттерсток
