Гэри Иллис из Google опубликовал сообщение LinkedIn с двумя типичными примерами того, когда всплеск активности Googlebot (сканирование) — это плохо. Короткий ответ: когда робот Googlebot сканирует бесконечный раздел вашего сайта (например, страницы календаря, которые продолжаются вечно) и когда ваш сайт взломан с кучей новых взломанных страниц.

Вероятно, для большинства из вас это очень простые вещи по SEO, но, возможно, есть причина, по которой он делится ими сейчас.

Гэри написал: «Не радуйтесь преждевременно, когда поисковые системы неожиданно начинают как сумасшедшие ползать с вашего сайта». «Внезапное увеличение числа ползающих, конечно, может означать хорошие вещи, но это также может означать, что что-то не так», — добавил он.

В таких случаях, по его словам, «относитесь к неожиданному резкому увеличению частоты ползания как к симптому проблемы, пока не докажете обратное». Затем он пошутил: «Или, знаете, может быть, я просто жесткий пессимист».

Вот две проблемы, которые слишком часто возникают, когда наблюдаешь за резким увеличением числа ползающих, написал он:

Бесконечные пространства:

Приведенный им пример бесконечного пространства является одним из наиболее распространенных. Когда «на вашем сайте есть календарь или страница со списком товаров, которую можно бесконечно фильтровать. Если на вашем сайте обычно есть страницы, которые поисковые пользователи находят полезными, сканеры какое-то время будут в восторге от этих бесконечных пространств. robots.txt — ваш друг, используй это.»

Взломанный контент:

Другой распространенный пример — взломанный контент. Он сказал: «Если злоумышленнику каким-то образом удастся получить доступ к файловой системе вашего сервера или вашей системе управления контентом, он может заполонить ваш в остальном отличный сайт ну, ну, чушью. Если на вашем сайте обычно есть страницы, которые поисковые пользователи находят полезно, сканеры какое-то время будут в восторге от этих новых страниц и с радостью просканируют их, у них есть отличные ресурсы о том, что делать в таких случаях (по касательной: да, это скорее взлом, чем взлом, но, очевидно, Интернет согласен с этим неправильным термином). .»

Обсуждение на форуме LinkedIn.