Мартин Сплитт из Google ответил на вопрос о вредоносных ботах, которые влияют на производительность сайта, и дал рекомендации, которые должен знать и применять каждый SEO-специалист и владелец сайта.
Содержание
Вредоносные боты — проблема SEO
Многие SEO-специалисты, проводящие аудиты сайтов, обычно упускают из виду безопасность и трафик ботов в своих аудитах, поскольку цифровые маркетологи не понимают, что события безопасности влияют на производительность сайта и могут объяснить, почему сайт неадекватно сканируется. Улучшение основных веб-показателей не улучшит производительность сайта, если плохая позиция безопасности способствует низкой производительности сайта.
Каждый веб-сайт подвергается атакам, и чрезмерное сканирование может привести к возникновению кода ответа «Ошибка сервера 500», что означает невозможность обслуживания веб-страниц и препятствует возможности Google сканировать веб-страницы.
Как защититься от атак ботов
Человек, задавший вопрос, хотел получить совет от Google о том, как бороться с волнами скраперов, влияющих на производительность его сервера.
Вот какой вопрос был задан:
«Наш сайт испытывает значительные сбои из-за целенаправленного скрапинга автоматизированным программным обеспечением, что приводит к проблемам с производительностью, увеличению нагрузки на сервер и потенциальным проблемам с безопасностью данных. Несмотря на блокировку IP и другие превентивные меры, проблема сохраняется. Что мы можем сделать?»
Мартин Сплитт из Google предложил идентифицировать службу, которая служит источником атак, и уведомить ее о злонамеренном использовании ее служб. Он также рекомендовал возможности брандмауэра CDN (Content Delivery Network).
Мартин ответил:
«Это похоже на проблему распределенного отказа в обслуживании, если сканирование настолько агрессивно, что приводит к снижению производительности.
Вы можете попробовать определить владельца сети, откуда идет трафик, поблагодарить «их хостера» и отправить уведомление о злоупотреблении. Для этого обычно можно использовать информацию WHOIS.
В качестве альтернативы, CDN часто имеют функции для обнаружения трафика ботов и его блокировки, и по определению они забирают трафик с вашего сервера и распределяют его красиво, так что это победа. Большинство CDN распознают легитимных ботов поисковых систем и не блокируют их, но если это для вас серьезная проблема, подумайте о том, чтобы спросить их, прежде чем начинать их использовать.”
Сработают ли советы Google?
Определение поставщика облачных услуг или сервера дата-центра, который размещает вредоносных ботов, является хорошим советом. Но есть много сценариев, где это не сработает.
Три причины, по которым обращение к поставщикам ресурсов не сработает
1. Многие боты скрыты
Боты часто используют VPN и сети с открытым исходным кодом «Tor», которые скрывают источник ботов, сводя на нет все попытки идентифицировать облачные сервисы или веб-хостинг, предоставляющие инфраструктуру для ботов. Хакеры также прячутся за взломанными домашними и рабочими компьютерами, называемыми ботнетами, чтобы запускать свои атаки. Нет никакого способа идентифицировать их.
2. Боты меняют IP-адреса
Некоторые боты реагируют на блокировку IP-адреса, мгновенно переключаясь на другую сеть, чтобы немедленно возобновить атаку. Атака может исходить с немецкого сервера и после блокировки переключаться на провайдера сети в Азии.
3. Неэффективное использование времени
Обращение к сетевым провайдерам по поводу злоупотребляющих пользователей бесполезно, когда источник трафика скрыт или исходит из сотен источников. Многие владельцы сайтов и SEO-специалисты могут быть удивлены, обнаружив, насколько интенсивны атаки на их веб-сайты. Даже принятие мер против небольшой группы нарушителей является неэффективной тратой времени, поскольку существуют буквально миллионы других ботов, которые заменят тех, которые заблокированы облачным провайдером.
А как насчет ботнетов, состоящих из тысяч взломанных компьютеров по всему миру? Думаете, у вас есть время уведомить всех этих провайдеров?
Вот три причины, по которым уведомление поставщиков инфраструктуры не является жизнеспособным подходом к остановке ботов, которые влияют на производительность сайта. Реалистично, это бесполезная и неэффективная трата времени.
Используйте WAF для блокировки ботов
Использование брандмауэра веб-приложений (WAF) — хорошая идея, и именно эту функцию предлагает Мартин Сплитт, когда упоминает использование CDN (сети доставки контента). CDN, как и Cloudflare, отправляет браузерам и сканерам запрошенную веб-страницу с сервера, который расположен ближе всего к ним, ускоряя производительность сайта и сокращая ресурсы сервера для владельца сайта.
CDN также имеет WAF (брандмауэр веб-приложений), который автоматически блокирует вредоносных ботов. Предложение Мартина использовать CDN — определенно хороший вариант, особенно потому, что он имеет дополнительное преимущество в виде улучшения производительности сайта.
Вариант, о котором Мартин не упомянул, — это использование плагина WordPress WAF, например Wordfence. У Wordfence есть WAF, который автоматически отключает ботов на основе их поведения. Например, если бот запрашивает нелепое количество страниц, он автоматически создаст временную блокировку IP. Если бот перейдет на другой IP-адрес, он определит поведение сканирования и снова заблокирует его.
Другим решением для рассмотрения является SaaS-платформа, например Sucuri, которая предлагает WAF и CDN для ускорения производительности. Wordfence и Sucuri являются надежными поставщиками безопасности WordPress и поставляются с ограниченными, но эффективными бесплатными версиями.
Послушайте вопрос и ответ на отметке 6:36 минуты подкаста Google SEO Office Hours:
Главное изображение от Shutterstock/Krakenimages.com
