Google взломал веб-скрейперы, которые собирают данные о результатах поиска, что вызвало глобальные сбои во многих популярных инструментах отслеживания рейтингов, таких как SEMRush, которые зависят от предоставления свежих данных со страниц результатов поиска.

Что произойдет, если поисковая выдача Google будет полностью заблокирована? Определенный объем данных, предоставляемых сервисами отслеживания, уже давно экстраполируется алгоритмами из различных источников данных. Возможно, один из способов обойти текущий блок — это экстраполяция данных из других источников.

Парсинг поисковой выдачи запрещен Google

Руководящие принципы Google уже давно запрещают автоматическую проверку рейтинга в результатах поиска, но, очевидно, Google также позволил многим компаниям очищать результаты поиска и взимать плату за доступ к данным рейтинга в целях отслеживания ключевых слов и рейтингов.

По данным Google руководящие принципы:

«Машинно-генерируемый трафик (также называемый автоматическим трафиком) относится к практике отправки автоматических запросов в Google. Сюда входит сбор результатов для целей проверки рейтинга или другие виды автоматического доступа к Google Поиску, осуществляемые без явного разрешения. Машинно-генерируемый трафик потребляет ресурсы и мешает нам лучше обслуживать пользователей. Подобные действия нарушают нашу политику в отношении спама и Условия использования Google».

Блокировка скребков сложна

Блокировка парсеров требует больших ресурсов, особенно потому, что они могут реагировать на блокировки, например, меняя свой IP-адрес и пользовательский агент, чтобы обойти любые блоки. Еще один способ заблокировать парсеры — настроить таргетинг на определенное поведение, например, на количество страниц, запрашиваемых пользователем. Чрезмерное количество запросов страниц может привести к блокировке. Проблема этого подхода заключается в том, что отслеживание всех заблокированных IP-адресов, которые могут быстро исчисляться миллионами, может стать ресурсоемким.

Отчеты в социальных сетях

В сообщении в частной группе SEO Signals Lab в Facebook было объявлено, что Google активно борется с веб-скраперами, при этом один из участников отметил, что инструмент Scrape Owl у них не работает, в то время как другие отметили, что данные SEMRush не обновились.

Другой опубликовать, на этот раз в LinkedInотметил несколько инструментов, которые не обновляли свой контент, но также отметил, что блокировка не затронула всех поставщиков данных, отметив, что Sistrix и MonitorRank все еще работают. Кто-то из компании HaloScan сообщил, что они внесли изменения, чтобы возобновить сбор данных из Google, и восстановились, а кто-то еще сообщил, что другой инструмент под названием MyRankingMetrics все еще сообщает данные.

Итак, что бы ни делал Google, в настоящее время это не влияет на все парсеры. Возможно, Google нацелен на определенное поведение при парсинге, извлекая уроки из ответов и улучшая свои возможности блокировки. Ближайшие недели могут показать, что Google улучшает свою способность блокировать парсеры или ориентируется только на самые крупные из них.

Другой опубликовать в LinkedIn предположил, что блокировка может привести к увеличению ресурсов и сборов, взимаемых с конечных пользователей SaaS-инструментов SEO. Они опубликовали:

«Этот шаг Google делает извлечение данных более сложным и дорогостоящим. В результате пользователи могут столкнуться с более высокой абонентской платой. «

Райан Джонс написал в Твиттере:

«Кажется, вчера вечером Google выпустил обновление, которое блокирует большинство парсеров и многие API.

Google, просто дайте нам платный API для результатов поиска. мы заплатим вам вместо этого».

Никаких объявлений от Google

Пока что Google не сделал никаких заявлений, но вполне возможно, что болтовня в Интернете может заставить кого-то в Google подумать о том, чтобы сделать заявление.

Рекомендованное изображение: Shutterstock/Krakenimages.com