Результаты поиска Google в течение последних нескольких дней подверглись спам-атаке, которую можно назвать полностью вышедшей из-под контроля. Многие домены ранжируются по сотням тысяч ключевых слов каждый, что указывает на то, что масштаб этой атаки может легко достигать миллионов ключевых фраз.

Удивительно, но многие домены были зарегистрированы только в течение последних 24–48 часов.

Недавно это привлекло мое внимание из серии постов Билла Харцера (Профиль в LinkedIn), где он опубликовал график ссылок, созданный с помощью инструмента обратных ссылок Majestic, который выявил сети ссылок нескольких спам-сайтов.

Опубликованный им график ссылок показал множество веб-сайтов, тесно связанных друг с другом, что довольно типично для сетей спам-ссылок.

Скриншот тесно связанной сети

Мы с Биллом говорили о спам-сайтах через мессенджер Facebook, и мы оба согласились, что, хотя спамеры приложили много усилий для создания сети обратных ссылок, на самом деле ссылки не отвечают за высокие позиции.

Билл сказал:

«На мой взгляд, это отчасти вина Google, который, похоже, уделяет больше внимания контенту, а не ссылкам».

Я согласен на 100%, что Google уделяет больше внимания контенту, чем ссылкам. Но я думаю, что спам-ссылки существуют для того, чтобы робот Googlebot мог обнаружить спам-страницы и проиндексировать их, хотя бы на один или два дня.

После индексации спам-страницы, скорее всего, используют, как я считаю, две лазейки в алгоритмах Google, о которых я расскажу дальше.

Неконтролируемый спам в поисковой выдаче Google

Многие сайты ранжируются по длинным фразам, которые довольно легко ранжировать, а также по фразам с компонентом локального поиска, которые также легко ранжировать.

Длиннохвостые фразы — это ключевые фразы, которые используются людьми, но крайне редко. «Длинный хвост» — это концепция, которая существует уже почти двадцать лет и впоследствии популяризируется книгой 2006 года под названием «Длинный хвост: почему будущее бизнеса — продавать меньше или больше».

Спамеры могут ранжироваться по этим редко разыскиваемым фразам, поскольку конкуренция за эти фразы невелика, что облегчает ранжирование.

Таким образом, если спамер создает миллионы страниц с длинными фразами, эти страницы могут затем ранжироваться по сотням тысяч ключевых слов каждый день за короткий период времени.

Такие компании, как Amazon, используют принцип «длинного хвоста» для продажи сотен тысяч отдельных продуктов в день, что отличается от продажи одного продукта сто тысяч раз в день.

Именно этим и пользуются спамеры — простотой ранжирования длинных фраз.

Второе, чем пользуются спамеры, — это лазейка, присущая локальному поиску.

Алгоритм локального поиска отличается от алгоритма ранжирования нелокальных ключевых слов.

Обнаруженные примеры — это варианты Craigslist и связанных с ним ключевых слов.

Примерами являются такие фразы, как Автозапчасти на Craigslist, Аренда комнат на Craigslist, Продажа на Craigslist от владельца и тысячи других ключевых слов, большинство из которых не используют слово Craigslist.

Масштабы спама огромны и выходят далеко за рамки ключевых слов со словом «Craigslist».

Как выглядит спам-страница

Посмотреть, как выглядит спам-страница, невозможно, посетив страницы через браузер.

Я пытался просмотреть исходный код сайтов, имеющих рейтинг в Google, но все спам-сайты автоматически перенаправляются на другой домен.

Затем я ввел URL-адрес спама в средство проверки ссылок W3C, чтобы посетить веб-сайт, но бот W3C также не смог увидеть сайт.

Поэтому я изменил пользовательский агент своего браузера, чтобы он идентифицировал себя как Googlebot, но спам-сайт все равно перенаправлял меня.

Это указывало на то, что сайт не проверял, является ли пользовательский агент Googlebot.

Спам-сайт проверял IP-адреса робота Googlebot. Если IP-адрес посетителя совпадает с принадлежащим Google, то спам-страница отображает контент для робота Googlebot.

Все остальные посетители получали перенаправление на другие домены, на которых отображался отрывочный контент.

Чтобы увидеть HTML-код веб-сайта, мне пришлось зайти с IP-адресом Google. Поэтому я использовал тестер расширенных результатов Google, чтобы посетить спам-сайт и записать HTML-код страницы.

Я показал Биллу Хартцеру, как извлекать HTML с помощью тестера расширенных результатов, и он сразу же отправился писать об этом в Твиттере, лол. Черт!

Тестер расширенных результатов имеет возможность отображать HTML-код веб-страницы. Итак, скопировали HTML, вставили его в текстовый файл, а затем сохранили как файл HTML.

Снимок экрана HTML, предоставленный инструментом расширенных результатов

Затем я отредактировал HTML-файл, удалив весь JavaScript, а затем снова сохранил файл.

Теперь я смог увидеть, как эта веб-страница выглядит в Google:

Скриншот спам-страницы

Один домен ранжируется по более чем 300 000 ключевым словам

Билл прислал мне таблицу со списком ключевых фраз, по которым ранжировался только один из спам-сайтов. Один спам-сайт, всего лишь один из них, ранжировался по более чем 300 000 ключевым фразам.

Снимок экрана, показывающий ключевые слова для одного домена

Было много ключевых фраз Craigslist, но были и другие длинные фразы, многие из которых содержали элемент локального поиска. Как я уже упоминал, легко ранжироваться по длинным фразам, легко ранжироваться по местным поисковым фразам и комбинировать два типа фраз, и действительно легко ранжироваться по этим ключевым фразам.

Почему этот спам-метод работает?

Локальный поиск использует другой алгоритм, чем нелокальный алгоритм. Например, локальному сайту, как правило, не нужно много ссылок для ранжирования по запросу. Страницам просто нужны правильные ключевые слова, чтобы запустить алгоритм локального поиска и ранжировать его по географическому региону.

Итак, если вы ищете «автозапчасти Craigslist», это запустит локальный алгоритм поиска, и, поскольку он длинный, для его ранжирования не потребуется слишком много времени.

Это постоянная проблема на протяжении многих лет. Несколько лет назад веб-сайт смог получить рейтинг «Ринопластика Плано, Техас» благодаря сайту, который содержал старое латинское содержание и заголовки на английском языке. Ринопластика — это местный поиск, а Плано, штат Техас, — относительно небольшой город. Ранжирование по этой ключевой фразе «Ринопластика» было настолько простым, что веб-сайт на латинском языке смог легко ранжироваться по ней.

Google знает об этой проблеме со спамом как минимум с 19 декабря, как признал в твите Дэнни Салливан.

Да, я уже передал это поисковой команде. Вот краткий обзор. И это просматривается. pic.twitter.com/vJH3EisnXD

— Google SearchLiaison (@searchliaison) 19 декабря 2023 г.

Будет интересно посмотреть, найдет ли наконец Google, спустя столько времени, способ борьбы с такого рода спамом.

Рекомендованное изображение: Shutterstock/Катерина Онищук