Cloudflare объявила, что они исключают хлистого озадачивания в качестве проверенного бота и в настоящее время активно блокируют недоумение и все свои стелс -боты с ползающих веб -сайтов. Cloudflare действовал в ответ на несколько жалоб пользователей на недоумение, связанные с нарушениями протоколов robots.txt, и последующее расследование показало, что недоумение использовала агрессивную тактику мошенничества, чтобы заставить своих сканеров на веб -сайтах.

Программа проверки CloudFlare Bots

У Cloudflare есть система, называемая проверенными ботами, которые белые списки ботов в своей системе, что позволяет им ползти веб -сайтов, которые защищены CloudFlare. Проверенные боты должны соответствовать конкретным политикам, таким как подчиняться протоколам robots.txt, чтобы сохранить их привилегированный статус в системе CloudFlare.

Было обнаружено, что недоумение нарушает требования CloudFlare, которые боты соблюдают протокол robots.txt и воздерживаются от использования IP -адресов, которые не объявляются как принадлежащие к службе ползания.

CloudFlare обвиняет в недоумении в использовании ползания стелса

Cloudflare наблюдал за различными видами деятельности, указывающими на очень агрессивное ползание, с намерением обходить протокол Robots.txt.

Стюжное поведение: вращающиеся IP -адреса

Обиточность обходит блоки, используя вращающиеся IP -адреса, изменяя ASN и выдающиеся браузеры, такие как Chrome.

У недоумения есть список официальных IP -адресов, которые ползут из конкретного ASN (номер автономной системы). Эти IP -адреса помогают идентифицировать законных сканеров из сбиваемости.

ASN является частью системы интернет -сети, которая предоставляет уникальный идентификационный номер для группы IP -адресов. Например, пользователи, которые получают доступ к Интернету через интернет -провайдера, делают это с определенным IP -адресом, который принадлежит ASN, назначенному этому провайдеру.

При заблокировании смущение попыталось уклониться от ограничения, переключившись на различные IP -адреса, которые не указаны в качестве официальных IPS с недоумением, включая совершенно разные, которые принадлежали к другому ASN.

Стюжное поведение: поддельный пользовательский агент

Другое подлое поведение, которое определил CloudFlare, заключалось в том, что недоумение изменило своего пользовательского агента, чтобы обойти попытки заблокировать своего Crawler через robots.txt.

Например, боты озадачивания идентифицированы со следующими пользовательскими агентами:

• Searphexitybot
• Употребление с недоумением

Cloudflare заметил, что недоумение ответила на блоки пользователя, используя другого пользовательского агента, который позировал как человека, ползающего с Chrome 124 в системе Mac. Это практика под названием «Соединение», где мошенничество гул в качестве законного браузера идентифицирует себя.

Согласно CloudflareНедоумение использовало следующий пользовательский агент Stealth:

«Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebkit/537.36 (khtml, как гекко) Chrome/124.0.0.0 Safari/537.36»

Cloudflare Delists смущенности

Cloudflare объявил, что недоумение исключено как проверенный бот и что они будут заблокированы:

«Интернет, как мы его знали в течение последних трех десятилетий, быстро меняется, но одна вещь остается постоянной: он основан на доверии. Существуют четкие предпочтения, что сканеры должны быть прозрачными, служить четкой цели, выполнять конкретную деятельность и, что наиболее важно, следуйте директивам веб-сайтов и предпочтениям. это скрытое ползание ».

Вынос

• Нарушение политики проверенной ботов CloudFlare
  Смущение нарушила проверку Ботов CloudFlare, которая дает ползание, доступа к надежным ботам, которые следуют правилам здравого смысла, таким как честь протокола robots.txt.
• Смущение использовалась тактика сканирования скрытности
  Смущение использовалось не выделимыми IP -адресами от разных ASN и поддельных пользовательских агентов для содержимого полза после заблокированного его доступа.
• Подделка пользователя
  Смущение замаскировало своего бота как человека -пользователя, позируя как Chrome в операционной системе Mac, пытаясь обойти фильтры, которые блокируют известные сканеры.
• Ответ Cloudflare
  Cloudflare определил недоумение в качестве проверенного бота и внедрило новые правила блокировки, чтобы предотвратить ползание.
• SEO последствия
  Пользователи Cloudflare, которые хотят смущения, чтобы ползти на своих сайтах, могут пожелать проверить, блокирует ли Cloudflare сбивки сбивающих с толку, и, если это так, позволить ползание через свою панель панели CloudFlare.

Cloudflare определил смущение как проверенный бот после того, как обнаружил, что он неоднократно нарушал проверенные политики ботов, не подчиняющиеся роботам.txt. Чтобы уклониться от обнаружения, недоумение также повернуло IPS, изменила ASN и подделал его пользовательский агент, чтобы он появился как браузер человека. Решение Cloudflare заблокировать бота является сильной реакцией на агрессивное поведение бота со стороны сбиваемости.