Распространение ИИ-бот которые пытаются получить доступ к контенту веб-сайтов и извлечь его из него, стали настоящей проблемой для многих владельцев сайтов и поставщиков облачных услуг. Клаудфлеркрупный публичный поставщик облачных услуг, недавно запустил бесплатный инструмент, который поможет своим клиентам бороться с этим явлением.

Почему боты с искусственным интеллектом представляют собой проблему для веб-сайтов?

Боты с искусственным интеллектом, то есть программы, способные автономно перемещаться по сети, стали все более используемым инструментом компаний, которые работать в сфере искусственного интеллекта для сбора обучающих данных для ваших моделей. Однако это явление создает немало проблем владельцам сайтов, которых эти боты регулярно «посещают» без их согласия.

Прежде всего, массовое присутствие бот AI для веб-сайтов может привести к перегрузке ресурсов и снижению производительности, что негативно влияет на удобство работы пользователей. Кроме того, многие владельцы сайтов обеспокоены тем, что их контент будет использован в обучать модели ИИ без их разрешения или без какой-либо компенсации.

Наконец, проблема еще больше усугубляется тем фактом, что некоторые поставщики ИИ, похоже, намеренно игнорируют стандартные правила исключения ботов (такие как файл robots.txt), чтобы получить конкурентное преимущество в «гонке» по обучению моделей.

Решение Cloudflare

Чтобы противостоять этому вызову, Клаудфлер разработала бесплатный инструмент, который использует сложные методы анализа трафика для выявления и блокировки ИИ-ботов, пытающихся получить доступ к веб-сайтам, размещенным на ее платформе.

По данным Cloudflare, новый инструмент может обнаруживать ботов с искусственным интеллектом более эффективно, чем сами боты с искусственным интеллектом. традиционные методы на основе файла robots.txt. Это делается путем анализа различных сигналов, таких как поведение и внешний вид трафика, для выявления попыток уклониться от систем обнаружения.

«Когда злоумышленники пытаются сканировать веб-сайты в больших масштабах, они обычно используют инструменты и платформы, которые мы можем «отследить».«

объясняет Cloudflare.

«На основе этих сигналов наши модели могут правильно помечать трафик от уклончивых ботов с искусственным интеллектом как ботов.«

В дополнение к автоматическому анализу Cloudflare также установила модуль, позволяющий владельцам сайтов сообщать о любых подозрительных ботах, чтобы со временем их можно было вручную добавлять в черный список.

Преимущества для клиентов Cloudflare

Новый инструмент Cloudflare предлагает несколько преимуществ владельцам веб-сайтов, которые пользуются услугами компании:

1. Защита контента: предотвращает очистку содержимого веб-сайта и его использование для обучения моделей искусственного интеллекта без согласия владельцев.
2. Оптимизированная производительность: снижает нагрузку на сервер и повышает производительность сайта за счет устранения трафика, генерируемого ботами AI.
3. Спокойствие: позволяет владельцам сайтов сосредоточиться на создании контента и обеспечении удобства для конечных пользователей, не беспокоясь о попытках несанкционированного доступа.

Ограничения и остаточные проблемы

Несмотря на преимущества, предлагаемые инструментом Cloudflare, все еще остается ряд проблем, которые необходимо решить:

1. Точность обнаружения: Хотя Cloudflare утверждает, что ее система может эффективно идентифицировать уклончивых ботов с искусственным интеллектом, еще неизвестно, окажется ли эта способность действительно эффективной на практике.
2. Обход правил исключения: некоторые поставщики ИИ, похоже, намеренно игнорируют стандартные правила исключения ботов, такие как файл robots.txt. Это представляет собой более серьезную проблему, выходящую за рамки возможностей такого инструмента, как Cloudflare.
3. Влияние на ссылочный трафик: Владельцы сайтов, которые блокируют определенных роботов с искусственным интеллектом, рискуют потерять реферальный трафик от таких инструментов, как «Обзоры искусственного интеллекта» Google, которые могут исключать сайты, блокирующие определенных поисковых роботов с искусственным интеллектом.

Источник статьи ВОЗ.