Видимость ИИ играет решающую роль для оптимизаторов, и это начинается с контроля сканеров ИИ. Если сканеры ИИ не смогут получить доступ к вашим страницам, вы будете невидимы для систем обнаружения ИИ.

С другой стороны, неконтролируемые сканеры с искусственным интеллектом могут перегружать серверы чрезмерными запросами, что приводит к сбоям и неожиданным счетам за хостинг.

Строки пользовательского агента важны для контроля того, какие сканеры AI могут получить доступ к вашему веб-сайту, но официальная документация часто устарела, неполна или полностью отсутствует. Вот почему мы составили проверенный список сканеров ИИ на основе реальных журналов наших серверов в качестве полезного справочного материала.

Каждый пользовательский агент проверяется на соответствие официальным спискам IP-адресов, если таковые имеются, для обеспечения точности. Мы будем поддерживать и обновлять этот список, чтобы обнаруживать новые сканеры и изменения в существующих.

Полный список проверенных сканеров искусственного интеллекта (декабрь 2025 г.)

Все приведенные выше строки пользовательского агента были проверены по журналам сервера журнала поисковой системы.

Популярные сканеры AI-агентов с неопознаваемым пользовательским агентом

Мы обнаружили, что не были идентифицированы:

• you.com.
• Оператор агента ChatGPT.
• Чат второго пилота Bing.
• Грок.
• ДипСик.

Невозможно отследить доступ этого сканера к веб-страницам, кроме как путем определения явного IP-адреса.

Мы создали страницу-ловушку (е.Г., /specific-page-for-you-com/) и использовали чат на странице, чтобы предложить you.com посетить сайт, чтобы мы могли найти соответствующую запись о посещении и IP-адрес в журналах нашего сервера. Ниже приведен скриншот:

А как насчет агентских браузеров с искусственным интеллектом?

К сожалению, ИИ-браузеры, такие как Comet или Atlas, не отличаются от ChatGPT строкой пользовательского агента, и вы не можете идентифицировать их в журналах сервера и не можете смешивать их с посещениями обычных пользователей.

Это разочаровывает оптимизаторов, поскольку отслеживание посещений веб-сайта браузером агента важно для отчетов POV.

Как проверить, что сканирует ваш сервер

Некоторые хостинговые компании предлагают пользовательский интерфейс (UI), который упрощает доступ и просмотр журналов сервера, в зависимости от того, какую услугу хостинга вы используете.

Если ваш хостинг не предлагает этого, вы можете получить файлы журналов сервера (обычно по адресу: /var/log/apache2/access.log (для серверов на базе Linux) через FTP или запросите его у службы поддержки вашего сервера, чтобы отправить вам.

Получив файл журнала, вы можете просмотреть и проанализировать его либо в Google Sheets (если файл в формате CSV), в анализаторе журналов Screaming Frog, либо, если ваш файл журнала находится в формате CSV. менее 100 МБвы можете попытаться проанализировать его с помощью Gemini AI.

Как проверить легитимность по сравнению с поддельными ботами

Поддельные сканеры могут подменять законных пользовательских агентов, чтобы обойти ограничения и агрессивно сканировать контент. Например, любой может выдать себя за ClaudeBot со своего ноутбука и инициировать запрос на сканирование с терминала. В журнале вашего сервера вы увидите это, когда Claudebot сканирует его:

curl -A 'Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)' 

Проверка может помочь сэкономить пропускную способность сервера и предотвратить сбор нелегального контента. Самый надежный метод проверки, который вы можете использовать, — это проверка IP-адреса запроса.

Проверьте все IP-адреса и найдите совпадение, если это один из официально заявленных IP-адресов, перечисленных выше. Если да, вы можете удовлетворить запрос; в противном случае заблокировать.

Различные типы брандмауэров могу помочь тебе Он блокирует IP-адреса, проверенные в белом списке (которые позволяют проходить законным запросам ботов) и блокирует все другие запросы, которые выдают себя за сканеров AI в строках их пользовательских агентов.

Например, в WordPress вы можете использовать Бесплатный плагин Wordfence внести в список разрешенных законные IP-адреса из официальных списков (как указано выше) и добавить пользовательские правила блокировки, как показано ниже:

Правило белого списка является более эффективным и позволяет законным сканерам проходить и блокировать все запросы на выдачу себя за другое лицо, поступающие с разных IP-адресов.

Однако обратите внимание, что это возможно подделать IP-адреси в этом случае вы не сможете заблокировать пользовательский агент бота и IP-адреса, если они подделаны.

Вывод: сохраняйте контроль над сканерами ИИ, чтобы обеспечить надежную видимость ИИ.

Поисковые роботы с искусственным интеллектом теперь являются частью нашей веб-экосистемы, а перечисленные здесь боты представляют собой основные платформы искусственного интеллекта, которые в настоящее время индексируют Интернет, хотя этот список, вероятно, будет расширяться.

Регулярно проверяйте журналы своего сервера, чтобы узнать, что на самом деле поступает на ваш веб-сайт, и убедитесь, что вы случайно не блокируете сканеры ИИ, если видимость в поисковых системах ИИ важна для вашего бизнеса. Если вы не хотите, чтобы сканеры ИИ имели доступ к вашему контенту, заблокируйте их через robots.txt, используя имя пользовательского агента.

Мы обновляем этот список по мере появления новых сканеров и обновления существующих. Поэтому мы рекомендуем вам добавить этот URL-адрес в закладки или периодически возвращаться к этой статье, чтобы обновлять список сканеров искусственного интеллекта.

Дополнительные ресурсы:

Рекомендованное изображение: BestForBest/Shutterstock