Отчет, опубликованный Версель подчеркивает растущее влияние ботов с искусственным интеллектом на сканирование веб-страниц.

GPTBot от OpenAI и Claude от Anthropic ежемесячно генерируют около 1 миллиарда запросов в сети Vercel.

Данные показывают, что за последний месяц GPTBot сделал 569 миллионов запросов, а на долю Клода — 370 миллионов.

Кроме того, PerplexityBot выполнил 24,4 миллиона выборок, а AppleBot добавил 314 миллионов запросов.

Вместе эти роботы с искусственным интеллектом представляют собой примерно 28% общего объема Googlebot, который составляет 4,5 миллиарда запросов.

Вот что это может означать для SEO.

Ключевые выводы по роботам с искусственным интеллектом

В ходе анализа рассматривались модели трафика в сети Vercel и различных веб-архитектурах. Он обнаружил некоторые ключевые особенности сканеров с искусственным интеллектом:

  • Основные роботы с искусственным интеллектом не обрабатывают JavaScript, но извлекают файлы JavaScript.
  • Поисковые роботы с искусственным интеллектом зачастую неэффективны: ChatGPT и Claude тратят более 34% их запросов на 404 страницах.
  • Тип контента, на котором фокусируются эти сканеры, варьируется. ChatGPT отдает приоритет HTML (57,7%), а Клод больше фокусируется на изображениях (35,17%).

Географическое распространение

В отличие от традиционных поисковых систем, которые работают в нескольких регионах, роботы с искусственным интеллектом в настоящее время сохраняют концентрированное присутствие в США:

  • ChatGPT работает из Де-Мойна (Айова) и Феникса (Аризона).
  • Клод работает из Колумбуса (Огайо).

Корреляция веб-альманаха

Эти выводы согласуются с данными, опубликованными в SEO веб-альманаха. главав котором также отмечается растущее присутствие сканеров с искусственным интеллектом.

ЧИТАТЬ  Страны с наибольшим количеством трофеев AFCON в 2024 году: 12 лучших

Согласно отчету, веб-сайты теперь используют файлы robots.txt для установки правил для ботов ИИ, сообщая им, что они могут или не могут сканировать.

GPTBot — самый упоминаемый бот, появляющийся на 2,7% изучено мобильных сайтов. Также часто упоминается бот Common Crawl, который часто используется для сбора обучающих данных для языковых моделей.

В обоих отчетах подчеркивается, что владельцам веб-сайтов необходимо приспосабливаться к поведению сканеров с искусственным интеллектом.

3 способа оптимизации для сканеров с искусственным интеллектом

Основываясь на недавних данных Vercel и Web Almanac, вот три способа оптимизации для сканеров с искусственным интеллектом.

1. Рендеринг на стороне сервера

Сканеры с искусственным интеллектом не выполняют JavaScript. Это означает, что любой контент, основанный на рендеринге на стороне клиента, может быть невидимым.

Рекомендуемые действия:

  • Реализация рендеринга на стороне сервера для критического контента.
  • Убедитесь, что основной контент, метаинформация и структуры навигации присутствуют в исходном HTML.
  • По возможности используйте генерацию статического сайта или поэтапную статическую регенерацию.

2. Структура и доставка контента

Данные Vercel показывают различные предпочтения типов контента среди сканеров с искусственным интеллектом:

ЧатGPT:

  • Отдает приоритет HTML-контенту (57,70%)
  • Тратит 11,50% выборок на файлы JavaScript.

Клод:

  • Сильно фокусируется на изображениях (35,17%)
  • Выделяет 23,84% выборок для файлов JavaScript.

Рекомендации по оптимизации:

  • Четко и семантически структурируйте HTML-контент.
  • Оптимизация доставки изображений и метаданных
  • Включите описательный альтернативный текст для изображений.
  • Реализуйте правильную иерархию заголовков

3. Технические соображения

Высокие показатели 404 от сканеров с искусственным интеллектом означают, что вам необходимо учитывать следующие технические соображения:

  • Поддерживать обновленные карты сайта
  • Реализуйте правильные цепочки перенаправления
  • Используйте согласованные шаблоны URL-адресов
  • Регулярный аудит 404 ошибок

Заглядывая в будущее

Для поисковых маркетологов идея ясна: чат-боты с искусственным интеллектом — это новая сила в веб-сканировании, и сайтам необходимо соответствующим образом адаптировать свою SEO.

ЧИТАТЬ  Предвзятость ввода и как конкурировать, когда лучший маркетолог — ИИ, что мы знаем из психологии

Хотя сейчас ИИ-боты могут полагаться на кэшированную или устаревшую информацию, их способность анализировать свежий контент со всего Интернета будет расти.

Вы можете гарантировать, что ваш контент сканируется и индексируется с помощью рендеринга на стороне сервера, чистых структур URL-адресов и обновленных карт сайта.

Рекомендуемое изображение: tete_escape/Шаттерсток



Source link