Вот методология:

• Мы использовали данные веб -анализа, чтобы найти все URL -адреса с помощью AI Assistant (например, CHATGPT или недоумение) в качестве ссылки.
• Мы пометили URL как возможную страницу 404, если заголовок страницы содержал либо «404», либо предложение «не найдено».
• Для каждого помощника ИИ мы сравнили число 404 возможных страниц с общим количеством эталонных URL, чтобы найти их 404 ставки.

CHATGPT имеет самый высокий показатель 404 страниц, причем 1,01% от всего упомянутого URL, содержащего «404» или «не найден» в заголовке их страницы.

Claude следует с 0,58%URL -адресов, за которыми следуют Co -Pilot (0,34%), недоумение (0,31%) и Близнецы (0,21%). У Мистрала самая низкая 404 (0,12%), но также посылает более низкое количество эталонного трафика, что делает его наименьшим образцом этого теста.

Это не идеальный тест. Около 404 страниц могут не включать «404» или «не найдено» в заголовке страницы. И все связанные ссылки помощникам ИИ будут получать клики (и поэтому не будут отображаться в данных веб -анализа), следовательно, вполне вероятно, что мы недооценим общее количество галлюцинированных URL -адресов.

• Мы нашли все URL -адреса, цитируемые CHATGPT, смущением, копилотом и Близнецами в наших радиолокационных базах данных.
• Для URL -адресов, также хранящихся в нашей базе данных Crawler (65% от общего количества URL), мы восстановили самый последний статус HTTP.
• Для каждого помощника искусственного интеллекта мы рассчитали 404 URL -скорость, упомянутую в нашей базе данных робота.

404 URL -скорость (и не только цитируется И URL Clicked) намного выше, чем в нашем предыдущем тесте.

Опять же, CHATGPT имеет самый высокий уровень 404 страниц (2,38%), за которыми следуют недоумение (0,87%) и геминиты (0,86%) в тесном наследстве. Копилот имеет самую низкую 404 показателя на 0,54%.

Этот тест также имеет ограничения. Как и прежде, ряд из этих 404 страниц сделает статус 404 по причине, отличной от галлюцинации. Мы также недооцениваем общее количество 404 URL, потому что мы можем видеть только статус HTTP только для URL -адресов, которые находятся в нашей базе данных Caterpillar (и я ожидал, что достойный процент галлюцинированных URL будет отсутствовать в нашей базе данных роботов, потому что они никогда не существовали).

Как и прежде, мы хотели сравнить эти цифры с 404 «базой». Для этого мы извлекли все уникальные URL -адреса из первых 20 позиций 400 000 SERP.

67% этих URL также появились в нашей базе данных роботов, что позволяет нам определить скорость 404 0,84%. (Или с точки зрения просто, 0,84% URL -адресов в первых 20 Google обращаются к статусу 404.)

(Это также объясняет, почему в нашей базе данных Crawler существует большое количество этих 404 страниц.)

Другая часть указанного URL -адреса — это настоящие галлюцинации, в том смысле, что они соответствуют ожидаемой модели URL для данного веб -сайта, но на самом деле не существуют.

Для блога Ahrefs наиболее часто посещаемыми галлюцинированными URL -адресами являются страницы, такие как /blog/internal-links/И /blog/newsletter/Полем Поскольку мы пишем по ссылке в нашем блоге и о том, что у нас есть информационный бюллетень, эти URL -адреса соответствуют модели типичных страниц блога AHREFS, но они на самом деле не существуют.

Некоторые из этих галлюцинированных ссылок также могут присутствовать в нашей базе данных Crawler. Если контент, генерируемый AI-AI, содержит галлюцинированный URL, наш тендерный робот попытается его восстановить. С 74% новых веб -страниц, содержащих определенное количество контента, генерируемого ИИ, это кажется очень возможным.

Если вы хотите измерить влияние галлюцинированных URL -адресов, лучшим источником данных является ваш собственный анализ веб -сайта. Вот как проверить это для себя:

Начните с фильтрации анализа вашего сайта, чтобы показать посещения, полученные от помощников искусственного интеллекта. Если вы используете GA4, вам нужно будет применить регулярное выражение для измерения источника сеанса в отчете о разведке.

Затем отфильтруйте свой лист, чтобы отобразить только URL -адреса, возвращающие код состояния 404 И Получить посетителей.

Я установил порог на URL -адресах, получающих более 10 посетителей в месяц, но вы можете использовать порог направления для вашего сайта.

Вы можете вручную осмотреть некоторые из этих URL, чтобы подтвердить, что они галлюцинированы (и никаких реальных страниц веб -сайта, которые не доступны по другой причине).

Вам придется догадаться, какая галлюцинированная страница была в состоянии, но часто только URL будет достаточным, чтобы сделать образованное предположение (посетители галлюцинированного URL /blog/keywords/ вероятно, выиграет от нашего реального исследовательского руководства по ключевым словам).

Или, если вы не хотите создавать Rediection 301 Spider, вы можете обновить свою страницу 404, чтобы включить полезный список ресурсов, которые разочарованные посетители LLM могут найти полезным (например, ваш самый популярный контент или страница подписки на рассылку).

Мне это заботиться?

Это полезное упражнение, чтобы понять еще одну особенность поиска ИИ, но оно не представляет огромного рычага роста. Если вы можете минимизировать влияние галлюцинированных URL -адресов с очень мало усилийЭто, вероятно, того стоит.

По этой причине мы собираемся добавить новый фильтр в веб -анализ, который поможет вам найти галлюцинированные URL -адреса в двух кликах. Если вы ищете простую альтернативу Google Analytics, бесплатно на миллион событий в месяц, проверьте это: