По данным исследования, инструменты искусственного интеллекта создают разные списки рекомендаций по брендам почти каждый раз, когда они отвечают на один и тот же вопрос. новый отчет от SparkToro.
Данные показали вероятность <1 из 100, что ChatGPT или ИИ Google в поиске (обзоры ИИ/режим ИИ) вернут один и тот же список брендов при повторных запусках одного и того же запроса.
Рэнд Фишкин, соучредитель SparkToro, провел исследование вместе с Патриком О’Доннеллом из Gumshoe.ai, стартапа по отслеживанию искусственного интеллекта. За ноябрь и декабрь команда запустила 2961 запрос в обзорах AI ChatGPT, Claude и Google Search (с использованием режима AI, когда обзоры не появлялись), используя сотни добровольцев.
Содержание
Что нашли данные
Авторы протестировали 12 запросов с запросом рекомендаций по брендам в разных категориях, включая поварские ножи, наушники, онкологические больницы, консультантов по цифровому маркетингу и научно-фантастические романы.
Каждое приглашение запускалось 60–100 раз на каждой платформе. Почти каждый ответ был уникален по трем параметрам: список представленных брендов, порядок рекомендаций и количество возвращенных товаров.
Фишкин резюмировал основные выводы:
«Если вы сто раз запросите у инструмента искусственного интеллекта рекомендации по бренду/продукту, почти каждый ответ будет уникальным».
Клод продемонстрировал несколько более высокую последовательность в составлении одного и того же списка дважды, но с меньшей вероятностью выдал один и тот же порядок. Ни одна из платформ не приблизилась к определению надежной повторяемости, заданному авторами.
Проблема быстрой изменчивости
Авторы также исследовали, как пишут подсказки реальные пользователи. Когда 142 участникам было предложено написать свои собственные подсказки о наушниках для путешествующего члена семьи, почти ни одна подсказка не выглядела одинаково.
Показатель семантического сходства этих написанных человеком подсказок составил 0,081. Фишкин сравнил отношения с:
«Курица Кунг Пао и арахисовое масло».
Подсказки разделяли основную цель, но не более того.
Несмотря на быстрое разнообразие, инструменты искусственного интеллекта вернули бренды из относительно последовательного набора критериев. Bose, Sony, Sennheiser и Apple фигурировали в 55–77% из 994 ответов на различные запросы о наушниках.
Что это означает для отслеживания видимости с помощью ИИ
Результаты ставят под сомнение ценность «рейтинговой позиции ИИ» как показателя. Фишкин писал: «Любой инструмент, который дает «рейтинговую позицию в сфере ИИ», — это полная чушь».
Однако данные показывают, что частота появления бренда во многих похожих подсказках более постоянна. В таких узких категориях, как поставщики облачных вычислений, в большинстве ответов фигурировали ведущие бренды. В более широких категориях, таких как научно-фантастические романы, результаты были более разрозненными.
Это согласуется с другими отчетами, которые мы рассмотрели. В декабре Ahrefs опубликовал данные, показывающие, что Google’s AI Mode и AI Reviews ссылаются на разные источники в 87% случаев по одному и тому же запросу. Этот отчет был посвящен другому вопросу: та же платформа, но с разными функциями. Эти данные SparkToro исследуют одну и ту же платформу и приглашение, но с разными запусками.
Картина этих исследований указывает в одном и том же направлении. Рекомендации ИИ, похоже, различаются на каждом уровне, независимо от того, сравниваете ли вы разные платформы, функции внутри платформы или повторяющиеся запросы к одной и той же функции.
Методические примечания
Исследование проводилось в партнерстве с компанией Gumshoe.ai, которая продает инструменты отслеживания ИИ. Фишкин рассказал об этом и отметил, что его исходная гипотеза заключалась в том, что отслеживание ИИ окажется «бессмысленным».
Команда опубликовала полную методологию и исходные данные на общедоступном мини-сайте. Респонденты опроса использовали свои обычные настройки инструментов ИИ без стандартизации, что, по словам авторов, было сделано намеренно, чтобы уловить вариации в реальном мире.
Отчет не является рецензируемым академическим исследованием. Фишкин признал методологические ограничения и призвал к более масштабной последующей работе.
Заглядывая в будущее
Авторы оставили открытыми вопросы о том, сколько запусков подсказок необходимо для получения надежных данных о видимости и дают ли вызовы API те же вариации, что и подсказки, заданные вручную.
Результаты показывают, что при оценке инструментов отслеживания ИИ вам следует попросить поставщиков продемонстрировать их методологию. Фишкин писал:
«Прежде чем тратить ни копейки на отслеживание видимости ИИ, убедитесь, что ваш провайдер отвечает на вопросы, которые мы здесь затронули, и показывает свои математические расчеты».
Рекомендованное изображение: NOMONARTS/Shutterstock
