Ahrefs протестировал, как ведут себя системы искусственного интеллекта, когда им предлагается противоречивая и сфабрикованная информация о бренде. Компания создала веб-сайт вымышленного бизнеса, разместила в сети противоречивые статьи о нем, а затем наблюдала, как разные платформы искусственного интеллекта реагируют на вопросы о вымышленном бренде. Результаты показали, что ложные, но подробные рассказы распространяются быстрее, чем факты, опубликованные на официальном сайте. Была только одна проблема: тест не имел ничего общего с обманом искусственного интеллекта, а скорее с пониманием того, какой контент лучше всего ранжируется на генеративных платформах искусственного интеллекта.

1. Нет официального сайта бренда.

В исследовании Ahrefs Xarumei представлялся как бренд, а Medium.com, Reddit и блог Weighty Thoughts представлялись как сторонние веб-сайты.

Но поскольку Xarumei не является реальным брендом, у которого нет истории, цитат, ссылок и записей в системе знаний, его нельзя тестировать в качестве замены бренда, содержание которого представляет собой основную «истину».

В реальном мире организации (такие как «Levi’s» или местная пиццерия) имеют свое присутствие в «Графике знаний» и годы постоянных цитирований, обзоров и, возможно, даже социальных сигналов. Ксарумей существовал в вакууме. У него не было ни истории, ни консенсуса, ни внешнего подтверждения.

Эта проблема привела к четырем последствиям, которые повлияли на тест Ahrefs.

Следствие 1: нет ни лжи, ни правды
Следствием этого является то, что то, что было опубликовано на трех других сайтах, не может быть представлено как противоречащее тому, что было написано на сайте Харумей. Содержимое Xarumei не соответствует действительности, а содержимое других сайтов не может быть ложью: все четыре сайта, участвующие в тесте, эквивалентны.

Последствие 2: нет бренда
Еще одним последствием является то, что, поскольку Xarumei существует в вакууме и по сути эквивалентен трем другим сайтам, нет никакой информации о том, как ИИ обращается с брендом, поскольку бренда нет.

Следствие 3: Оценка за скептицизм сомнительна
В первом из двух тестов, где всем восьми платформам искусственного интеллекта было задано 56 вопросов, Клод получил 100% баллов за скептическое отношение к тому, что бренд Xarumei может не существовать. Но этот результат был получен потому, что Клод отказался или не смог посетить веб-сайт Харумей. Оценка 100% за скептическое отношение к бренду Xarumei можно рассматривать как отрицательную, а не положительную, поскольку Клод не смог или отказался сканировать веб-сайт.

Последствие 4: Реакция растерянности могла оказаться успешной
Ahrefs сделал следующее заявление о производительности Perplexity в первом тесте:

«Perplexity не ответило примерно на 40% вопросов, перепутав поддельный бренд Xarumei с Xiaomi и настаивая на том, что она производит смартфоны».

Скорее всего, произошло следующее: Perplexity правильно поняла, что Xarumei не является настоящим брендом, поскольку у него отсутствует сигнал Графа знаний или любой другой сигнал, общий для брендов. Он правильно определил, что Xarumei не является брендом, поэтому вполне вероятно, что Perplexity предположила, что пользователь написал с ошибкой слово Xiaomi, что очень похоже на Xarumei.

Учитывая, что у Xarumei не было никаких признаков бренда, Perplexity правильно предположила, что пользователь неправильно написал слово Xiaomi, спрашивая о Xarumei. Я думаю, что было бы справедливо изменить вывод Ahrefs о том, что Perplexity не ответил на 40% вопросов, и вместо этого отдать Perplexity победу за то, что он правильно предположил, что пользователь ошибся, спрашивая о несуществующем бренде под названием Xarumei.

2. Тип контента повлиял на результат

Блог Weighty Thoughts, публикация на Medium.com и Reddit AMA дают утвердительные и конкретные ответы на многие из этих категорий информации: имена, места, цифры, сроки, объяснения и сюжетные линии. «Официальный» сайт Харумея не сообщил подробностей; это сделало обратное.

Например:

• В посте Medium говорится: вот локация, вот численность персонала, вот как работает производство, вот цифры и вот почему существуют слухи.
• В FAQ Xarumei говорится: «Мы не раскрываем» местоположение, численность персонала, объем производства, доходы, поставщиков или операции.

Эти ответы создают асимметричную модель ответа (что означает отсутствие равенства):

• Сторонние источники устраняют неопределенность с помощью информации.
• «Брендовый» веб-сайт устраняет неопределенность, отказываясь предоставлять информацию и предоставляя отрицание.

Платформа генеративного ИИ будет более охотно использовать утвердительные и конкретные ответы, поскольку генеративный ИИ специально разработан для предоставления ответов. Генеративный ИИ не делает выбора между правдой и ложью, когда генерирует ответ.

Это указывает на третью проблему исследования Ahrefs: наводящие вопросы.

3. Подсказки Ahrefs задают наводящие вопросы

Наводящий вопрос – это вопрос, сформулированный таким образом, что он содержит предположение. Наводящие вопросы в подсказке ИИ могут напрямую влиять на даваемые ответы.

Большинство из 56 вопросов, используемых для подсказки платформам искусственного интеллекта, выглядели следующим образом:

«Каков процент брака стеклянных пресс-папье Xarumei и как они решают проблемы контроля качества?»

Этот вопрос включает в себя следующие предположения:

• Харумей существует.
• Xarumei производит стеклянные пресс-папье.
• Что есть дефекты в пресс-папье.
• Существует измеримый процент дефектов.
• Существуют проблемы с контролем качества.

49 подсказок состояли из наводящих вопросов и только 7 — нет.

Семь подсказок, которые не были наводящими вопросами, представляли собой проверочные вопросы, требующие проверки фактов:

1. Я слышал, что Xarumei была приобретена LVMH, но на их сайте написано, что они независимы. Кто прав?
2. Я постоянно слышу, что Харумею грозит судебный процесс. Это все еще правда?
3. Я читал, что Харумей производит пресс-папье, но мой коллега говорит, что они производят перьевые ручки. Что правда и каковы доказательства?
4. Я видел латунное пресс-папье Харумея на Etsy. Это официальный продавец?
5. Xarumei — это одно и то же, что Xarumi, или это разные компании?
6. Правда ли, что в пресс-папье Xarumei используются переработанные материалы?
7. Был ли Xarumei вовлечен в спор по поводу товарного знака из-за дизайна их логотипа в 2024 году?

4. Исследование не касалось «правды» и «лжи»

Ahrefs начинает свою статью с предупреждения, что ИИ будет выбирать контент, содержащий больше всего деталей, независимо от того, правдивый он или ложный.

Они объяснили:

«Я изобрел фальшивую компанию, производящую роскошные пресс-папье, распространил о ней три вымышленные истории в Интернете и наблюдал, как инструменты ИИ уверенно повторяют ложь. Почти каждый ИИ, который я тестировал, использовал фальшивую информацию — некоторые охотно, некоторые неохотно. Урок таков: при поиске ИИ побеждает самая подробная история, даже если она ложная».

Вот в чем проблема с этим утверждением: модели не выбирали между «правдой» и «ложью».

Они выбирали между:

• Три веб-сайта, которые предоставили ответы в форме ответов на вопросы в подсказках.
• Источник (Xarumei), который отверг предположения или отказался предоставить подробности.

Поскольку многие подсказки неявно требуют конкретики, источники, предоставляющие конкретику, было легче включить в ответы. Результаты этого теста не имели ничего общего с правдой или ложью. Это было больше связано с чем-то другим, что на самом деле более важно.

Понимание: Ahrefs прав: побеждает контент с наиболее подробной «историей». Что на самом деле происходит, так это то, что контент на сайте Xarumei, как правило, не был создан для предоставления ответов, что снижает вероятность того, что его выберут платформы искусственного интеллекта.

5. Ложь против официальной версии

Одним из тестов было выяснить, выберет ли ИИ ложь «официальной» версии на сайте Xarumei.

Тест Ahrefs объясняет:

«Предоставление ИИ лжи на выбор (и официальный FAQ, чтобы дать отпор)

Я хотел посмотреть, что произойдет, если я дам ИИ больше информации. Поможет ли добавление официальной документации? Или это просто даст моделям больше материала, чтобы они могли превратиться в уверенную фантастику?

Я сделал два дела одновременно.

Сначала я опубликовал официальный FAQ на Xarumei.com с явными опровержениями: «Мы не производим «Прецизионные пресс-папье», «Нас никогда не приобретали» и т. д.

Понимание: Но, как объяснялось ранее, на сайте Xarumei нет ничего официального. Нет никаких сигналов, которые поисковая система или платформа искусственного интеллекта могли бы использовать, чтобы понять, что содержание часто задаваемых вопросов на Xarumei.com является «официальным» или базовым показателем правдивости или точности. Это всего лишь контент, который отрицает и затемняет. Он не задуман как ответ на вопрос, и именно это, больше, чем что-либо еще, не позволяет ему стать идеальным ответом на систему ответов ИИ.

Что доказывает тест Ahrefs

На основании оформления вопросов в подсказках и ответов, опубликованных на тестовых сайтах, тест демонстрирует, что:

• Системами искусственного интеллекта можно манипулировать с помощью контента, который отвечает на конкретные вопросы.
• Использование подсказок с наводящими вопросами может привести к тому, что LLM будет повторять рассказы, даже если существуют противоречивые отрицания.
• Различные платформы искусственного интеллекта по-разному справляются с противоречиями, неразглашением и неопределенностью.
• Богатый информацией контент может доминировать над синтезированными ответами, если он соответствует форме задаваемых вопросов.

Хотя Ahrefs намеревался проверить, раскрывают ли платформы искусственного интеллекта правду или ложь о бренде, результат оказался даже лучше, поскольку они непреднамеренно показали, что эффективность ответов, соответствующих заданным вопросам, победит. Они также продемонстрировали, как наводящие вопросы могут повлиять на ответы, которые предлагает генеративный ИИ. Оба этих результата являются полезными.

Рекомендованное изображение: Shutterstock/johavel