По данным исследования, ведущие помощники по искусственному интеллекту искажали или неправильно обрабатывали новостной контент почти в половине оцениваемых ответов. Европейский вещательный союз (EBU) и исследование BBC.
В ходе исследования оценивались бесплатные/потребительские версии ChatGPT, Copilot, Gemini и Perplexity, отвечающие на вопросы новостей на 14 языках в 22 общественных СМИ в 18 странах.
EBU заявил, объявляя о результатах:
«Системное искажение новостей ИИ одинаково на разных языках и территориях».
Содержание
Что обнаружило исследование
Всего было оценено 2709 основных ответов, а также качественные примеры, взятые из индивидуальных вопросов.
Общий, 45% ответов содержали по крайней мере одну существенную проблему, и 81% была какая-то проблема. Поиск поставщиков был наиболее распространенной проблемной областью, затрагивающей 31% ответов на значительном уровне.
Как выступил каждый помощник
Производительность зависит от платформы. Google Gemini показал больше всего проблем: 76% из его ответов содержались серьезные проблемы, вызванные 72% с проблемами снабжения.
Остальные помощники были на уровне или ниже 37% по основным вопросам в целом и ниже 25% по вопросам поиска.
Примеры ошибок
Проблемы с точностью включали устаревшую или неверную информацию.
Например, несколько помощников назвали Папу Франциска нынешним Папой в конце мая, несмотря на его смерть в апреле, а Близнецы неверно охарактеризовали изменения в законах об одноразовых вейпах.
Методические примечания
Участники давали ответы в период с 24 мая по 10 июня, используя общий набор из 30 основных вопросов плюс дополнительные вопросы местного значения.
Исследование было сосредоточено на бесплатных/потребительских версиях каждого помощника, чтобы отразить типичное использование.
Во многих организациях были технические блокировки, которые обычно ограничивают доступ помощников к их контенту. Эти блоки были удалены на период формирования ответа и впоследствии восстановлены.
Почему это важно
При использовании помощников искусственного интеллекта для исследований или планирования контента эти результаты усиливают необходимость сверять утверждения с первоисточниками.
Это может повлиять на то, как ваш контент будет представлен в ответах ИИ. Высокий уровень ошибок увеличивает риск появления неверно приписываемых или неподтвержденных утверждений в сводках, цитирующих ваш контент.
Заглядывая в будущее
EBU и BBC опубликовали Целостность новостей в наборе инструментов AI Assistants Вместе с отчетом предлагается руководство для технологических компаний, средств массовой информации и исследователей.
Агентство Reuters сообщает о мнении EBU о том, что растущая зависимость от помощников в сфере новостей может подорвать доверие общественности.
Как сказал медиа-директор EBU Жан Филип Де Тендер:
«Когда люди не знают, чему доверять, они в конечном итоге вообще ничему не доверяют, и это может сдерживать демократическое участие».
Рекомендованное изображение: Наумова Марина/Shutterstock
