DeepSeek, китайский AI Chatbot Toping App Store Downloads, плохо забил в последней оценке точности NewsGuard.
По словам Newsguard аудитор:
«[the chatbot] Не удалось предоставить точную информацию о новостях и информационных темах в 83 процента случаев, ранжировав ее на 10 -е место из 11 по сравнению со своими ведущими западными конкурентами ».
Ключевые выводы:
- 30% ответов содержала ложную информацию
- 53% ответов, предоставленных без ответа на запросы
- Только 17% ответов опровергнуты ложные претензии
- Показал значительно ниже среднего по отрасли. 62% Отказ
Содержание
Позиционирование правительства Китая
Ответы DeepSeek показывают заметный шаблон. Чат -бот часто вставляет позиции правительства Китая в ответы, даже когда вопросы не связаны с Китаем.
Например, когда его спросили о ситуации в Сирии, Deepseek ответил:
«Китай всегда придерживался принципа невмешательства во внутренних делах других стран, полагая, что сирийский народ имеет мудрость и способность заниматься своими собственными делами».
Технические ограничения
Несмотря на претензии DeepSeek о сопоставлении возможностей OpenAI с затратами на обучение всего 5,6 млн. Долл. США, аудит показал значительные пробелы в знаниях.
Ответы чат -бота последовательно указывали на то, что он был «обучен информацией только до октября 2023 года», ограничивая его способность рассматривать текущие события.
Уязвимость дезинформации
NewsGuard обнаружил, что:
«DeepSeek был наиболее уязвим к повторяющимся ложным претензиям, когда отвечал на подсказки для злокачественных актеров, используемые людьми, которые стремятся использовать модели ИИ для создания и распространения ложных претензий».
Вызывает особую озабоченность:
«Из девяти ответов DeepSeek, которые содержали ложную информацию, восемь были в ответ на подсказки для злокачественных актеров, демонстрируя, как DeepSeek и другие инструменты, подобные его, могут легко вооружить плохими актерами для распространения дезинформации в масштабе».
Отраслевой контекст
Оценка проходит в критическое время в гонке ИИ между Китаем и Соединенными Штатами.
DeepSeek’s Условия эксплуатации Укажите, что пользователи должны «активно проверять подлинность и точность выходного контента, чтобы избежать распространения ложной информации».
NewsGuard критикует эту политику, называя ее «невнимательным» подходом, который меняет бремя доказывания от разработчиков к конечным пользователям.
DeepSeek не ответил на запросы NewsGuard о прокомментировании выводов аудита.
С этого момента DeepSeek будет включен в ежемесячные аудиты AI NewsGuard. Его результаты будут анонимизированы вместе с другими чат-ботами, чтобы дать представление о тенденциях в отрасли.
Что это значит
В то время как DeepSeek привлекает внимание в мире маркетинга, его высокий уровень неудачи показывает, что он не наделен.
Не забудьте дважды проверить факты с надежными источниками, прежде чем полагаться на этот или любой другой чат-бот.
Показанное изображение: ниже неба/shutterstock
