Новейшие инструменты искусственного интеллекта, созданные для того, чтобы быть умнее, делают больше фактических ошибок, чем более старые версии.
Как The New York Times основные моментыТесты показывают ошибки до 79% в продвинутых системах от таких компаний, как OpenAI.
Это может создать проблемы для маркетологов, которые полагаются на эти инструменты для контента и обслуживания клиентов.
Содержание
Повышение ошибок в расширенных системах искусственного интеллекта
Недавние тесты показывают тенденцию: новые системы ИИ менее точны, чем их предшественники.
Последняя система Openai, O3, получила неправильные факты в 33% случаев, отвечая на вопросы о людях. Это вдвое превышает частоту ошибок их предыдущей системы.
Его модель O4-Mini выполнялась еще хуже, с 48% частотой ошибок в том же тесте.
Для общих вопросов, результаты (Ссылка PDF) были:
- Ope O3 сделал ошибки в 51% случаев
- Модель O4-Mini была неверной в 79% случаев
Подобные проблемы появляются в системах от Google и DeepSeek.
AMR Awadallah, генеральный директор Vectara и бывшего руководителя Google, рассказывает The New York Times:
«Несмотря на все наши усилия, они всегда будут галлюцинировать. Это никогда не уйдет».
Реальные последствия для бизнеса
Это не просто абстрактные проблемы. Реальные предприятия сталкиваются с негативной реакцией, когда ИИ дает неверную информацию.
В прошлом месяце Cursor (инструмент для программистов) столкнулся с злыми клиентами, когда его бот поддержки искусственного интеллекта ложно заявил, что пользователи не могут использовать программное обеспечение на нескольких компьютерах.
Это не было правдой. А ошибка привел к отмененным счетам и публичным жалобам.
Генеральный директор курсора Майкл Труэлл должен был вмешаться:
«У нас нет такой политики. Вы, конечно, свободны использовать курсор на нескольких машинах».
Почему надежность снижается
Почему новые системы ИИ менее точны? Согласно отчету New York Times, ответ заключается в том, как они построены.
Такие компании, как Openai, использовали большую часть доступного интернет -текста для обучения. Теперь они используют «подкрепление обучения», которое включает в себя обучение ИИ посредством проб и ошибок. Этот подход помогает с математикой и кодированием, но, похоже, наносит ущерб фактической точности.
Исследователь Лаура Перес-Бельтрачини объяснила:
«То, как эти системы обучаются, они начнут сосредоточиться на одной задаче — и начнут забывать о других».
Другая проблема заключается в том, что более новые модели искусственного интеллекта «думают» шаг за шагом, прежде чем отвечать. Каждый шаг создает еще один шанс на ошибки.
Эти результаты касаются маркетологов, использующих ИИ для контента, обслуживания клиентов и анализа данных.
Содержание ИИ с фактическими ошибками может повредить вашему рейтингу и бренду.
Пратик Верма, генеральный директор Okahu, рассказывает The New York Times:
«Вы тратите много времени, пытаясь выяснить, какие ответы являются фактическими, а какие нет. Не дело с этими ошибками должным образом в основном устраняет ценность систем ИИ».
Защита ваших маркетинговых операций
Вот как защитить свой маркетинг:
- Попросите людей рассмотреть все контент ИИ, ориентированные на клиента
- Создать процессы проверки фактов для материала, сгенерированного AI
- Используйте ИИ для структуры и идей, а не фактов
- Рассмотрим инструменты искусственного интеллекта, которые цитируют источники (называемые поколением в поисках).
- Создайте четкие шаги, чтобы следовать, когда вы заметите сомнительную информацию AI
Дорога впереди
Исследователи работают над этими проблемами точности. Openai говорит, что «активно работает над снижением более высоких показателей галлюцинации» в своих более новых моделях.
Маркетинговые команды нуждаются в своих собственных гарантиях, при этом используя преимущества ИИ. Компании с сильными процессами проверки будут лучше сбалансировать эффективность ИИ с необходимостью точности.
Поиск этого баланса между скоростью и правильностью останется одной из самых больших проблем цифрового маркетинга, поскольку ИИ продолжает развиваться.
Показанное изображение: Конг/Shutterstock
