В Интернете было (возможно, слишком много) разговоров о том, как OpenAI ChatGPT и аналогичные чат-боты с искусственным интеллектом (ИИ) изменят наш подход к работе.
С этим приходит определенная гибель: станут ли чат-боты ИИ посмешищем для науки? Упразднить экспертов? Они как-то догадаются? Я робот или Скайнет станет реальным?
Теперь эксперты из Университета Пердью, базирующегося в Уэст-Лафайетте, США, наконец, на тринадцати страницах дали окончательный ответ на этот вопрос. Бумага (PDF) и приходит к ранее немыслимому выводу, что чат-боты с искусственным интеллектом не знают всего.
Чат-боты с искусственным интеллектом и фактическая дезинформация
Работа основана на вопросах разработки программного обеспечения и сравнивает точность ответов ChatGPT с ответами реальных пользователей популярного портала вопросов и ответов по программированию Stack Overflow (по сути, достойные ответы Yahoo!).
Вездесущий чат-бот получил 517 вопросов, связанных с темой, найденной на сайте, и результаты неоспоримы.
52% ответов ChatGPT были неверными, а когда мы попросили Stack Overflow посчитать за нас, они ответили, что 48% ответов чат-бота были правильными.
Анализ — конечно не безошибочен
Исходя из этого, мы должны взять на себя обязательство использовать ИИ в Каспийском море. Мы должны уважать результат. Все началось со Стэнли Кубрика более 40 лет назад и заканчивается здесь. Отличная инициатива всех участников.
Мы можем шутить, но результаты Являются Конечно: ИИ как источник знаний не совсем работает, последствия очевидны и опасны.
Даже согласно этому исследованию, нечетное количество людей не знает и не интересуется потенциалом информации. В слепом дегустационном тесте в стиле Pepsi/Cola 12 участников с разным уровнем навыков программирования не смогли определить ответ, сгенерированный ИИ, в 39,34% случаев, предпочитая ответ, который оказался переполнением стека.
Из-за того, как представлены ответы, ChatGPT часто считается безошибочным, когда это абсолютно не так. Исследование показало, что даже правильные ответы охватывали все аспекты вопроса в 65% случаев, а пользователи часто принимали ложную информацию за истинную из-за «всеобъемлющих, хорошо сформулированных и гуманоидных» ответов.
- Чтобы получить реальный опыт работы в вашей организации, попробуйте это лучшие доски объявлений вместо
Над ZDNet
