- OpenAI заявляет, что атаки быстрого внедрения невозможно полностью устранить, а только смягчить
- Вредоносные подсказки, скрытые на веб-сайтах, могут заставить браузеры с искусственным интеллектом украсть данные или установить вредоносное ПО.
- Цикл быстрого реагирования OpenAI использует состязательное обучение и автоматическое обнаружение для усиления защиты.
OpenAI утверждает, что браузеры с искусственным интеллектом никогда не будут полностью защищены от атак с быстрым внедрением. Однако это не означает, что отрасли следует просто отказаться от этой идеи или поддаться мошенникам — существуют способы ужесточить качество продуктов.
Компания выпустила новый Сообщение в блоге обсудила риски кибербезопасности в своем браузере Atlas на базе искусственного интеллекта и выразила несколько мрачный прогноз.
«Быстрое внедрение, подобное онлайн-мошенничеству и социальной инженерии, вероятно, никогда не будет полностью «решено», — говорится в блоге. «Но мы надеемся, что упреждающий и быстро реагирующий цикл быстрого реагирования может продолжать значительно снижать реальные риски с течением времени. Сочетая автоматическое обнаружение атак с состязательным обучением и защитой на уровне системы, мы можем раньше обнаруживать новые модели атак, быстрее устранять бреши и постоянно увеличивать стоимость эксплуатации».
Цикл быстрого реагирования
Так что же такое немедленная инъекция и что представляет собой этот подход «цикла быстрого реагирования»?
Подсказка — это тип атаки, при которой вредоносная подсказка «вводится» в ИИ-агент без ведома или согласия жертвы.
Например, браузеру с искусственным интеллектом можно разрешить читать весь контент на веб-сайте. Если этот веб-сайт является вредоносным (или взломан) и содержит скрытую подсказку (например, белые буквы на белом фоне), ИИ может ответить на нее, даже не заметив пользователя.
Этот запрос может быть любым: от извлечения конфиденциальных файлов до загрузки и запуска вредоносных надстроек браузера.
Видимо OpenAI хочет бороться с огнем огнем. Компания создала бота, обученного с помощью обучения с подкреплением, и предоставила хакеру возможность найти способы. Бота противопоставляет ИИ-защитник, который затем ходит туда-сюда, пытаясь перехитрить друг друга. Конечным результатом является ИИ-защитник, способный распознавать большинство методов атак.
Лучшая антивирусная программа на любой бюджет
Следите за TechRadar в Новостях Google. И Добавьте нас в качестве предпочтительного источника чтобы получать новости, обзоры и мнения наших экспертов в своих лентах. Обязательно нажмите кнопку «Подписаться»!
И ты, конечно, тоже можешь Следите за TechRadar в TikTok за новостями, обзорами, распаковками в видео-форме и получайте от нас регулярные обновления WhatsApp к.
