Необходимо сделать больше для решения проблемы нехватки навыков и ресурсов в области интеграции и безопасности искусственного интеллекта, сказала Мария Маркстедетер, генеральный директор и основатель Azeria Labs, аудитории на недавней конференции Dynatrace Perform 2024 в Лас-Вегасе.
Чтобы бороться с рисками, создаваемыми новыми инновациями, такими как агенты искусственного интеллекта и составной искусственный интеллект, группам безопасности и специалистам по обработке данных необходимо улучшить взаимодействие и сотрудничество.
Маркстедтер испытала разочарование, связанное с нехваткой ресурсов из-за своего опыта обратного проектирования процессоров ARM, и считает, что для минимизации угроз, создаваемых интеграцией ИИ, необходимо лучшее сотрудничество и понимание.
«Невозможно найти уязвимости в системе, которую вы не до конца понимаете».
Растущий размер и сложность данных, обрабатываемых моделями ИИ, расширяют границы возможностей групп по моделированию угроз безопасности, особенно когда у специалистов по безопасности нет ресурсов, чтобы понять это.
Новые атаки и новые уязвимости одновременно требуют понимания науки о данных и того, как работают системы искусственного интеллекта. [have] «Очень глубокое понимание безопасности, моделирования угроз и управления рисками», — объясняет Маркстедтер.
Это особенно актуально, когда речь идет о новых мультимодальных системах искусственного интеллекта, которые могут одновременно обрабатывать несколько входных данных, таких как текст, аудио и изображения. Маркстедтер отмечает, что, хотя унимодальные и мультимодальные системы ИИ сильно различаются по данным, которые они могут обрабатывать, общий характер взаимодействия человека и ИИ остается в основном одинаковым.
«Эта транзакционная природа — не та панацея, на которую мы надеялись. Именно здесь в игру вступают агенты ИИ».
Агенты ИИ обеспечивают решение этой в высшей степени транзакционной природы, по сути, имея возможность рассуждать о своей задаче и производить уникальный конечный результат в зависимости от информации, доступной им в данный момент.
Это представляет собой значительную и беспрецедентную угрозу для команд безопасности, поскольку «понятие управления доступом и идентификацией должно быть переоценено, поскольку мы, по сути, вступаем в мир, где у нас есть недетерминированная система, которая обеспечивает доступ к широкому спектру бизнес-данных». приложения и имеет разрешение на выполнение недетерминированных действий.
Маркстедтер утверждает, что, поскольку этим агентам ИИ требуется доступ к внутренним и внешним источникам данных, существует значительный риск того, что этим агентам будут переданы вредоносные данные, которые в противном случае показались бы безвредными оценщику безопасности.
«Эта обработка внешних данных становится еще более сложной с мультимодальным ИИ, поскольку вредоносные инструкции больше не обязательно должны быть частью текста на веб-сайте или в электронном письме, а могут быть скрыты в изображениях и аудиофайлах».
Однако это не все плохие новости. Разработка составных систем, объединяющих несколько технологий искусственного интеллекта в один продукт, может «создать инструменты, которые дадут нам гораздо более интерактивный и динамичный аналитический опыт».
Объединив моделирование угроз с составным искусственным интеллектом и поощряя группы безопасности к более тесному сотрудничеству с учеными по обработке данных, можно не только значительно снизить риски, связанные с интеграцией искусственного интеллекта, но и улучшить возможности групп безопасности.
Больше от TechRadar Pro
