- Исследователи безопасности обманом заставили компанию Claude Computer Use из Anthropic загрузить и запустить вредоносное ПО.
- Они говорят, что другие инструменты искусственного интеллекта также могут быть обмануты мгновенной инъекцией.
- GenAI также можно обманом заставить писать, компилировать и запускать вредоносное ПО.
В середине октября 2024 года Anthropic выпустила Claude Computer Use — модель искусственного интеллекта (ИИ), которая позволяет Клоду управлять устройством — и исследователи уже нашли способ злоупотребить ею.
Исследователь кибербезопасности Йоханн Ренбергер недавно описал, как ему удалось перехватить использование компьютера и обманом заставить ИИ загружать и запускать вредоносное ПО, а также заставить его взаимодействовать с инфраструктурой C2 — и все это с помощью подсказок.
Хотя это звучит устрашающе, здесь стоит упомянуть несколько вещей: Claude Computer Use все еще находится в стадии бета-тестирования, и компания оставила заявление об отказе от ответственности, в котором говорится, что Computer Use не всегда может работать так: «Мы предлагаем принять меры предосторожности, чтобы изолировать Claude от конфиденциальных данные и меры, позволяющие избежать рисков, связанных с немедленной инъекцией». Также стоит упомянуть, что это атака с быстрой инъекцией. что довольно часто встречается в инструментах искусственного интеллекта.
«Бесчисленные способы» злоупотребить ИИ
Ренбергер называет свой эксплойт ZombAI и говорит, что ему удалось получить инструмент для загрузки Sliver, законной системы управления и контроля (C2) с открытым исходным кодом, разработанной BishopFox для красной команды и тестирования на проникновение, но киберпреступники часто злоупотребляют вредоносным ПО.
Злоумышленники используют Sliver для установления постоянного доступа к скомпрометированным системам, выполнения команд и управления атаками, аналогично другим платформам C2, таким как Cobalt Strike.
Ренбергер также подчеркнул, что это не единственный способ злоупотребить инструментами генеративного ИИ и поставить под угрозу конечные точки посредством мгновенного внедрения.
«Есть бесчисленное множество других. Другой вариант, например, — поручить Клоду написать и скомпилировать вредоносное ПО с нуля», — сказал он. «Да, он может писать, компилировать и запускать код C».
«Есть много других вариантов».
В своем эссе Хакерские новости Также было обнаружено, что чат-бот DeepSeek AI уязвим для атаки с быстрым внедрением, которая может позволить злоумышленникам захватить компьютеры жертв. Кроме того, модели большого языка (LLM) могут генерировать escape-код ANSI, который можно использовать для захвата системных терминалов посредством внедрения подсказки в ходе атаки под названием Terminal DiLLMa.
Вам также может понравиться это
