- Исследователи воспроизвели взлом Equifax и увидели, как ИИ все делал без прямого контроля
- ИИ
- Команды оболочки не требовались, ИИ действовал как планировщик и делегировал все остальное
Крупные модели (LLMS) уже давно рассматриваются как полезные инструменты в таких областях, как анализ данных, генерация контента и поддержка кода.
Новое исследование, однако Университет Карнеги МеллонаВыполняемый в сотрудничестве с антропной, поднял сложные вопросы о вашей роли в кибербезопасности.
Исследование показало, что LLM могут планировать и выполнять сложные кибератаки без человеческого руководства в правильных условиях, что указывает на сдвиг простой поддержки полной автономии цифрового вторжения.
От головоломки до корпоративной среды
Более ранние эксперименты с ИИ в кибербезопасности были в основном ограничены сценариями «захват-флаг» и упрощенными проблемами для обучения.
Команда Carnegie Mellon под руководством кандидата в докторскую степень Брайана Сингера продолжила, дав LLMS структурированные инструкции и интегрируя их в иерархию агентов.
С этими настройками вы смогли проверить модели в более реалистичных настройках сети.
В одном случае вы воспроизвели те же условия, которые привели к нарушению Equifax 2017 года, включая слабости и макет, документированные в официальных отчетах.
ИИ не только планировал атаку, но и установил вредоносное ПО и извлекла данные без прямых человеческих команд.
Что заметно, что это исследование, так это то, как было мало необработанного кодирования LLM. Традиционные подходы часто терпят неудачу, потому что модели испытывают трудности с выполнением команд Shell или анализируют подробные протоколы.
Вместо этого эта система была основана на структуре на более высоком уровне, в которой LLM действовал как планировщик и в то же время делегирует действия на более низких уровнях.
ИИ дал эту абстракцию достаточно контекста, чтобы «понять» и адаптироваться к его окружению.
Хотя эти результаты были достигнуты в контролируемых лабораторных условиях, они поднимают вопросы о том, как далеко может зайти эта автономия.
Риски здесь не только гипотетические. Если LLM могут сами наносить травмы сети, злонамеренные актеры могут использовать их для масштабирования атак далеко за пределы того, что возможно с человеческими командами.
Даже такие инструменты, как защита конечных точек и лучшее антивирусное программное обеспечение, могут быть проверены такими адаптивами и быстрыми ингредиентами реакции.
Тем не менее, есть потенциальные преимущества для этой способности. LLM, который имитирует реалистичные атаки, может использоваться для улучшения системных тестов и выявления ошибок, которые в противном случае остались бы незамеченными.
«Это работает только при определенных условиях, и у нас нет ничего, что Интернет мог бы атаковать только автономно … но это критический первый шаг», — сказал Сингер, что эта работа остается прототипом.
Тем не менее, способность ИИ воспроизвести серьезное нарушение с минимальным входом не должна быть отвергнута.
В следующем исследовании теперь можно использовать то же методы защиты, что может даже позволить агентам ИИ идентифицировать или блокировать атаки в режиме реального времени.
Вы также можете понравиться
