Во время упражнения за красную команду в 3 часа ночи мы запустили информацию о входе в систему CTO -потому что один, злокачественный день Div на внутренней стороне выпуска GitHub объявил об этом. Агент работал с использованием браузера, рамки с открытым исходным кодом, которая только собирала идентификацию заголовка в размере 17 миллионов долларов.
Эта 90-секундная проверка концепции иллюстрирует большую угрозу: во время венчурных денег, чтобы сделать агентов с крупной языковой моделью (LLM) быстрее, «щелкните» по своим социальным, организационным и техническим доверительным ограничениям. Автономные агенты просмотра в настоящее время планируют поездки, голосуют счета и читают частные почтовые ящики, но отрасль рассматривает безопасность как элемент, а не как требования к дизайну.
Наш аргумент прост: агентские системы, которые интерпретируют и реагируют живой веб -контент, должны принять архитектуру безопасности, прежде чем ваше введение превысит нашу способность сдерживать ошибки.
Старший консультант по охране кибербезопасности и консультант по безопасности кибербезопасности и консультант по кибербезопасности и эксперт по безопасности искусственного искусства в Arimlabs.
Агент взрыв
Использование браузера находится в центре сегодняшнего взрыва агента. Всего за несколько месяцев более 60 000 звезд GitHub и один из Felicis с участием Пола Грэма и других Saatgut -Saatgut -Saatut -rouse, который позиционировал себя как «слой промежуточного программного обеспечения» между LLMS и Live -WEB.
Аналогичные инструментальные наборы Hypertait, Surf, еженедельные плагины, представляющие Agentloom, которые обещают автоматизацию без трения от всех, от разрешения затрат, чтобы проверить исходный код. Исследователи рынка уже имеют 82 % крупных компаний, которые управляют хотя бы одного агента по искусственному искусству в производственных рабочих процессах и прогнозируют 1,3 миллиарда потребителей предприятия к 2028 году.
Тем не менее, та же открытость, которая стимулирует инновации, также раскрывает важную область атаки: разбор в соборе, быстрые шаблоны, браузеры без головы, API сторонних поставщиков и пользовательские данные в реальном времени перекрываются непредсказуемым образом.
Наше новое исследование, «Скрытые опасности поиска агентов искусственного интеллекта» предлагают первую сквозную модель угроз для просмотра агентов и предлагают реализуемые инструкции по обеспечению их обеспечения в реальных условиях.
Чтобы исправить обнаруженные угрозы, мы предлагаем защиту стратегии глубины, которая включает в себя дезинфекцию ввода, выделение выполнения планировщиков, формальные устройства анализа и защиту сеанса. Эти меры защищают как первоначальный доступ, так и от использования векторов атаки.
Анализ белой коробки
Благодаря анализу белой коробки использования браузера, мы показываем, как ни один заслуживающий доверия веб -контент не может похитить поведение агента и привести к критическим нарушениям кибербезопасности. Наши результаты включают в себя быструю инъекцию, обход проверки домена и информацию о входе в систему, которая задокументирована выявленным CVE и рабочим доказательством Exploit, не наткнувшись на сегодняшний фильтр безопасности LLM.
Среди выводов:
1. Поворот ввода. Единый вне экрана элемент вводил «систему», которая заставила агента отправить память о его сеансе нападающему по электронной почте.
2. Обход проверки домена. Эвристическая проверка URL-адреса из браузера использует неудачу в гомографах Unicode и позволил противникам контрабанды командами из альтернативных доменов.
3 .. молчаливое боковое движение. Как только агент имеет файлы cookie пользователя, он может вывести его во всех подключенных свойствах SaaS и вставить себя в законные протоколы автоматизации.
Это не теоретические окраины; Они являются неотъемлемыми последствиями разрешения LLM, вместо того, чтобы просто отвечать на то, что является основной причиной изложенного эксплуатации выше. Как только эта линия пересекается, каждый байт входного (видимого или скрытого) становится потенциальной начальной нагрузкой выгод.
Конечно, обзорность с открытым исходным кодом и красно -совлажная по исправлениям -Browser использует патч в течение нескольких дней после нашего отчета CVE. А защитники уже могут захватить агентства Sandpit, вводить записи и ограничить области инструментов. Тем не менее, эти сокращения являются дополнительными дополнениями, в то время как угроза является системной. Если вы полагаетесь на постходовую твердость, ранние войны браузера имитируются, когда безопасность следовала функциональности, а загрузки стали нормой.
Архитектурная проблема
Правительства замечают архитектурную проблему. Структура NEST для управления рисками NIST призывает организации взвесить конфиденциальность, безопасность и социальные последствия в качестве первоклассных технических требований. Европейский Закон об искусственном интеллекте вводит в прозрачность, техническую документацию и мониторинг обязательств для поставщиков общих правил для моделей, которые используют агентские рамки, такие как браузеры.
В Атлантике правило раскрытия информации о кибер-риске США 2023 года от кибер-риска быстро ожидает инцидентов по обеспечению безопасности и подробной практики управления рисками ежегодно. Аналитики уже рекомендуют доски из списка Fortune 500 для лечения автоматизации с AI на основе AI, как кибер-риск заголовка в предстоящих приложениях с 10 K. Reuters: «Если автономный агент смотрит в систему входа в систему, у менеджеров есть редкая область, чтобы утверждать, что нарушение« незначительно ».
Инвесторы, которые вставляют восемнадцать сумм в стартапы агентов, теперь должны зарезервировать ту же долю на взлетно-посадочной полосе для моделирования угроз, формального обзора и непрерывных споров. Предприятия, которые контролируют эти инструменты, должны требовать:
Изоляция по умолчанию. Агенты должны разделять планировщиков, исполнителей и информацию о регистрации Oracle взаимно подозрительные процессы и говорить только о подписанных стратегических сообщениях Protobuf.
Дифференциальное начало привязки. Критическая технология кредитования: запросить человеческую совместную подпись для конфиденциальных мер.
Непрерывная красная команда трубопроводов. Сделайте противоречивую HTML и джейлбрейк части CI/CD. Если модель не выполняет ни одного теста.
Социальные SBOMS. В дополнение к счетам программного материала, поставщики должны публиковать области безопасности: какие именно данные, роли и права выигрывают злоумышленник, когда агент поступит. Это соответствует призыву AI-RMF после прозрачности в отношении индивидуальных и социальных рисков.
Регулирующие стрессовые тесты. Развертывания для критических инфраструктур должны существовать через третьих лиц, высокопоставленные выводы которых являются общественными, отражение банковских стресс-тестов и укрепление режима под открытым небом ЕС и США.
Долг безопасности
Интернет не начался и стала комфортно. Это началось комфортно, и мы все еще платим долг по безопасности. Не позволяйте нам репетировать эту историю с помощью автономных агентов. Представьте себе более ранние кибер -инциденты, умноженные на автономные агенты, которые работают на скорости машины и содержат постоянную информацию для входа в систему для каждого инструмента SaaS для каждого инструмента SaaS, для трубопровода CI/CD и для датчика IoT в компании. Следующий «невидимый день дел» может истечь более одного пароля: SPS устанавливает точки в системе обработки воды, вызовы Miscoute 911 или загрузка объема, загрузите пенсионные записи всего состояния.
Если следующие 17 миллионов долларов США на демонстрационных ролях пойдут вместо закаленных границ, секрет 3 -AM, который вы теряете, можно не только смущать -он мог бы открыть блокировку для ядовитых поставков, доставки топлива или аварийных сбоев. Этот риск больше не теоретический; Это страховая математическая, нормативная и в конечном итоге лично для каждого инвестора, инженера и производителя политика в курсе.
Следовательно, безопасность или неспособность агента AI не является философской дебатами. Это крайний срок. Либо мы теперь приглашаем расходы на доверие.
Мы предлагаем лучший бот для ИИ для бизнеса.
Эта статья была произведена в рамках канала Expert Insights Techradarpro, в котором мы сегодня предлагаем лучшие и умные руководители в технологической индустрии. Взгляды, выраженные здесь, относятся к авторскому и не обязательно мнениям Techradarpro или Future PLC. Если вы заинтересованы в том, чтобы определить больше здесь: