За последнее десятилетие мы усовершенствовали наш подход к переводу концепция красной команды к последним технологическим инновациям, включая ИИ. AI Red Team тесно связана с традиционными красными командами, но также обладает необходимым опытом в области ИИ для проведения сложных технических атак на системы ИИ. Чтобы гарантировать, что они имитируют реалистичную активность противника, наша команда опирается на последние аналитические данные от команд Google Threat Intelligence мирового уровня, таких как нищий и Группа анализа угроз (TAG), Красная команда по борьбе со злоупотреблением содержимым в области доверия и безопасности, а также исследование последних атак из Google DeepMind.

Распространенные типы атак Red Team на системы ИИ

Одна из основных обязанностей команды Google AI red — проводить соответствующие исследования и адаптировать их для работы с реальными продуктами и функциями, использующими ИИ, чтобы больше узнать об их влиянии. В ходе учений могут быть получены выводы в области безопасности, конфиденциальности и злоупотреблений, в зависимости от того, где и как используется технология. Чтобы определить эти возможности для улучшения безопасности, мы используем тактику, методы и процедуры злоумышленников (TTP) для тестирования различных средств защиты системы. сегодня отчет, есть список TTP, которые мы считаем наиболее актуальными и реалистичными для реальных противников и упражнений красной команды. Они включают в себя быстрые атаки, интеллектуальный анализ обучающих данных, модельный бэкдор, враждебные примеры, отравление данных и эксфильтрацию.