Киберугрозы быстро развиваются, и некоторые из крупнейших уязвимостей обнаруживаются не компаниями или производителями продуктов, а внешними исследователями безопасности. Вот почему мы уже давно поддерживаем коллективную безопасность посредством наших Программа вознаграждений за уязвимости (VRP), Проект Ноль и в области безопасности программного обеспечения с открытым исходным кодом. Именно поэтому в начале этого года мы присоединились к другим ведущим компаниям в области искусственного интеллекта в Белом доме, чтобы совершить способствовать обнаружению уязвимостей в системах искусственного интеллекта.
Сегодня мы расширяем наш VRP, чтобы вознаграждать за сценарии атак, специфичные для генеративного ИИ. Мы считаем, что это будет стимулировать исследования в области безопасности ИИ и выявлять потенциальные проблемы, которые сделают ИИ безопаснее для всех. Мы также расширяем нашу работу по обеспечению безопасности с открытым исходным кодом, чтобы сделать информацию о безопасности цепочки поставок ИИ общедоступной и поддающейся проверке.
Новые технологии требуют новых правил отчетности об уязвимостях
В рамках расширения VRP для ИИ, мы по-новому взглянем на то, как следует классифицировать ошибки и сообщать о них. Генеративный ИИ вызывает новые проблемы, отличные от традиционной цифровой безопасности, такие как риск несправедливых предубеждений, манипуляций с моделями или неправильной интерпретации данных (галлюцинаций). По мере того, как мы продолжаем интегрировать генеративный искусственный интеллект в большее количество продуктов и функций, наши команды по доверию и безопасности опираются на многолетний опыт и применяют целостный подход, чтобы лучше предвидеть и тестировать эти потенциальные риски. Но мы понимаем, что сторонние исследователи в области безопасности могут помочь нам найти и устранить новые уязвимости, которые сделают наши продукты генеративного ИИ еще безопаснее и надежнее. В августе мы присоединились к Белому дому и нашим коллегам из отрасли, чтобы дать возможность тысячам сторонних исследователей безопасности выявлять потенциальные проблемы на крупнейшей публичной конференции DEF CON. Событие Red Team с генеративным ИИ. Теперь, когда мы расширяем программу вознаграждений за обнаружение ошибок и выпускаем дополнительные рекомендации о том, на что, по нашему мнению, должны обращать внимание исследователи безопасности, мы делимся этими методические рекомендации чтобы каждый мог видеть, что находится «в объеме». Мы надеемся, что это побудит исследователей безопасности сообщать больше об ошибках и ускорит достижение цели создания более безопасного и надежного генеративного ИИ.
Два новых способа укрепить цепочку поставок ИИ
Мы представили нашу Secure AI Framework (SAIF), чтобы помочь отрасли создавать надежные приложения, и поощряли внедрение через AI Red Team. Первый принцип SAIF заключается в обеспечении прочной основы безопасности экосистемы ИИ, что означает защиту критически важных компонентов цепочки поставок, обеспечивающих машинное обучение (МО), от таких угроз, как подделка модели, отравление данныхи производство вредного контента.
Сегодня, чтобы лучше защититься от атак в цепочке поставок машинного обучения, мы расширение наша работа по обеспечению безопасности с открытым исходным кодом и развитие нашего предыдущего сотрудничества с Фонд безопасности открытого исходного кода. Команда Google Open Source Security Team (GOSST) использует SLSA И Магазин вывесок для защиты общей целостности цепочек поставок ИИ. SLSA включает в себя набор стандартов и средств контроля для повышения устойчивости цепочек поставок, а Sigstore помогает убедиться, что программное обеспечение для цепочек поставок соответствует тому, за что оно заявлено. Для начала сегодня мы объявление наличие первых прототипов для подписания моделей с Sigstore и проверки сертификатов с SLSA.
Это первые шаги в обеспечении безопасного и надежного развития генеративного ИИ – и мы знаем, что работа только начинается. Мы надеемся, что, поощряя дополнительные исследования в области безопасности и применяя безопасность цепочки поставок к ИИ, мы спровоцируем еще большее сотрудничество с сообществом безопасности с открытым исходным кодом и другими представителями отрасли и в конечном итоге будем способствовать повышению безопасности ИИ для всех.
