В недавнем интервью Стэнфордскому университету генеральный директор OpenAI Сэм Альтман предсказал, что безопасность ИИ станет определяющей проблемой следующего этапа развития ИИ, заявив, что безопасность ИИ — одна из лучших областей для изучения прямо сейчас. Он также привел персонализированный ИИ как один из примеров проблемы безопасности, о которой он думал в последнее время.

Что сегодня означает безопасность ИИ?

Сэм Альтман сказал, что опасения по поводу безопасности ИИ будут переформулированы как проблемы безопасности ИИ, которые могут быть решены с помощью ИИ.

Ведущий интервью Дэн Боне спросил:

«Так что же значит безопасность системы искусственного интеллекта? Что значит даже попытка заставить ее делать то, для чего она не была предназначена?

Как защитить системы искусственного интеллекта от немедленных внедрений и других подобных атак? Что вы думаете о безопасности ИИ?

Я думаю, что конкретный вопрос, который я хочу задать, заключается в том, что среди всего разнообразия вещей, которые мы можем сделать с помощью ИИ, этот курс посвящен изучению одной части этой области. Это хороший район? Должны ли люди идти на это?»

Сэм Альтман призвал сегодняшних студентов изучать безопасность ИИ.

Он ответил:

«Я думаю, что это одна из лучших областей для изучения. Я думаю, что мы скоро движемся в мир, где многие проблемы безопасности ИИ, о которых люди традиционно говорили, будут по-разному преобразованы в проблемы безопасности ИИ.

Я также думаю, что, учитывая, насколько функциональными становятся эти модели, если мы хотим иметь возможность развернуть их для широкого использования, проблемы безопасности станут действительно большими. Вы упомянули многие области, которые, по моему мнению, очень важно выяснить. В частности, кажется, что устойчивость противника становится весьма серьёзной».

Альтман имеет в виду, что люди начинают находить способы обмануть системы ИИ, и проблема становится настолько серьезной, что исследователям и инженерам необходимо сосредоточиться на том, чтобы сделать ИИ устойчивым к манипуляциям и другим видам атак, таким как быстрые инъекции.

Персонализация ИИ становится проблемой безопасности

Альтман также сказал, что в последнее время он много думал о возможных проблемах безопасности при персонализации ИИ. Он сказал, что люди ценят персонализированные ответы от ИИ, но отметил, что это может открыть дверь злонамеренным хакерам, которые поймут, как украсть конфиденциальные данные (эксфильтрироваться).

Он объяснил:

«Я упомяну еще об одной вещи, которую вы немного затронули, но в последнее время я много об этом думаю. Есть две вещи, которые людям сейчас очень нравятся, и которые в совокупности представляют собой реальную угрозу безопасности.

Во-первых, людям нравится, насколько персонализированными становятся эти модели. Итак, ChatGPT теперь действительно узнает вас. Он персонализирует вашу историю разговоров, ваши данные, которые вы к нему подключили, и все остальное.

И во-вторых, вы можете подключить эти модели к другим сервисам. Они могут пойти и позвонить в Интернет и, знаете ли, сделать для вас что-то полезное.

Но чего вы действительно не хотите, так это того, чтобы кто-то смог извлечь данные из вашей личной модели, которая знает о вас все.

И люди, вы можете быть уверены в том, что они разумны в этом. Если вы расскажете своему супругу кучу секретов, вы можете быть как бы уверены, что он будет знать, в каком контексте что рассказать другим людям. Модели пока не очень хорошо справляются с этой задачей.

И поэтому, если вы как модель рассказываете все о своих, ну, знаете, частных проблемах со здоровьем, а потом это отключается, и у вас это похоже на покупку чего-то для вас, вы не хотите, чтобы этот сайт электронной коммерции знал обо всех ваших проблемах со здоровьем или чем-то еще.

Но это очень интересная проблема безопасности, которую можно решить со 100% надежностью».

Альтман считает персонализацию одновременно прорывом и новой возможностью для кибератак. Те же качества, которые делают ИИ более полезным, также делают его мишенью, поскольку моделями, которые учатся на индивидуальной истории, можно манипулировать, чтобы раскрыть их. Альтман показывает, как удобство может стать источником разоблачения, объясняя, что конфиденциальность и удобство использования теперь являются проблемами безопасности.

Наконец, Альтман вернулся к искусственному интеллекту как к проблеме безопасности и как к ее решению.

Он заключил:

«Да, кстати, это работает в обоих направлениях. Например, вы можете использовать его для защиты систем. Я думаю, что это будет иметь большое значение для кибератак в разное время».

Вынос

• Безопасность ИИ как следующий этап развития ИИ
  Альтман предсказывает, что безопасность ИИ заменит безопасность ИИ в качестве центральной задачи и возможности в области искусственного интеллекта.
• Персонализация как новая поверхность атаки
  Растущая тенденция к использованию систем искусственного интеллекта, которые учатся на пользовательских данных, вызывает новые проблемы безопасности, поскольку персонализация может предоставить злоумышленникам возможность извлечь конфиденциальную информацию.
• Двойная роль ИИ в кибербезопасности
  Альтман подчеркивает, что ИИ будет не только создавать новые угрозы безопасности, но и служить мощным инструментом для их обнаружения и предотвращения.
• Возникающая потребность в экспертных знаниях в области безопасности ИИ
  Комментарии Альтмана предполагают, что будет расти спрос на профессионалов, которые понимают, как ответственно защищать, тестировать и развертывать ИИ.