- Microsoft предлагает приз в размере 10 000 долларов хакерам, которые смогут использовать уязвимости в ее LLM
- Задача будет сосредоточена на быстрой защите от инъекций.
- Разработчики программного обеспечения и хакеры часто работают вместе, чтобы обнаружить и исправить ошибки.
Вы опытный хакер и хотите подзаработать в это Рождество? Что ж, возможно, вам повезло, потому что Microsoft вместе с Институтом науки и технологий Австралии и ETH Zurich спонсирует соревнование, в котором участники пытаются взломать смоделированный встроенный почтовый клиент модели большого языка (LLM).
Команды-победители LLMail Inject Challenge получит долю от призового фонда в размере 10 000 долларов США.
Участники должны войти в соревнование с учетной записью GitHub и создать команду. Затем командам предлагается обойти защиту от мгновенного внедрения в смоделированном почтовом клиенте, интегрированном с LLM. Служба LLmail включает в себя помощника, который может отвечать на вопросы и выполнять действия от имени пользователя, а также, что особенно важно, включает защиту от непрямых задач по внедрению подсказок.
Взаимовыгодные отношения
Обходя защиту от внедрения, хакеры пытаются заставить LLM делать или раскрывать вещи, которым он не обучен. Таким образом, Microsoft стремится выявлять уязвимости в своих текущих средствах защиты с немедленным внедрением и способствовать разработке надежных мер безопасности.
Отношения между исследователями безопасности и разработчиками программного обеспечения часто используются таким образом: Google часто предлагает «награду за обнаружение ошибок» любому, кто обнаружит и воспользуется уязвимостями в своей облачной платформе Google.
Аналогичным образом, Microsoft недавно объявила, что проведет собственное хакерское мероприятие в стиле «черной шляпы», на котором конкуренты будут искать уязвимости в Microsoft AI, Azure, Identity, Dynamics 365 и M365.
Применяя упреждающий подход к устранению потенциальных уязвимостей, компании-разработчики программного обеспечения могут снизить риски до того, как они смогут быть использованы злоумышленниками в реальных сценариях. Искусственный интеллект Slack стал объектом вредоносных оперативных внедрений, что, к счастью, было обнаружено исследователями безопасности, но могло привести к реальным проблемам с безопасностью.
Над Регистр
Вам также может понравиться это
