Когда ChatGTP был добавлен в Slack, он был призван облегчить жизнь пользователям за счет агрегирования разговоров, составления быстрых ответов и многого другого. По данным охранной компании ПодсказкаброняКогда вы попытаетесь выполнить эти и другие задачи, ваши личные разговоры могут быть скомпрометированы с помощью метода, называемого быстрым внедрением.

Охранная компания предупреждает, что, объединяя разговоры, она также может получить доступ к личным прямым сообщениям и Обманить других пользователей Slack при помощи фишинга. Slack также позволяет пользователям запрашивать данные из частных и общедоступных каналов, даже если пользователь к ним не присоединился. Что звучит еще страшнее, так это то, что пользователю Slack не обязательно находиться на канале, чтобы атака сработала.

Теоретически атака начинается с того, что пользователь Slack обманом заставляет ИИ Slack раскрыть закрытый ключ API, создавая общедоступный канал Slack с вредоносным приглашением. Вновь созданное приглашение сообщает ИИ заменить слово «конфетти» ключом API и отправить его на определенный URL-адрес, когда кто-то об этом попросит.

Ситуация состоит из двух частей: Slack обновил систему искусственного интеллекта, чтобы получать данные из загрузок файлов и прямых сообщений. Во-вторых, существует метод под названием «Быстрая инъекция», который, как доказала компания PromptArmor, может создавать вредоносные ссылки, которые могут побуждать пользователей к фишингу.

Этот метод позволяет приложению обойти обычные ограничения, изменив его основные инструкции. Поэтому PromptArmor продолжает: «Быстрая инъекция происходит потому, что [large language model] не может отличить «системное приглашение», созданное разработчиком, от остального контекста, прикрепленного к запросу. Поэтому, если Slack AI получит инструкцию о сообщении и эта инструкция окажется вредоносной, существует высокая вероятность того, что Slack AI выполнит эту инструкцию вместо или в дополнение к пользовательскому запросу».

Что еще хуже, файлы пользователя также подвергаются атаке, и злоумышленнику, нацеленному на ваши файлы, даже не обязательно находиться в рабочей области Slack.