Примечание редактора: сегодня Google, Microsoft, OpenAI и Anthropic опубликовали следующее совместное заявление, в котором Крис Мезероль был назначен первым исполнительным директором Frontier Model Forum и объявлено о создании Фонда безопасности искусственного интеллекта стоимостью 10 миллионов долларов.

• Крис Мезероль назвал первого исполнительного директора Frontier Model Forum, отраслевой организации, занимающейся обеспечением безопасной и ответственной разработки и использования передовых моделей ИИ во всем мире.
• Мезероль обладает богатым опытом, сосредоточенным на управлении и безопасности новых технологий и их будущих приложений.
• Сегодня члены Форума вместе с партнерами-филантропами — Фондом Патрика Дж. Макговерна, Фондом Дэвида и Люсиль Паккард, Эриком Шмидтом и Яаном Таллинном — выделяют более 10 миллионов долларов в новый Фонд безопасности искусственного интеллекта для продвижения исследований в области непрерывного разработка инструментов. чтобы компания могла эффективно тестировать и оценивать наиболее эффективные модели искусственного интеллекта.

25 октября 2023 г. — Сегодня Anthropic, Google, Microsoft и OpenAI объявляют о выборе Крис Мезерол качестве первого исполнительного директора Форум моделей граници создание нового Фонда безопасности ИИ — инициативы стоимостью более 10 миллионов долларов, направленной на продвижение исследований в области безопасности ИИ. Frontier Model Forum, отраслевая организация, занимающаяся обеспечением безопасной и ответственной разработки передовых моделей искусственного интеллекта, также публикует первое обновление от своей технической рабочей группы Red Team, чтобы поделиться отраслевым опытом с более широкой аудиторией, поскольку Форум расширяет обсуждение ответственное управление ИИ. подходы.

Исполнительный директор

Крис Мезероль приезжает на Форум Frontier Model Forum с глубокими знаниями в области технологической политики, много работая над управлением и безопасностью новых технологий и их будущих приложений. Совсем недавно он занимал должность директора Инициативы по искусственному интеллекту и новым технологиям в Брукингском институте.

В этой новой роли Мезероль будет отвечать за помощь Форуму в выполнении своей миссии по (i) продвижению исследований в области безопасности ИИ для содействия ответственной разработке передовых моделей и минимизации потенциальных рисков, (ii) выявлению лучших практик безопасности для передовых моделей, (iii) ) делиться знаниями с политиками, учеными, гражданским обществом и другими лицами для продвижения ответственного развития ИИ; и (iv) поддерживать усилия по использованию ИИ для решения крупнейших проблем общества.

«Самые мощные модели ИИ имеют огромные перспективы для общества, но для реализации их потенциала нам необходимо лучше понимать, как их безопасно разрабатывать и оценивать. Я рад принять этот вызов на Форуме моделей Frontier. -Крис Мезерол

Фонд безопасности ИИ

За последний год отрасль добилась значительного прогресса в возможностях искусственного интеллекта. Поскольку этот прогресс ускоряется, необходимы дополнительные академические исследования в области безопасности ИИ. Чтобы восполнить этот пробел, Форум и его партнеры-филантропы создают новый Фонд безопасности искусственного интеллекта, который будет поддерживать независимых исследователей по всему миру, связанных с академическими учреждениями, исследовательскими институтами и стартапами. Первоначальные финансовые обязательства для Фонда безопасности ИИ исходят от Anthropic, Google, Microsoft и OpenAI, а также от щедрости наших партнеров-филантропов, Фонда Патрика Дж. Макговерна, Фонда Дэвида и Люсиль Паккард*, Эрика Шмидта и Яана. Таллинн. В общей сложности это составляет более 10 миллионов долларов первоначального финансирования. Мы ожидаем дополнительных взносов от других партнеров.

Ранее в этом году члены Форума подписали в Белом доме добровольные обязательства в области ИИ, включая обязательство облегчить третьим сторонам обнаружение и сообщение об уязвимостях в наших системах ИИ. Форум рассматривает Фонд безопасности искусственного интеллекта как важную часть выполнения этого обязательства, предоставляя внешнему сообществу финансирование для лучшей оценки и понимания пограничных систем. Глобальные дебаты о безопасности ИИ и общей базе знаний в области ИИ выиграют от более широкого спектра мнений и точек зрения.

Основная цель Фонда будет заключаться в поддержке разработки новых моделей оценки и методов для моделей искусственного интеллекта красной команды, чтобы помочь в разработке и тестировании методов оценки потенциально опасных границ возможностей систем. Мы считаем, что увеличение финансирования в этой области поможет повысить стандарты безопасности и даст представление о мерах по смягчению последствий и контролю, которые необходимы промышленности, правительствам и гражданскому обществу для реагирования на проблемы, создаваемые системами искусственного интеллекта.

В ближайшие месяцы Фонд объявит конкурс заявок. Управлять фондом будет институт «Меридиан». Их работу будет поддерживать консультативный совет, состоящий из независимых внешних экспертов, экспертов из компаний, занимающихся искусственным интеллектом, и людей, имеющих опыт работы в сфере грантов.

Техническая экспертиза

В течение последних нескольких месяцев Форум работал над созданием общего набора определений терминов, концепций и процессов, чтобы у нас было базовое понимание, на котором можно основываться. Таким образом, исследователи, правительства и другие коллеги в отрасли смогут иметь одну и ту же отправную точку в обсуждении вопросов безопасности и управления ИИ.

Чтобы способствовать взаимопониманию, Форум также стремится поделиться передовым опытом создания красных команд в отрасли. В качестве отправной точки Форум собрался вместе, чтобы выработать общее определение «красной команды» для ИИ и набор общих тематических исследований с новой точки зрения. обновление рабочей группы. Мы определили красную команду как структурированный процесс проверки систем и продуктов искусственного интеллекта с целью выявления вредоносных возможностей, результатов или инфраструктурных угроз. Мы будем опираться на эту работу и обязуемся работать вместе, чтобы продолжить наши усилия по созданию красной команды.

Мы также разрабатываем новый процесс ответственного раскрытия информации, с помощью которого передовые лаборатории ИИ могут обмениваться информацией, связанной с обнаружением потенциально опасных уязвимостей или возможностей в передовых моделях ИИ, а также связанных с ними мер по их устранению. Некоторые компании Frontier Model Forum уже обнаружили возможности, тенденции и способы смягчения последствий использования ИИ в национальной безопасности. Форум считает, что наши совместные исследования в этой области могут послужить примером того, как передовые лаборатории искусственного интеллекта могут усовершенствовать и внедрить процесс ответственного раскрытия информации в будущем.

И после

В ближайшие месяцы Frontier Model Forum создаст консультативный совет, который будет помогать определять его стратегию и приоритеты, представляя широкий спектр точек зрения и опыта. Будущие выпуски и обновления, включая информацию о новых участниках, будут поступать непосредственно с форума Frontier Model Forum, поэтому следите за обновлениями на их веб-сайте для получения дополнительной информации.

Фонд безопасности ИИ объявит свой первый конкурс заявок в ближайшие месяцы, и мы ожидаем, что гранты будут выданы вскоре после этого.

Форум Frontier Model Forum также будет публиковать дополнительные технические результаты по мере их появления.

Форум рад сотрудничеству с Meserole и углублению нашего взаимодействия с более широким исследовательским сообществом, включая Партнерство с искусственным интеллектом, MLCommonsа также другие ведущие НПО, а также правительственные и транснациональные организации, чтобы помочь реализовать преимущества ИИ, одновременно способствуя его безопасному развитию и использованию.

*Фонд Дэвида и Люсиль Паккард намерен оказать поддержку, но на момент распределения финансирование еще не было официально объявлено.