ОпенАИведущий стартап в области искусственного интеллекта, сегодня объявил о формировании новой команды под названием Коллективное выравнивание, состоящий из исследователей и инженеров. Цель этой команды — создать систему для сбора и «КОДИРОВАТЬ«Отзывы общественности о поведении модели в IA на OpenAI в своих продуктах и ​​услугах.

Команда «Коллективное выравнивание» является результатом публичной программы, запущенной OpenAI в мае прошлого года и направленной на финансирование экспериментов по созданию «демократический процесс», чтобы определить правила, которым должны следовать системы ИИ. Л'цель программы было то, что Финансируйте отдельных лиц, команды и организации для разработки доказательств концепции. это могло бы ответить на вопросы об управлении и ограничениях для ИИ.

в Сообщение блогаOpenAI подвела итоги работы получателей грантов, которая варьируется от интерфейсов видеочатов до платформ для коллективного аудита моделей ИИ и подходов к картированию убеждений для уточнения поведения моделей. Весь код, использованный получателями грантов, был обнародован вместе с кратким изложением каждого предложения и выводами высокого уровня.

OpenAI попыталась представить программу отдельно от своих коммерческих интересов. Однако, учитывая критику Сэм Альтман, генеральный директор OpenAIЧто касается регулирования в ЕС и других странах, возможно, будет трудно принять это утверждение. Альтман вместе с президентом OpenAI, Грег Брокмани другие главный научный сотрудник Илья Суцкевер, неоднократно заявлял, что темпы инноваций в области искусственного интеллекта настолько высоки, что мы не можем ожидать, что существующие власти будут адекватно контролировать эту технологию, отсюда и необходимость привлечения общественности.

Некоторые конкуренты OpenAI, в том числе Meta, обвинили OpenAI (и других) в попытке получить «Регуляторный захват индустрии искусственного интеллекталоббирование против открытых исследований и разработок в области искусственного интеллекта. OpenAI отрицает эти обвинения и, скорее всего, укажет на программу грантов и команду «Коллективного выравнивания» как на примеры своей «открытие«.

OpenAI в настоящее время находится под пристальным вниманием законодателей, поскольку в Великобритании ведется расследование ее отношений с партнером и инвестором Microsoft. В последнее время стартап пытается снизить нормативный риск в ЕС в отношении конфиденциальности данныхиспользуя дочернюю компанию в Дублине, чтобы ограничить возможность односторонних действий со стороны некоторых регуляторов конфиденциальности в блоке.

Вчера, вероятно, чтобы успокоить регуляторов, OpenAI объявила, что работает с организациями, чтобы ограничить способы использования ее технологии для злонамеренного влияния на выборы. Усилия стартапа включают в себя сделать более очевидным, когда изображения генерируются ИИ используя свои инструменты и разрабатывая подходы для идентификации созданного контента даже после изменения изображений.

Программа грантов OpenAI

Программа грантов OpenAI, запущенная в мае прошлого года, направлена ​​на финансирование экспериментов, направленных на разработку демократического процесса установления правил, которым должны следовать системы искусственного интеллекта. Эта программа привела к формирование команды Коллективного Согласованиякоторый будет собирать и интегрировать отзывы общественности в модели искусственного интеллекта OpenAI.

Получатели грантов проделали самую разную работу: от создания интерфейсов видеочатов до платформ для коллективного аудита моделей ИИ. Один из Основные цели заключались в том, чтобы определить способы отображения убеждений и измерений. который можно использовать для настройки поведения моделей ИИ.

Весь код, разработанный получателями грантов, был обнародован вместе с кратким изложением каждого предложения и извлеченных уроков. Такая открытость в обмене результатами направлена ​​на содействие большей прозрачности и сотрудничеству в области искусственного интеллекта.

Команда Коллективного Согласования

Он объединяет Коллективное выравнивание была создана OpenAI для обеспечения соответствия моделей ИИ человеческим ценностям посредством сбора и учета отзывов общественности. Эта команда состоит из исследователей и инженеров с различными техническими навыками, которые они будут работать над разработкой системы кодификации и реализации обратной связи в поведении моделей OpenAI AI.

Команда Collective Alignment создана в рамках грантовой программы OpenAI и будет работать совместно с внешними консультантами над разработкой прототипов и тестированием новых решений. Л'Конечная цель – создать демократический и основанный на широком участии процесс установления правил. которым должны следовать модели ИИ, чтобы гарантировать их соответствие человеческим ценностям.

OpenAI в настоящее время набирает исследователей и инженеров с различными техническими навыками, чтобы присоединиться к команде Collective Alignment. Это демонстрирует стремление OpenAI использовать широкий спектр точек зрения и опыта для обеспечения того, чтобы модели ИИ разрабатывались этично и соответствовали человеческим ценностям.

Проблема регулирования ИИ

OpenAI и другие игроки в области искусственного интеллекта столкнулись с проблемой регулирования. Многие утверждают, что темпы инноваций в области искусственного интеллекта настолько высоки, что существующие регуляторы не могут за ними поспевать. Это подтолкнуло OpenAI к поиску альтернативных решений, таких как привлечение общественности к определению правил для моделей ИИ.

Однако некоторые конкуренты OpenAI обвиняют компанию в попытке получить «Регуляторный захват индустрии искусственного интеллекта«через давление против открытых исследований и разработок. OpenAI отвергает эти обвинения и утверждает, что стремится к открытости и сотрудничеству, о чем свидетельствуют программа грантов и команда Collective Alignment.

Регулирование ИИ — сложная и дискуссионная тема. Многие подчеркивают необходимость четких правил для обеспечения безопасного и этичного использования ИИ, в то время как другие утверждают, что чрезмерное регулирование может препятствовать инновациям. Задача для OpenAI и других игроков в этой сфере заключается в следующем: найти баланс между инновациями и ответственностью.

Важность прозрачности

OpenAI стремится к прозрачность в сфере искусственного интеллекта. Кодекс совместного использования, разработанный получателями грантов, является одним из примеров такого обязательства. Такая открытость позволяет каждому увидеть и понять, как разрабатываются модели ИИ и какие правила соблюдаются.

Прозрачность является ключом к обеспечению доверия потребителей и пользователей к ИИ. Это позволяет вам понять, как модели ИИ принимают решения, и выявить любые предвзятости или нежелательное поведение. OpenAI стремится быть прозрачным в процессе принятия решений и привлекать общественность к установлению правил для моделей ИИ.

OpenAI на рассмотрении

OpenAI в настоящее время находится под пристальным вниманием регулирующих органов, особенно в Великобритании, где продолжается расследование ее отношений с Microsoft, ее партнером и инвестором. Стартап стремился снизить регуляторный риск в ЕС, используя дочернюю компанию в Дублине для ограничения односторонних действий со стороны регуляторов конфиденциальности.

Приверженность OpenAI регулированию использования своей технологии также очевидна в ее сотрудничестве с организациями по ограничению злонамеренного влияния на выборы. OpenAI разрабатывает инструменты для идентификации контента, созданного ИИ, и повышения его узнаваемости. Это обязательство демонстрирует ответственность компании за обеспечение этичного и ответственного использования ее технологий.