Компания Cerebras, занимающаяся искусственным интеллектом из Силиконовой долины, выпустила семь моделей GPT с открытым исходным кодом, чтобы обеспечить альтернативу жестко контролируемым и проприетарным системам, доступным сегодня.

Бесплатные модели GPT с открытым исходным кодом, включая веса и рецепт обучения, были выпущены Cerebras, компанией Cerebras, базирующейся в Силиконовой долине, инфраструктурой искусственного интеллекта для приложений искусственного интеллекта под строго разрешительной лицензией Apache 2.0.

В определенной степени семь моделей GPT являются доказательством концепции суперкомпьютера Cerebras Andromeda AI.

Инфраструктура Cerebras позволяет их клиентам, таким как Jasper AI Copywriter, быстро обучать свои собственные языковые модели.

А Сообщение в блоге Cerebras об аппаратной технологии отметил:

«Мы обучили все модели Cerebras-GPT на 16-кратном кластере CS-2 Cerebras Wafer-Scale Cluster под названием Andromeda.

Кластер позволил быстро завершить все эксперименты без традиционного проектирования распределенных систем и параллельной настройки моделей, необходимых для кластеров графических процессоров.

Самое главное, это позволило нашим исследователям сосредоточиться на разработке машинного обучения, а не распределенной системы. Мы считаем, что возможность легко обучать большие модели является ключевым фактором для широкого сообщества, поэтому мы сделали кластер Cerebras Wafer-Scale доступным в облаке через Студия моделирования ИИ Cerebras».

Модели Cerebras GPT и прозрачность

Cerebras ссылается на то, что владение технологией искусственного интеллекта сосредоточено всего в нескольких компаниях, как на причину создания семи моделей GPT с открытым исходным кодом.

OpenAI, Meta и Deepmind держат большой объем информации о своих системах в секрете и строго контролируют, что ограничивает инновации тем, что три корпорации решают, что другие могут делать с их данными.

Является ли система с закрытым исходным кодом лучшей для инноваций в области ИИ? Или за открытым исходным кодом будущее?

Cerebras пишет:

«Для того, чтобы LLM были открытой и доступной технологией, мы считаем важным иметь доступ к современным моделям, которые являются открытыми, воспроизводимыми и бесплатными как для исследовательских, так и для коммерческих приложений.

С этой целью мы обучили семейство моделей трансформаторов, используя новейшие методы и открытые наборы данных, которые мы называем Cerebras-GPT.

Эти модели являются первым семейством моделей GPT, обученных с использованием формулы Chinchilla и выпущенных по лицензии Apache 2.0».

Таким образом, эти семь моделей выпущены на обнимающее лицо и Гитхаб поощрять дополнительные исследования за счет открытого доступа к технологии искусственного интеллекта.

Эти модели были обучены с помощью суперкомпьютера Cerebras Andromeda AI, и на этот процесс ушло всего несколько недель.

Cerebras-GPT полностью открыт и прозрачен, в отличие от последних моделей GPT от OpenAI (GPT-4), Deepmind и Meta OPT.

OpenAI и Deepmind Chinchilla не предлагают лицензии на использование моделей. Meta OPT предлагает только некоммерческую лицензию.

OpenAI GPT-4 не имеет абсолютно никакой прозрачности в отношении своих обучающих данных. Использовали ли они данные Common Crawl? Они копались в Интернете и создавали свой собственный набор данных?

OpenAI держит эту информацию (и многое другое) в секрете, в отличие от полностью прозрачного подхода Cerebras-GPT.

Далее все открыто и прозрачно:

• Архитектура модели
• Тренировочные данные
• Вес модели
• Контрольно-пропускные пункты
• Оптимальный для вычислений статус обучения (да)
• Лицензия на использование: Лицензия Apache 2.0

Семь версий представлены моделями 111M, 256M, 590M, 1.3B, 2.7B, 6.7B и 13B.

Это было объявил:

«Впервые среди компаний, производящих оборудование для искусственного интеллекта, исследователи Cerebras обучили на суперкомпьютере Andromeda AI серию из семи моделей GPT с параметрами 111M, 256M, 590M, 1.3B, 2.7B, 6.7B и 13B.

Эта работа, обычно занимающая несколько месяцев, была завершена за несколько недель благодаря невероятной скорости систем Cerebras CS-2, входящих в состав Andromeda, и способности архитектуры потоковой передачи веса Cerebras устранить проблемы, связанные с распределенными вычислениями.

Эти результаты показывают, что сегодня системы Cerebras могут обучать самые большие и сложные рабочие нагрузки ИИ.

Это первый раз, когда обнародован набор моделей GPT, обученных с использованием самых современных методов повышения эффективности обучения.

Эти модели обучены с максимальной точностью для данного вычислительного бюджета (т.е. обучение эффективно с использованием рецепта Chinchilla), поэтому они имеют меньше времени обучения, более низкую стоимость обучения и потребляют меньше энергии, чем любые существующие общедоступные модели».

ИИ с открытым исходным кодом

Фонд Mozilla, создатель программного обеспечения с открытым исходным кодом Firefox, основал компанию под названием Mozilla.ai для создания систем GPT с открытым исходным кодом и рекомендательных систем, заслуживающих доверия и уважающих конфиденциальность.

Databricks также недавно выпустила клон GPT с открытым исходным кодом под названием Dolly, целью которого является демократизация «магии ChatGPT».

В дополнение к этим семи моделям Cerebras GPT другая компания под названием Nomic AI выпустила GPT4All, GPT с открытым исходным кодом, который может работать на ноутбуке.

Сегодня мы выпускаем GPT4All, чат-бот в стиле помощника, созданный на основе 430 тыс. выходов GPT-3.5-Turbo, который вы можете запустить на своем ноутбуке. pic.twitter.com/VzvRYPLfoY

— Номинальный ИИ (@nomic_ai) 28 марта 2023 г.

Движение ИИ с открытым исходным кодом находится на начальной стадии, но набирает обороты.

Технология GPT приводит к масштабным изменениям в разных отраслях, и вполне возможно, а может быть, и неизбежно, что вклад в открытый исходный код может изменить облик отраслей, движущих этим изменением.

Если движение за открытый исходный код будет продолжать развиваться такими темпами, мы можем оказаться на пороге сдвига в инновациях ИИ, который не позволит им сконцентрироваться в руках нескольких корпораций.

Читайте официальное объявление:

Cerebras Systems выпускает семь новых моделей GPT, обученных на системах CS-2 вафельного масштаба

Избранное изображение Shutterstock/Меркушев Василий