GPT Chat с открытым исходным кодом сделал еще один шаг вперед, выпустив Dolly Large Language Model (DLL), созданную компанией-разработчиком корпоративного программного обеспечения Databricks.

Новый клон ChatGPT называется Dolly, в честь знаменитой овцы с таким именем, первого клонированного млекопитающего.

Модели больших языков с открытым исходным кодом

Dolly LLM — последнее проявление растущего движения ИИ с открытым исходным кодом, которое стремится предоставить более широкий доступ к технологии, чтобы она не была монополизирована и не контролировалась крупными корпорациями.

Одна из проблем, движущих движением ИИ с открытым исходным кодом, заключается в том, что компании могут неохотно передавать конфиденциальные данные третьей стороне, которая контролирует технологию ИИ.

На основе открытого исходного кода

Dolly была создана на основе модели с открытым исходным кодом, созданной некоммерческим исследовательским институтом EleutherAI и Стэнфордским университетом. Альпака модель который сам был создан из 65 миллиардов параметров с открытым исходным кодом модель созданный Мета.

LLaMA, что означает мета-ИИ модели большого языка, представляет собой языковую модель, которая обучается на общедоступных данных.

Согласно статье, написанной Веса и смещенияLLaMA может превзойти многие из лучших языковых моделей (OpenAI GPT-3, Gopher от Deep Mind и Chinchilla от DeepMind), несмотря на то, что он меньше.

Создание лучшего набора данных

Еще одним источником вдохновения послужила академическая исследовательская работа (САМООБУЧЕНИЕ: согласование языковой модели с самогенерируемыми инструкциями). PDF), в котором описан способ создания высококачественных автоматически сгенерированных данных для обучения вопросов и ответов, которые лучше, чем ограниченные общедоступные данные.

В исследовательской работе «Самообучение» объясняется:

«… мы курируем набор написанных экспертами инструкций для новых задач и с помощью человеческой оценки показываем, что настройка GPT3 с помощью SELF-INSTRUCT значительно превосходит существующие общедоступные наборы данных инструкций, оставляя абсолютное отставание от InstructGPT всего на 5%…

…Применяя наш метод к ванильному GPT3, мы демонстрируем абсолютное улучшение на 33% по сравнению с исходной моделью в SUPERNATURALINSTRUCTIONS, наравне с производительностью InstructGPT… которая обучается с использованием частных пользовательских данных и человеческих аннотаций».

Важность Dolly заключается в том, что она демонстрирует, что полезную большую языковую модель можно создать с помощью меньшего, но высококачественного набора данных.

Databricks отмечает:

«Dolly работает, беря существующую модель с 6 миллиардами параметров с открытым исходным кодом от EleutherAI и слегка модифицируя ее, чтобы получить такие возможности, как мозговой штурм и генерация текста, отсутствующие в исходной модели, с использованием данных Alpaca.

…Мы показываем, что любой может взять устаревшую готовую крупноязыковую модель (LLM) с открытым исходным кодом и дать ей волшебную инструкцию, подобную ChatGPT, следуя способностям, обучив ее за 30 минут на одной машине с использованием высококачественных обучающих данных.

Удивительно, но для выполнения инструкций не требуются новейшие или самые большие модели: наша модель состоит всего из 6 миллиардов параметров по сравнению со 175 миллиардами для GPT-3».

Databricks AI с открытым исходным кодом

Говорят, что Долли демократизирует ИИ. Это часть модного движения, к которому недавно присоединилась некоммерческая организация Mozilla, основав Mozilla.ai. Mozilla является издателем браузера Firefox и другого программного обеспечения с открытым исходным кодом.

Прочитайте полное объявление от Databricks:

Hello Dolly: Демократизация магии ChatGPT с открытыми моделями