Разработчики ИИ постоянно пытаются улучшить производительность моделей, чтобы уменьшить задержку, повысить точность и снизить затраты. OpenAI, ведущая компания в области искусственного интеллекта, предлагает ряд варианты поддержки разработчиков при внедрении ИИ персонализированный. Стремясь обеспечить больший контроль над настройкой модели и возможность создавать собственные модели, OpenAI представила новые функции в своем API настройки и расширила свою программу пользовательских моделей.

Новые возможности API настройки

API настройки OpenAI для GPT-3.5 Turbo был запущен в августе 2023 года, и с тех пор тысячи организаций обучили сотни тысяч моделей с помощью этого API. Точная настройка моделей поможет вам глубже понять содержание и улучшить возможности модели для конкретной задачи. Л'API настройки Он также поддерживает больше примеров, чем может поместиться в одно приглашение, что позволяет добиться более качественных результатов при одновременном снижении затрат и задержек.

Некоторые из распространенных случаев настройки включают обучение модели для генерировать лучший код на определенном языке программирования, для обобщения текста в определенном формате или для создания персонализированного контента на основе поведения пользователя.

Например, глобальная платформа подбора и найма Indeed использовала настройку GPT-3.5 Turbo для повышения качества и точности персонализированных рекомендаций, отправляемых соискателям. Уменьшив количество токенов в подсказке 80%Компания Indeed смогла снизить затраты и время задержки, увеличив количество сообщений соискателям работы с менее миллиона в месяц до примерно 20 миллионов.

Сегодня, OpenAI представляет новые функции чтобы дать разработчикам больше контроля над их деятельностью по настройке, в том числе:

1. Создание контрольных точек на основе эпох: Возможность автоматического создания полной контрольной точки модели во время каждой эпохи обучения, что снижает необходимость последующего переобучения, особенно в случаях переобучения.
2. Сравнительная площадка— Новое сравнение пользовательского интерфейса для оценки качества и производительности нескольких моделей настройки или снимков по одному запросу.
3. Сторонняя интеграция: поддержка интеграции со сторонними платформами, начиная с Weights and Biases, что позволяет разработчикам обмениваться подробными данными настройки с остальной частью своего стека.
4. Комплексные показатели проверки: Возможность рассчитывать такие показатели, как потери и точность, для всего набора проверочных данных, а не для выборки, что обеспечивает лучшее понимание качества модели.
5. Конфигурация гиперпараметра: Возможность настройки доступных гиперпараметров из панели управления, а не только через API или SDK.
6. Улучшения панели управления настройкой: включая возможность настраивать гиперпараметры, просматривать более подробные показатели обучения и повторять предыдущие задачи настройки.

Расширение программы пользовательских шаблонов

OpenAI также предлагает программу создания пользовательских моделей, предназначенную для обучения и оптимизации моделей для конкретной области, в сотрудничестве со специальной группой исследователей OpenAI. После оценки потребностей клиентов в пользовательских моделях OpenAI представила предложение по вспомогательной настройке в рамках программы пользовательских моделей. Помощь в настройке – это возможность сотрудничества с i Технические команды OpenAI использовать методы, выходящие за рамки API настройки, например, использование дополнительных гиперпараметров и эффективных методов крупномасштабной настройки параметров. Этот вариант особенно полезен для организаций, которым нужна поддержка в создании эффективных потоков обучающих данных, систем оценки и пользовательских метрик для максимизации производительности модели для их варианта использования или задачи.

Например, SK Telecom, оператор связи с более чем 30 миллионами абонентов в Южной Корее, работал с OpenAI над адаптацией модели для телекоммуникационной отрасли, изначально ориентированной на обслуживание клиентов. На это ушло несколько недель улучшить эффективность модели в телекоммуникационных разговорах на корейском языкеполучив прирост качества синтеза разговора на 35%, точность распознавания намерений на 33% и рост оценки удовлетворенности с 3,6 до 4,5 (из 5) по сравнению разработанной модели с GPT-4.

В некоторых случаях организациям необходимо с нуля обучить конкретную модель, которая понимает их отрасль, бизнес или сферу деятельности. Полностью настраиваемые модели получают новые знания из конкретной области путем изменения ключевых этапов процесса обучения модели с использованием инновационных методов промежуточного и постобучения. Организации, добившиеся успеха с полностью настраиваемой моделью, часто имеют большие объемы собственных данных, таких как миллионы примеров или миллиарды токенов, которые они хотят использовать для обучения модели новым знаниям или сложному, уникальному поведению для весьма специфических случаев использования. .

Например, Харвиюридический инструмент на базе искусственного интеллекта для юристов., сотрудничал с OpenAI для создания индивидуальной языковой модели для прецедентного права. После тестирования нескольких методов тонкой настройки Харви работал с командой OpenAI, чтобы добавить в модель необходимую глубину контекста, эквивалентную 10 миллиардам токенов данных. В полученной модели количество правильных ответов увеличилось на 83%, а юристы в 97% случаев предпочитали результаты пользовательской модели GPT-4.

Что ждет в будущем кастомизацию шаблонов

OpenAI считает, что в будущем большинство организаций будут разрабатывать собственные модели, адаптированные к их конкретной отрасли, бизнесу или варианту использования. Благодаря множеству доступных методов создания пользовательских моделей организации любого размера могут разрабатывать собственные модели для достижения значительного и конкретного эффекта от внедрения ИИ. Ключом к успеху является четкое определение варианта использования, разработка и внедрение систем оценки, выбор подходящих методов и готовность к повторению с течением времени для достижения максимальной производительности модели.

Благодаря OpenAI большинство организаций могут быстро добиться значимых результатов, используя API самостоятельной настройки. Организациям, которым необходимо дополнительно усовершенствовать свои модели или добавить новые знания, специфичные для предметной области, программы пользовательских моделей OpenAI могут предоставить помощь и поддержку.

Посетите документацию по API настройки, чтобы начать настройку моделей OpenAI. Чтобы узнать больше о том, как мы можем помочь вам настроить шаблоны для вашего случая использования, свяжитесь с нами.

Источник статьи ВОЗ.