Meta AI в сотрудничестве с Технологическим институтом Джорджии и StabilityAI провела инновационное исследование, направленное на улучшение логики больших языковых моделей (LLM). Это исследование было сосредоточено на совершенствовании процессов рассуждения языковых моделей без необходимости полагаться на внешние данные. Магистр праванесмотря на свою изощренность, часто нуждаются в повышении точности своих рассуждений.

Чтобы решить эту проблему, исследовательская группа разработала модели вознаграждения, основанные на результатах (ORM), чтобы прогнозировать точность ответов моделей и направлять процесс уточнения. Однако команда заметила, что ОРМ они были слишком осторожны и предлагали ненужные улучшения, даже если рассуждения модели были верными. Эта неэффективность подтолкнула команду к разработке более целенаправленных стратегий уточнения.

Роль моделей вознаграждения, основанных на результатах (ORM)

ORM — это инструменты, предназначенные для оценки точности окончательных ответов языковых моделей. Однако исследовательская группа выявила некоторые ограничения ORM, которые оказались чрезмерно осторожными и потребовали ненужных улучшений. Чтобы преодолеть эти ограничения, команда представила i Пошаговые модели уточнения (СОРМы). в отличие от ОРМ, и СОРМы Я могу оценить правильность каждого шага рассуждения модели. Такая точность позволяет использовать более тонкий подход к уточнению, различая действительные и неправильные этапы рассуждения и, таким образом, упрощая процесс уточнения.

Методика пошаговых уточняющих моделей (СОРМ)

СОРМ используют модель двойной доработки: глобальный и локальный. Глобальная модель оценивает вопрос и предварительное решение, чтобы предложить уточненный ответ, тогда как локальная модель фокусируется на конкретных ошибках, выявленных в ходе критики. Такое подразделение позволяет более детально подойти к исправлению, устраняя как общие, так и частные неточности рассуждений. Данные обучения для обеих моделей генерируются синтетически, обеспечивая прочную основу для процесса обучения системы.

ЧИТАТЬ  Meta Verified станет доступен предприятиям - Jon Loomer Digital

Эффективность пошаговых уточняющих моделей (СОРМ)

Результаты испытаний продемонстрировали заметное улучшение точности рассуждений LLM с использованием СОРМ. В частности, совместное применение подхода глобального и локального уточнения привело к значительному увеличению точности сложной математической задачи. Этот результат подчеркивает роль ORM как средства выбора наиболее перспективных решений и демонстрирует потенциал синтетического обучения и инновационного использования моделей вознаграждения.

Последствия для совершенствования языковых моделей

Исследование, проведенное Meta AI и ее академическими сотрудниками, представляет собой значительный шаг вперед в области совершенствования языковых моделей. Эта работа открывает новые перспективы применения искусственного интеллекта при решении сложных задач в разных научных и технологических областях. Стратегии усовершенствования, разработанные в этом исследовании, предлагают более автономный и эффективный подход к улучшению навыков рассуждения LLM. Кроме того, исследование дает направления для будущих исследований в области совершенствования LLM, предлагая возможные улучшения в процессах выявления ошибок и стратегиях исправления.

Выводы

Исследование, проведенное Meta AI совместно с ее академическими сотрудниками, представляет собой важный вклад в развитие больших языковых моделей. Эта работа открывает новые перспективы применения искусственного интеллекта и способствует разработке более интеллектуальных и эффективных систем. Успех, достигнутый в повышении точности рассуждений LLM за счет использования передовых стратегий уточнения, демонстрирует потенциал синтетического обучения и инновационного использования моделей вознаграждения. Это исследование представляет собой важный шаг на пути к будущему интеллектуальных вычислений и закладывает основу для дальнейших достижений в области искусственного интеллекта.



Source link