Многие знают о популярном методе цепочки мыслей (CoT), который побуждает генеративный искусственный интеллект получать более качественные и сложные ответы. Исследователи из Google DeepMind и Принстонского университета разработали улучшенную стратегию подсказок под названием «Древо мыслей» (ToT), которая выводит подсказки на более высокий уровень результатов, открывая более сложные методы рассуждения и лучшие результаты.
Исследователи объясняют:
«Мы показываем, как целенаправленный поиск в деревьях мыслей (ToT) дает лучшие результаты и, что более важно, новые интересные и многообещающие способы использования языковых моделей для решения проблем, требующих поиска или планирования».
Содержание
Исследователи сравнивают три вида подсказок
В исследовательской работе ToT сравнивается с тремя другими стратегиями подсказок.
1. Подсказка ввода-вывода (IO).
По сути, это дает языковой модели задачу, которую нужно решить, и получение ответа.
Пример, основанный на обобщении текста:
Подсказка для ввода: Подведите итог следующей статье.
Подсказка вывода: сводка на основе введенной статьи.
2. Цепочка мыслей, подсказывающая
В этой форме подсказок языковая модель направляется на создание последовательных и связанных ответов, побуждая ее следовать логической последовательности мыслей. Подсказки цепочки мыслей (CoT) — это способ провести языковую модель через промежуточные этапы рассуждения для решения проблем.
Вопрос: У Роджера 5 теннисных мячей. Он покупает еще 2 банки теннисных мячей. В каждой банке по 3 теннисных мяча. Сколько теннисных мячей у него сейчас?
Обоснование: Роджер начал с 5 мячами. 2 банки по 3 теннисных мяча в каждой — 6 теннисных мячей. 5 + 6 = 11. Ответ: 11.Вопрос: В столовой было 23 яблока. Если они потратили 20 яблок на обед и купили еще 6, сколько у них яблок?
3. Самосогласованность с ЦТ
Проще говоря, это стратегия подсказок, заключающаяся в многократном вызове языковой модели с последующим выбором наиболее часто приходящего ответа.
Научно-исследовательская работа о Sel-согласованности с CoT от марта 2023 г. поясняет это:
«Сначала он выбирает разнообразный набор путей рассуждения, а не только жадный, а затем выбирает наиболее последовательный ответ, исключая выбранные пути рассуждения. Самосогласованность опирается на интуицию о том, что сложная задача рассуждения обычно допускает множество различных способов мышления, ведущих к единственному правильному ответу».
Модели двойного процесса в человеческом познании
Исследователи черпают вдохновение из теории о том, как человеческое мышление принятия решений называется моделями двойного процесса в человеческом познании или теорией двойного процесса.
Модели двойного процесса человеческого познания предполагают, что люди участвуют в двух видах процессов принятия решений: один — интуитивный и быстрый, а другой — более обдуманный и медленный.
- Быстрый, автоматический, бессознательный
Этот режим предполагает быстрое, автоматическое и бессознательное мышление, о котором часто говорят, что оно основано на интуиции. - Медленно, Намеренно, Сознательно
Этот способ принятия решений представляет собой медленный, обдуманный и сознательный мыслительный процесс, который включает в себя тщательное рассмотрение, анализ и пошаговое рассуждение, прежде чем принять окончательное решение.
Структура подсказок «Древо мыслей» (ToT) использует древовидную структуру каждого шага процесса рассуждения, которая позволяет языковой модели оценивать каждый шаг рассуждения и решать, является ли этот шаг рассуждения жизнеспособным и вести к ответу. Если языковая модель решает, что путь рассуждения не приведет к ответу, стратегия подсказки требует, чтобы она покинула этот путь (или ветвь) и продолжала двигаться вперед по другой ветви, пока не достигнет окончательного результата.
Древо мыслей (ToT) и цепочка мыслей (CoT)
Разница между ToT и CoT заключается в том, что ToT имеет структуру дерева и ветвей для процесса рассуждения, тогда как CoT использует более линейный путь.
Проще говоря, CoT сообщает языковой модели выполнить ряд шагов для выполнения задачи, которая напоминает когнитивную модель системы 1, которая является быстрой и автоматической.
ToT напоминает когнитивную модель системы 2, которая является более совещательной и предписывает языковой модели следовать ряду шагов, но также требует, чтобы оценщик вмешивался и анализировал каждый шаг, и если это хороший шаг, продолжать идти, а если нет, остановиться и следовать. другой путь.
Иллюстрации стратегий подсказок
В исследовательском документе были опубликованы схематические иллюстрации каждой стратегии подсказок с прямоугольными рамками, которые представляют «мысль» на каждом этапе выполнения задачи и решения проблемы.
Ниже приведен скриншот того, как выглядит процесс рассуждения для ToT:
Иллюстрация цепочки подсказок мысли
Это схематическая иллюстрация ЦТ, показывающая, что мыслительный процесс является более прямым (линейным):
В исследовательской работе объясняется:
«Исследования по решению проблем человеком предполагают, что люди ищут комбинаторное проблемное пространство – дерево, в котором узлы представляют частичные решения, а ветви соответствуют операторам.
которые изменяют их. Какая ветвь выбрать, определяется эвристикой, которая помогает ориентироваться в пространстве проблем и направлять человека, решающего проблему, к решению.Эта точка зрения подчеркивает два ключевых недостатка существующих подходов, использующих LM для решения общих проблем:
1) Локально они не исследуют различные продолжения мыслительного процесса – ветви дерева.
2) В глобальном масштабе они не включают в себя какой-либо тип планирования, прогнозирования или обратного отслеживания, чтобы помочь оценить эти различные варианты – своего рода эвристический поиск, который кажется характерным для человеческого решения проблем.
Чтобы устранить эти недостатки, мы представляем Древо мыслей (ToT), парадигму, которая позволяет LM исследовать несколько путей рассуждения над мыслями…»
Протестировано с помощью математической игры
Исследователи протестировали метод с помощью математической игры «Игра в 24». Игра 24 — это математическая карточная игра, в которой игроки используют четыре числа (которые можно использовать только один раз) из набора карточек, чтобы объединить их с помощью базовой арифметики (сложение, вычитание, умножение и деление) и получить результат 24.
Результаты и выводы
Исследователи протестировали стратегию подсказок ToT в сравнении с тремя другими подходами и обнаружили, что она дает неизменно лучшие результаты.
Однако они также отмечают, что ToT может не потребоваться для выполнения задач, с которыми GPT-4 уже хорошо справляется.
Они заключают:
«Ассоциативная «Система 1» ЛМ может быть выгодно дополнена «Системой 2», основанной на поиске дерева возможных путей к решению проблемы.
Структура «Древо мыслей» дает возможность воплотить классические идеи о решении проблем в действенные методы для современных LM.
В то же время LM устраняют недостатки этих классических методов, предоставляя возможность решать сложные проблемы, которые нелегко формализовать, например творческие задачи.
письмо.Мы рассматриваем это пересечение LM с классическими подходами к ИИ как захватывающее направление».
Прочтите оригинальную исследовательскую работу:
Дерево мыслей: целенаправленное решение проблем с помощью больших языковых моделей
