Компания Microsoft представляет публике новую технологию под названием GraphRAG, которая позволяет чат-ботам и системам ответов связывать точки во всем наборе данных, значительно превосходя стандартную технологию Retrieval-Augmented Generation (RAG).
Содержание
В чем разница между RAG и GraphRAG?
RAG (Retrieval-Augmented Generation) — это технология, которая позволяет LLM получить доступ к базе данных, например к поисковому индексу, и использовать ее в качестве основы для ответа на вопрос. Ее можно использовать для соединения большой языковой модели и обычного индекса поисковой системы.
Преимущество RAG в том, что он может использовать авторитетные и заслуживающие доверия данные для ответа на вопросы. RAG также позволяет генеративным ИИ-чатботам использовать актуальную информацию для ответа на вопросы по темам, по которым LLM не обучался. Этот подход используется поисковыми системами ИИ, такими как Perplexity.
Преимущество RAG связано с использованием вложений. Вложения — это способ представления семантических отношений между словами, предложениями и документами. Это представление позволяет части поиска RAG сопоставлять поисковый запрос с текстом в базе данных (например, поисковый индекс).
Однако недостатком использования внедрений является то, что оно ограничивает RAG сопоставлением текста на детальном уровне (в отличие от глобального охвата данных).
Microsoft поясняет:
«Поскольку наивный RAG рассматривает только самые похожие фрагменты входного текста, он терпит неудачу. Хуже того, он будет сопоставлять вопрос с фрагментами текста, которые внешне похожи на этот вопрос, что приведет к вводящим в заблуждение ответам».
Инновация GraphRAG заключается в том, что он позволяет LLM отвечать на вопросы на основе общего набора данных.
GraphRAG создает граф знаний из индексированных документов, также известных как неструктурированные данные. Очевидным примером неструктурированных данных являются веб-страницы. Поэтому, когда GraphRAG создает граф знаний, он создает «структурированное» представление отношений между различными «сущностями» (такими как люди, места, концепции и вещи), которое затем легче понять машинам.
GraphRAG создает то, что Microsoft называет «сообществами» общих тем (высокий уровень) и более детализированных тем (низкий уровень). Затем LLM создает обобщение каждого из этих сообществ, «иерархическое обобщение данных», которое затем используется для ответа на вопросы. Это прорыв, поскольку он позволяет чат-боту отвечать на вопросы, основываясь больше на знаниях (обобщениях), чем на встраиваниях.
Вот как это объясняет Microsoft:
«Использование LLM для обобщения каждого из этих сообществ создает иерархическое резюме данных, предоставляя обзор набора данных без необходимости знать заранее, какие вопросы задавать. Каждое сообщество служит основой резюме сообщества, которое описывает его сущности и их отношения.
…Обзоры сообщества помогают отвечать на такие глобальные вопросы, потому что индекс графа описаний сущностей и отношений уже учел все входные тексты в своей конструкции. Поэтому мы можем использовать подход map-reduce для ответа на вопросы, который сохраняет весь релевантный контент из глобального контекста данных…”
Примеры RAG против GraphRAG
Оригинальная исследовательская работа GraphRAG проиллюстрировала превосходство подхода GraphRAG в возможности отвечать на вопросы, для которых нет точных данных о совпадениях в проиндексированных документах. В примере используется ограниченный набор данных российских и украинских новостей за июнь 2023 года (переведенных на английский язык).
Простой вопрос на сопоставление текста
Первый вопрос, который был использован в качестве примера, был «Что такое Новороссия?» и RAG и GraphRAG ответили на этот вопрос, причем GraphRAG предоставил более подробный ответ.
Кстати, краткий ответ заключается в том, что «Новороссия» переводится как Новая Россия и относится к украинским землям, завоеванным Россией в 18 веке.
Второй пример вопроса требовал, чтобы машина создавала связи между концепциями в индексированных документах, что Microsoft называет «задачой резюмирования, ориентированной на запросы (QFS)», которая отличается от простой задачи поиска на основе текста. Она требует того, что Microsoft называет «соединением точек».
Вопрос, заданный системам RAG и GraphRAG:
«Что сделала Новороссия?»
Вот ответ RAG:
«В тексте не содержится конкретной информации о том, что сделала Новороссия».
GraphRAG ответил на вопрос «Что сделала Новороссия?» ответом из двух абзацев, в котором подробно описаны результаты политического движения Новороссии.
Вот краткий отрывок из ответа, состоящего из двух абзацев:
«Новороссия, политическое движение в Украине, участвовало в серии деструктивных действий, в частности, направленных против различных субъектов на Украине. [Entities (6494, 912)]Движение было связано с планами по уничтожению объектов недвижимости нескольких украинских предприятий, включая «Розен», Одесский консервный завод, Одесский областной радиотелевизионный передающий центр и Национальную телекомпанию Украины. [Relationships (15207, 15208, 15209, 15210)]…
…Генеральная прокуратура Украины сообщила о создании «Новороссии», что свидетельствует об осведомленности и потенциальной обеспокоенности правительства деятельностью этого движения…»
Выше приведены лишь некоторые ответы, извлеченные из ограниченного набора данных за один месяц, которые иллюстрируют, как GraphRAG способен связать воедино все документы.
GraphRAG теперь доступен всем
Компания Microsoft объявила, что GraphRAG доступен для использования любым желающим.
«Сегодня мы рады сообщить, что GraphRAG теперь доступен на GitHubпредлагая более структурированный поиск информации и комплексную генерацию ответов, чем наивные подходы RAG. Репозиторий кода GraphRAG дополняется ускоритель решенияпредоставляя простой в использовании API-интерфейс, размещенный на Azure, который можно развернуть без написания кода за несколько щелчков мыши».
Компания Microsoft выпустила GraphRAG, чтобы сделать основанные на нем решения более доступными для общественности и стимулировать обратную связь для улучшения.
Прочитайте объявление:
GraphRAG: новый инструмент для комплексного обнаружения данных теперь на GitHub
Главное изображение от студии Shutterstock/Deemerwha
