В новом исследовательском документе Google DeepMind предлагается новый алгоритм ранжирования поиска под названием BlockRank, который работает настолько хорошо, что делает расширенное ранжирование семантического поиска доступным для отдельных лиц и организаций. Исследователи заключают, что это «может демократизировать доступ к мощным инструментам поиска информации».
Содержание
Контекстное ранжирование (ICR)
В исследовательской статье описывается прорыв в использовании контекстного ранжирования (ICR), способа ранжирования веб-страниц с использованием возможностей контекстного понимания большой языковой модели.
Это подсказывает модели:
- Инструкции по выполнению задачи (например, «ранжировать эти веб-страницы»)
- Документы кандидата (страницы для ранжирования)
- И поисковый запрос.
ICR — это относительно новый подход, впервые исследованный исследователями из Google DeepMind и Google Research в 2024 году (Могут ли языковые модели с длинным контекстом включать в себя поиск, RAG, SQL и многое другое? PDF). Это более раннее исследование показало, что ICR может соответствовать производительности поисковых систем, созданных специально для поиска.
Но у этого улучшения есть и обратная сторона: оно требует увеличения вычислительной мощности по мере увеличения количества ранжируемых страниц.
Когда модель большого языка (LLM) сравнивает несколько документов, чтобы решить, какие из них наиболее релевантны запросу, ей приходится «обращать внимание» на каждое слово в каждом документе и на то, как каждое слово связано со всеми остальными. Этот процесс внимания становится намного медленнее по мере добавления новых документов, поскольку объем работы растет в геометрической прогрессии.
Новое исследование решает эту проблему эффективности, поэтому исследовательская работа называется «Масштабируемое контекстное ранжирование с помощью генеративных моделей», потому что оно показывает, как масштабировать контекстное ранжирование (ICR) с помощью того, что они называют BlockRank.
Как был разработан BlockRank
Исследователи изучили, как модель на самом деле использует внимание во время контекстного поиска, и обнаружили две закономерности:
- Разреженность блоков между документами:
Исследователи обнаружили, что когда модель считывает группу документов, она имеет тенденцию сосредотачиваться главным образом на каждом документе отдельно, а не сравнивать их все друг с другом. Они называют это «разреженностью блоков», что означает, что между различными документами мало прямого сравнения. Опираясь на это понимание, они изменили способ считывания входных данных моделью, чтобы она просматривала каждый документ отдельно, но при этом сравнивала их все с задаваемым вопросом. Это сохраняет важную часть, сопоставляя документы с запросом, пропуская при этом ненужные сравнения документов. В результате система работает намного быстрее без потери точности. - Релевантность блока запроса-документа:
Когда LLM читает запрос, он не считает каждое слово в этом вопросе одинаково важным. Некоторые части вопроса, например конкретные ключевые слова или знаки препинания, которые сигнализируют о намерении, помогают модели решить, какой документ заслуживает большего внимания. Исследователи обнаружили, что внутренние модели внимания модели, в частности то, как определенные слова в запросе фокусируются на конкретных документах, часто совпадают с тем, какие документы релевантны. Такое поведение, которое они называют «релевантностью блока запросов и документов», стало тем, что исследователи смогли научить модель использовать более эффективно.
Исследователи определили эти две модели внимания, а затем разработали новый подход, основанный на том, что они узнали. Первая закономерность — разреженность блоков между документами — показала, что модель тратит впустую вычисления, сравнивая документы друг с другом, когда эта информация бесполезна. Второй шаблон, релевантность блока запроса-документа, показал, что определенные части вопроса уже указывают на правильный документ.
Основываясь на этих данных, они изменили способ управления вниманием модели и способы его обучения. Результатом является BlockRank, более эффективная форма контекстного поиска, которая отсекает ненужные сравнения и учит модель сосредотачиваться на том, что действительно сигнализирует о релевантности.
Сравнительный анализ точности BlockRank
Исследователи проверили BlockRank на предмет того, насколько хорошо он ранжирует документы по трем основным критериям:
- ПРИНОСИТЬ
Набор различных задач поиска и ответов на вопросы, используемый для проверки того, насколько хорошо система может находить и ранжировать релевантную информацию по широкому кругу тем. - МС МАРКО
Большой набор данных реальных поисковых запросов и отрывков Bing, используемый для измерения того, насколько точно система может ранжировать отрывки, которые лучше всего отвечают на вопрос пользователя. - Естественные вопросы (NQ)
Тест, созданный на основе реальных поисковых вопросов Google и предназначенный для проверки того, может ли система идентифицировать и ранжировать отрывки из Википедии, которые непосредственно отвечают на эти вопросы.
Они использовали Mistral LLM с 7 миллиардами параметров и сравнили BlockRank с другими сильными моделями ранжирования, включая FIRST, RankZephyr, RankVicuna и полностью настроенным базовым уровнем Mistral.
BlockRank показал результаты не хуже или лучше, чем эти системы, во всех трех тестах, совпав с результатами MS MARCO и Natural Questions и немного лучше показав BEIR.
Исследователи объяснили результаты:
«Эксперименты с MSMarco и NQ показывают, что BlockRank (Mistral-7B) соответствует или превосходит стандартную эффективность тонкой настройки, будучи при этом значительно более эффективным в выводах и обучении. Это предлагает масштабируемый и эффективный подход для ICR на основе LLM».
Они также признали, что не тестировали несколько LLM и что эти результаты относятся только к Mistral 7B.
Используется ли BlockRank Google?
В исследовательской статье ничего не говорится о его использовании в живой среде. Так что говорить о том, что его можно использовать, — это чисто предположение. Кроме того, вполне естественно попытаться определить, где BlockRank вписывается в режим AI или обзоры AI, но описания того, как работают FastSearch и RankEmbed в режиме AI, сильно отличаются от того, что делает BlockRank. Так что маловероятно, что BlockRank связан с FastSearch или RankEmbed.
Почему BlockRank — это прорыв
В исследовательской работе говорится, что это прорывная технология, которая делает продвинутую систему ранжирования доступной для отдельных лиц и организаций, которые обычно не могут иметь такую высококачественную технологию ранжирования.
Исследователи объясняют:
«Методология BlockRank, повышая эффективность и масштабируемость контекстного поиска (ICR) в больших языковых моделях (LLM), делает расширенный семантический поиск более управляемым в вычислительном отношении и может демократизировать доступ к мощным инструментам обнаружения информации. Это может ускорить исследования, улучшить результаты обучения за счет быстрого предоставления более актуальной информации и расширить возможности отдельных лиц и организаций с лучшими возможностями принятия решений.
Кроме того, повышение эффективности напрямую приводит к снижению энергопотребления для ресурсоемких приложений LLM, что способствует более экологически устойчивой разработке и внедрению искусственного интеллекта.
Включив эффективный ICR на потенциально меньших или более оптимизированных моделях, BlockRank также может расширить сферу применения этих технологий в средах с ограниченными ресурсами».
Специалисты по поисковой оптимизации и издатели могут свободно высказывать свое мнение о том, может ли это использоваться Google. Я не думаю, что этому есть доказательства, но было бы интересно спросить об этом гуглера.
Google, похоже, находится в процессе предоставления доступа к BlockRank на GitHubно, похоже, там пока нет доступного кода.
Прочтите о BlockRank здесь:
Масштабируемое контекстное ранжирование с помощью генеративных моделей
Рекомендованное изображение: Shutterstock/Nithid
