Недавно я говорил с Джесси Дуайером из Perplexity об SEO и поиске с использованием ИИ, о том, на чем должны сосредоточиться оптимизаторы с точки зрения оптимизации поиска с использованием ИИ. Его ответы дали полезную информацию о том, на чем издателям и SEO-специалистам следует сосредоточиться прямо сейчас.

AI-поиск сегодня

Важный вывод, которым поделился Джесси, заключается в том, что персонализация полностью меняется.

«Я должен сказать, что самое важное и простое, что нужно помнить об AEO и SEO, это то, что это больше не игра с нулевой суммой. Два человека с одним и тем же запросом могут получить разные ответы при коммерческом поиске, если инструмент искусственного интеллекта, который они используют, загружает личную память в контекстное окно (Perplexity, ChatGPT).

Во многом это зависит от технологии индекса (почему на самом деле существует разница между GEO и AEO). Но да, в настоящее время можно с уверенностью сказать, что (большинство) традиционных лучших практик SEO по-прежнему применимы».

Вывод из ответа Дуайера заключается в том, что видимость поиска больше не сводится к единственному последовательному результату поиска. Персональный контекст как роль в ответах ИИ означает, что два пользователя могут получить существенно разные ответы на один и тот же запрос, возможно, с разными источниками базового контента.

Хотя базовая инфраструктура по-прежнему представляет собой классический поисковый индекс, SEO по-прежнему играет роль в определении того, можно ли вообще получить контент. Говорят, что Perplexity AI использует разновидность PageRank, который представляет собой метод определения популярности и релевантности веб-сайтов на основе ссылок, что дает подсказку о том, на чем следует сосредоточиться оптимизаторам.

Однако, как вы увидите, то, что получается, сильно отличается от классического поиска.

Вдогонку я задал следующий вопрос:

Итак, вы говорите (и поправьте меня, если я ошибаюсь или немного ошибаюсь), что классический поиск имеет тенденцию достоверно показывать одни и те же десять сайтов по заданному запросу. Но что касается поиска с использованием ИИ, из-за контекстуального характера разговоров с ИИ, они с большей вероятностью дадут разные ответы для каждого пользователя.

Джесси ответил:

«Это точно, да».

Обработка поддокументов: чем отличается поиск с помощью ИИ

Джесси продолжил свой ответ, рассказав о том, что происходит за кулисами, чтобы получить ответ при поиске ИИ.

Он продолжил:

«Что касается технологии индексирования, то самая большая разница в поиске с помощью ИИ сейчас сводится к обработке всего документа по сравнению с обработкой «поддокументов».

Индексация традиционных поисковых систем на уровне всего документа. Они просматривают веб-страницу, оценивают ее и сохраняют.

Когда вы используете инструмент искусственного интеллекта, построенный на этой архитектуре (например, веб-поиск ChatGPT), он, по сути, выполняет классический поиск, выбирает 10–50 лучших документов, а затем просит LLM создать сводку. Вот почему поиск GPT описывается как «4 поиска Bing в плаще» — шутка верна, поскольку модель генерирует выходные данные на основе стандартных результатов поиска.

Вот почему мы называем стратегию оптимизации для этого GEO (генеративная оптимизация двигателя). Этот поиск по всему документу, по сути, по-прежнему является алгоритмическим поиском, а не искусственным интеллектом, поскольку данные в индексе представляют собой обычную оценку страниц, к которой мы привыкли в SEO. Подход, основанный на искусственном интеллекте, известен как «обработка субдокументов».

Вместо индексации целых страниц движок индексирует конкретные, детальные фрагменты (не путать с тем, что SEO-специалисты называют «избранными фрагментами»). Фрагмент, на языке ИИ, состоит примерно из 5–7 токенов или 2–4 слов, за исключением того, что текст преобразуется в числа (с помощью фундаментального процесса ИИ, известного как «трансформер», который обозначается буквой T в GPT). Когда вы запрашиваете систему поддокументов, она не получает 50 документов; он извлекает около 130 000 токенов наиболее релевантных фрагментов (около 26 тысяч фрагментов) для передачи ИИ.

Однако эти цифры не точны. Фактическое количество фрагментов всегда равно общему количеству токенов, соответствующему полной емкости контекстного окна конкретного LLM. (В настоящее время они составляют в среднем около 130 тыс. токенов). Цель состоит в том, чтобы полностью заполнить контекстное окно модели ИИ наиболее актуальной информацией, потому что, когда вы насыщаете это окно, вы не оставляете модели места для «галлюцинаций» или вымысла.

Другими словами, он перестает быть творческим генератором и дает более точный ответ. Этот метод поддокументов показывает, куда движется индустрия, и почему его правильнее называть AEO (оптимизация системы ответов).

Очевидно, что это описание является некоторым упрощением. Но личный контекст, из-за которого каждый поиск больше не является универсальным результатом для каждого пользователя, заключается в том, что LLM может взять все, что он знает о поисковике, и использовать это для заполнения всего контекстного окна. Это гораздо больше информации, чем профиль пользователя Google.

Конкурентная дифференциация такой компании, как Perplexity, или любой другой поисковой компании с использованием искусственного интеллекта, которая переходит к обработке субдокументов, происходит в технологии между индексом и фрагментами размером 26 000. С помощью таких методов, как модуляция вычислений, переформулирование запроса и собственные модели, которые применяются к самому индексу, мы можем сделать эти фрагменты более релевантными запросу, что является самым важным рычагом для получения лучшего и более подробного ответа.

Кстати, это менее актуально для SEO, но вся эта концепция также объясняет, почему поисковый API Perplexity настолько законен. Для разработчиков, встраивающих поиск в любой продукт, разница – день и ночь».

Дуайер противопоставляет два принципиально разных подхода к индексированию и поиску:

• Индексирование всего документа, при котором страницы извлекаются и ранжируются как полные единицы.
• Индексация поддокументов, при которой значение сохраняется и извлекается в виде детальных фрагментов.

В первой версии ИИ работает поверх традиционного поиска и суммирует ранжированные страницы. Во втором случае система ИИ извлекает фрагменты напрямую и вообще никогда не анализирует полные документы.

Он также описал, что качество ответа ограничивается насыщенностью контекстного окна, а точность достигается за счет заполнения всего контекстного окна модели соответствующими фрагментами. Когда поиску удается заполнить это окно, у модели мало возможностей изобретать факты или галлюцинировать.

Наконец, он говорит, что «модуляция вычислений, переформулирование запросов и собственные модели» — это часть их секретного соуса для получения фрагментов, которые очень релевантны поисковому запросу.

Рекомендованное изображение Shutterstock/Summit Art Creations