Несколько недель назад на конференции Google I/O мы объявили, что предварительный просмотр ИИ будет доступен на всей территории США.

Отзывы пользователей показывают, что благодаря предварительному просмотру ИИ люди более довольны результатами поиска и задают более длинные и сложные вопросы, с которыми, как они знают, Google теперь может им помочь. Они используют предварительный просмотр ИИ в качестве отправной точки для посещения веб-контента, и мы видим, что клики на веб-страницы более качественные: люди с большей вероятностью останутся на этой странице, потому что мы улучшили поиск нужной информации и полезные веб-страницы для них.

На прошлой неделе люди в социальных сетях поделились странными и ошибочными превью (а также огромным количеством фейковых скриншотов). Мы знаем, что люди доверяют Google Поиску в предоставлении точной информации, и они никогда не стеснялись это подчеркивать. странности или ошибки, когда они с ними сталкиваются – в наших рейтингах или других функциях поиска. Мы придерживаемся высоких стандартов, как и наши пользователи, поэтому мы ожидаем и ценим обратную связь и относимся к ней серьезно.

Учитывая внимание, которое получили превью ИИ, мы хотели объяснить, что произошло и какие шаги мы предприняли.

Как работает предварительный просмотр AI

На протяжении многих лет мы создавали функции поиска, которые упрощают и ускоряют поиск нужной информации пользователями. AI Insights предназначен для более глубокого изучения, помогая ответить на более сложные вопросы, которые раньше могли потребовать многократного поиска или последующих действий, а также заметно включает ссылки для получения дополнительной информации.

Предварительный просмотр AI работает совсем не так, как чат-боты и другие продукты LLM, которые люди, возможно, пробовали. Они не просто генерируют результат на основе обучающих данных. Хотя AI Previews основан на специальной языковой модели, она интегрирована с нашими ведущими системами веб-рейтинга и предназначена для выполнения традиционных «поисковых» задач, таких как выявление релевантных высококачественных результатов из нашего индекса. Вот почему предварительный просмотр AI не только обеспечивает текстовый вывод, но и включает соответствующие ссылки, чтобы пользователи могли исследовать дальше. Поскольку точность имеет первостепенное значение в поиске, предварительный просмотр с помощью ИИ предназначен для отображения только информации, подкрепленной лучшими результатами поиска в Интернете.

Это означает, что идеи ИИ, как правило, не «галлюцинируют» и не выдумывают вещи, как это делают другие продукты LLM. Когда понимание ИИ идет не так, как правило, это происходит по другим причинам: неправильная интерпретация запросов, неправильная интерпретация нюансов языка в Интернете или отсутствие большого количества доступной полезной информации. (Эти проблемы возникают и с другими функциями поиска.)

Этот подход очень эффективен. В целом, наше тестирование показывает, что наш уровень точности аналитических данных ИИ сопоставим с другой популярной функцией поиска: избранные фрагменты – который также использует системы искусственного интеллекта для идентификации и отображения ключевой информации со ссылками на веб-контент.

Об этих странных результатах

Помимо разработки предварительных версий ИИ для оптимизации точности, мы тщательно протестировали эту функцию перед запуском. Это включало в себя активную работу красной команды, оценку образцов типичных пользовательских запросов и тестирование части поискового трафика, чтобы увидеть, как он работает. Но нет ничего лучше, чем миллионы людей, использующих эту функцию, и множество новых исследований. Мы также стали свидетелями новых абсурдных исследований, по-видимому, направленных на получение ошибочных результатов.

Кроме того, широко распространилось большое количество фейковых скриншотов. Некоторые из этих ложных результатов были очевидны и нелепы. Другие предположили, что мы получили опасные результаты по таким темам, как оставление собак в машинах, курение во время беременности и депрессия. Эти проблески ИИ так и не появились. Поэтому мы призываем всех, кто сталкивается с этими скриншотами, самостоятельно выполнить поиск и проверить.

Но странные, неточные или бесполезные идеи об ИИ, безусловно, появились. И хотя в основном это были запросы, с которыми люди обычно не обращаются, они выявили некоторые конкретные области, которые нам необходимо улучшить.

Одной из областей, которую мы определили, была наша способность интерпретировать абсурдные вопросы и сатирический контент. Возьмем пример: «Сколько камней мне следует съесть?» » До того, как эти скриншоты стали вирусными, почти никто не задавал Google этот вопрос. Ты можешь посмотрите сами в Google Trends.

Также не так уж много веб-контента, серьезно рассматривающего этот вопрос. Это то, что часто называют «пустотой данных» или «информационным пробелом», когда по теме имеется ограниченное количество высококачественного контента. Однако в данном случае на эту тему присутствует сатирический контент… который тоже бывает переиздан на сайте поставщика геологического программного обеспечения. Поэтому, когда кто-то задавал этот вопрос в поиске, всплывал обзор ИИ, достоверно связанный с одним из немногих веб-сайтов, на которых задавался этот вопрос.

В других примерах мы видели превью ИИ с саркастическим или тролльским контентом с дискуссионных форумов. Форумы часто являются отличным источником достоверной информации из первых рук, но в некоторых случаях они могут привести к менее полезным советам, например, как использовать клей, чтобы приклеить сыр к пицце.

В небольшом количестве случаев мы видели, как предварительный просмотр ИИ неправильно интерпретирует язык веб-страниц и представляет неточную информацию. Мы быстро поработали над решением этих проблем, улучшив наши алгоритмы или внедрив процессы для удаления ответов, не соответствующих нашим политикам.

Улучшения, которые мы сделали

Как всегда, когда мы улучшаем поиск, мы не просто «исправляем» запросы один за другим, но работаем над обновлениями, которые могут поддерживать широкий спектр запросов, включая некоторые новости, которые мы еще не видели.

Анализируя примеры последних двух недель, мы смогли выявить тенденции, в которых нам не удалось добиться успеха, и внесли более десятка технических усовершенствований в наши системы. Вот пример того, что мы сделали на данный момент:

• Мы создали улучшенные механизмы обнаружения бессмысленных запросов, которые не должны отображать предварительный просмотр AI, и ограничили включение сатирического и юмористического контента.
• Мы обновили наши системы, чтобы ограничить использование пользовательского контента в ответах, которые могут содержать вводящие в заблуждение советы.
• Мы добавили ограничения на триггеры для запросов, в которых данные ИИ были не столь полезны.
• По таким темам, как текущие события и здравоохранение, у нас уже есть надежные меры защиты. Например, мы стремимся не показывать превью ИИ для сложных тем новостей, где важны свежесть и реальность. Что касается здравоохранения, мы ввели дополнительные улучшения триггеров для улучшения качества нашей защиты.

Помимо этих улучшений, мы внимательно следим за внешними отзывами и отчетами, а также принимаем меры в отношении небольшого количества предварительных версий ИИ, которые нарушают правила. политика в отношении контента. Это означает, что предварительные просмотры содержат потенциально вредную, непристойную или иную противоречащую информацию. Мы обнаружили нарушение политики в отношении контента менее чем в одном из семи миллионов уникальных запросов, в которых появлялись предварительные просмотры AI.

В масштабах Интернета, с миллиардами запросов, поступающих каждый день, обязательно будут причуды и ошибки. За последние 25 лет мы многому научились о том, как создавать и поддерживать высококачественный поиск, в том числе о том, как учиться на этих ошибках, чтобы улучшить поиск для всех. Мы продолжим совершенствовать то, когда и как мы отображаем предварительные просмотры ИИ, и усиливать нашу защиту, в том числе в крайних случаях, и мы очень благодарны за ваши постоянные отзывы.