Вопросы о методологии, используемой исследовательским центром Pew, показывают, что его выводы о резюме Google могут быть ошибочными. Факты о том, как создаются резюме ИИ, размер выборки и статистическая надежность, бросают вызов достоверности результатов.

Официальное заявление Google

Представитель Google обратился с официальным заявлением и дискуссией о том, почему результаты исследований Pew не отражают фактические модели взаимодействия с пользователем, связанные с резюме ИИ и стандартным поиском.

Основными моментами опровержения Google являются:

• Пользователи все чаще ищут функции искусственного интеллекта
• Они задают больше вопросов
• Тенденции использования ИИ повышают видимость для создателей контента.
• В исследовании Pew использовалась ошибочная методология.

Google Cared:

«Люди тяготеют к опыту, работающему с ИИ, и функции ИИ в поиске позволяют людям задавать еще больше вопросов, создавая новые возможности для людей для общения с веб-сайтами.

В этом исследовании используется ошибочная методология и искаженную запрос, который не является репрезентативным для поискового трафика. Мы постоянно направляем миллиарды кликов на веб -сайты ежедневно и не наблюдали значительных падений в совокупном веб -трафике, как предлагается ».

Размер выборки слишком низкий

Я обсудил исследование Пью с Дуэном Форрестером (ранее Бинг, LinkedIn Profile) и он предположил, что размер выборки исследования был слишком низким, чтобы быть значимым (900+ взрослых и 66 000 запросов на поиск). Дуэйн поделился следующим мнением:

«Из почти 500 миллиардов запросов в месяц в Google и извлекать информацию, основанные на 0,0000134% размер выборки (66 000+ запросов), это очень небольшая выборка.

Не предполагая, что 66 000 из -за чего -то несущественно, но взято в контексте объема запросов, происходящих в любой конкретный месяц, день, час или минуту, это очень технически не ошибка округления, и, если бы это было моим исследованием, мне придется назвать, насколько чрезвычайно низкий размер выборки и что он может не реалистично представлять реальный мир ».

Насколько надежны статистика Pew Center?

На странице методологии используемой статистики список, насколько надежны статистика для следующих возрастных групп:

• В возрасте 18-29 лет были ранжированы в плюс/минус 13,7 процентных пункта. Это считается низким уровнем надежности.
• В возрасте от 30 до 49 лет были ранжированы на плюс/минус 7,9 процентных пункта. Это входит в умеренный, несколько надежный, но все же довольно широкий диапазон.
• В возрасте 50–64 года были ранжированы в плюс/минус 8,9 процентных пункта. Это считается умеренным или низким уровнем надежности.
• Возраст 65+ был ранжирован в плюс/минус 10,2 процентных пункта, что твердо находится в низком диапазоне надежности.

Вышеуказанные оценки надежности взяты из Pew Research Методология страницаПолем В целом, все эти результаты имеют высокую ошибку, что делает их статистически ненадежными. В лучшем случае их следует рассматривать как грубые оценки, хотя, как говорит Дуэйн, размер выборки настолько низкий, что трудно оправдать ее как отражение реальных результатов.

Результаты исследований Pew сравнивают результаты в разные месяцы

Подумав об этом на ночь и рассмотрение методологии, аспект методологии исследования Pew, который выделялся, заключается в том, что они сравнили фактические запросы поиска от пользователей в течение марта месяц с теми же запросами, которые исследователи провели за одну неделю в апреле.

Это проблематично, потому что резюме ИИ Google меняются с месяца к месяцу. Например, виды запросов, которые вызывают изменения обзора ИИ, причем AIOS становятся более заметными для определенных ниш и меньше для других тем. Кроме того, пользовательские тенденции могут повлиять на то, что искать, на котором сама может вызвать временное обновление свежести к алгоритмам поиска, которые определяют приоритеты видео и новости.

Вывод заключается в том, что сравнение результатов поиска в разные месяцы является проблематичным как для стандартного поиска, так и для резюме ИИ.

Pew Research игнорирует, что результаты поиска искусственного интеллекта являются динамическими

Что касается обзоров ИИ и резюме, они еще более динамичны, могут измениться не только для каждого пользователя, но и для одного и того же пользователя.

Поиск запроса в обзорах искусственного интеллекта, затем повторяя запрос в совершенно другом браузере, приведет к другому сводке ИИ и совершенно разным наборам ссылок.

Дело в том, что методология Центра Исследования Пью, в которой они сравнивают запросы пользователей с соскобными запросами через месяц, ошибочны, потому что два набора запросов и результатов нельзя сравнивать, каждый из них по своей природе отличается из -за времени, обновлений и динамического характера сводных изданий ИИ.

Следующие скриншоты — это ссылки, показанные для запроса, Что такое обучение RLHF в Openai?

Google AIO через браузер Vivaldi

Google AIO через Chrome Canary Browser

Мало того, что ссылки с правой стороны разные, содержимое ИИ, и ссылки, встроенные в этот контент, также различны.

Может ли это быть почему издатели видят непоследовательный трафик?

Издатели и SEO используются для статических позиций ранжирования в результатах поиска для данного поискового запроса. Но обзоры ИИ Google и режим искусственного интеллекта показывают динамические результаты поиска. Содержание в результатах поиска и показанные ссылки динамичны, показывающие широкий диапазон сайтов в трех лучших позициях для тех же самых запросов. SEO и издатели попросили Google показать более широкий спектр веб -сайтов, и это, по -видимому, то, что делают функции Google AI. Это случай, когда вы осторожны с тем, что вы хотите?

Избранное изображение от Shutterstock/Stokkete