Несколько недель назад Google выпустил новую директиву robots.txt, предписывающую Google не использовать ваш контент для Bard или других проектов Google по искусственному интеллекту — Google-Extended. Google сообщил мне, что Google Search Generative Experience в настоящее время не использует Google-Extended. Это означает, что ответы SGE, сгенерированные искусственным интеллектом, могут и будут появляться, если вы полностью не заблокируете Googlebot.

Google написал, что эти расширенные роботы Google дадут указание Google не использовать ваш контент для улучшения «генеративных API Bard и Vertex AI, включая будущие поколения моделей, на которых основаны эти продукты». Первоначально я предполагал, что это применимо к снимкам, созданным искусственным интеллектом и предоставленным Google SGE, но это не так.

Представитель Google сказал мне: «SGE — это поисковый эксперимент, поэтому администраторы сайтов должны продолжать использовать пользовательский агент Googlebot через robots.txt и метатег NOINDEX для управления своим контентом в результатах поиска, включая такие эксперименты, как Search Generative Experience».

Например, вот ответ от SGE, сгенерированный искусственным интеллектом, который включает карту с сайта Rolling Stones:

Если вы посмотрите на их robots.txt Файл, в Google-Extended он указан там:

Гленн Гейб поделился еще одним примером, но когда я писал эту статью, SGE перестал показывать VentureBeat в SGE по этому запросу:

Кажется, это не так. Об этом я сообщил вчера. Я также только что проверил еще один пример, основанный на только что опубликованной статье, и Venturebeat был включен в ответ SGE, хотя он был заблокирован Google-Extended. pic.twitter.com/aSbUMbnZG4

– Гленн Гейб (@glenngabe) 8 октября 2023 г.

Поскольку SGE интегрирован с поиском, Google, похоже, считает, что веб-издатели не против не использовать Google-Extended для снимков AI в SGE. «Контекст таков, что ИИ встроен в поиск, а не прикручен к нему и является неотъемлемой частью того, как работает поиск. По этой причине файл robots.txt — это элемент управления, который дает веб-издателям возможность управлять доступом к сканированию их веб-сайтов. Как вы знаете». На протяжении многих лет мы используем искусственный интеллект и большие языковые модели в поиске, чтобы не только значительно улучшить качество наших результатов, но и внедрить уникальные методы поиска, такие как Lens и Multisearch. Эти усилия еще больше улучшили нашу способность связывать людей с более релевантными веб-сайтами и направлять ценный трафик в экосистему», — добавил представитель Google.

Ее мысли?

Обсуждение на форуме ниже Икс.