У Google есть объявлено новый робот Googlebot, новый сканер Google под названием Google-расширенный которые вы можете использовать, чтобы контролировать, может ли ваш контент помочь улучшить генеративные API Bard и Vertex или будущие продукты Google AI. Поэтому, если вы хотите запретить Барду использовать ваш контент, вы указываете это в своем файле robots.txt с помощью пользовательского агента Google-Extended.

Google не будет сканировать с помощью Google-Extended, Google по-прежнему будет сканировать с помощью обычного робота Googlebot или других ботов. Но использование Google-Extended позволит Google не использовать этот контент для Bard или других проектов Google по искусственному интеллекту. Представитель Google сказал мне: «Google-Extended скажет Google не использовать контент сайта для генеративных API Bard и Vertex AI». «Что касается поиска, администраторы веб-сайтов должны продолжать использовать пользовательский агент Googlebot через robots.txt и метатег NOINDEX для управления своим контентом в результатах поиска, включая такие эксперименты, как Search Generative Experience», — добавили в Google.

По сути, это позволяет вам разрешить Google Search сканировать, индексировать и ранжировать ваш веб-сайт, но запрещать Bard или другим проектам Google AI использовать ваш контент.

Это произошло после того, как неделю назад Bing предложил средства управления, позволяющие заблокировать использование Bing Chat AI на вашем сайте.

«Сегодня мы анонсируем Google-Extended, новый элемент управления, который веб-издатели могут использовать для управления тем, помогают ли их сайты улучшать генеративные API-интерфейсы Bard и Vertex, включая будущие поколения моделей, на которых основаны эти продукты. Используя Google-Extended для контроля доступа к контенту на сайте, администратор сайта может решить, помогать ли этим моделям ИИ со временем становиться более точными и функциональными», — написали в Google.

ЧИТАТЬ  Подсчет символов в текстах онлайн через сервис Rush Analytics — лучший инструмент для анализа текста

Google-Extended — это «автономный токен продукта, который веб-издатели могут использовать для управления тем, помогают ли их сайты улучшать генеративные API Bard и Vertex, включая будущие поколения моделей, на которых основаны эти продукты». объяснил.

Токен пользовательского агента является расширенным Google.

«Google-Extended не имеет отдельной строки пользовательского агента HTTP-запроса. Сканирование осуществляется с использованием существующих строк пользовательского агента Google; токен пользовательского агента robots.txt используется в качестве элемента управления», — добавили в Google.

Я не уверен, что это альтернативный подход к robots.txt для ИИ…

Обратите внимание, что бот Google News также работает аналогичным образом: он не сканирует, а использует директиву для использования этого контента в Новостях Google:

Обсуждение на форуме Икс.





Source link