Google недавно обновила документацию своего пользовательского агента расширенного веб-сканера Google, отразив изменения в названии продукта и разъяснив влияние на поиск, что может вызвать беспокойство у тех, кто решит заблокировать сканер. Обновленная документация предлагает более четкие рекомендации по управлению доступом к контенту для использования в обучении модели ИИ.

Расширенный пользовательский агент Google

Google-Extended, представленный 28 сентября 2023 года, предлагает веб-издателям пользовательский агент, который можно использовать для управления сканированием их сайтов. Издатели могут разрешить или запретить использование расширенного пользовательского агента Google с помощью протокола исключения роботов, что дает им возможность отказаться от очистки их контента и включения в наборы данных для обучения ИИ.

Google описывает Google-Extended как «автономный токен продукта», но это нестандартная терминология для того, как издатели понимают концепцию пользовательских агентов.

оригинальное объявление описал новый пользовательский агент:

«Сегодня мы анонсируем Google-Extended, новый элемент управления, который веб-издатели могут использовать для управления тем, помогают ли их сайты улучшать генеративные API Bard и Vertex, включая будущие поколения моделей, на которых основаны эти продукты.

Используя Google-Extended для контроля доступа к контенту на сайте, администратор веб-сайта может решить, стоит ли помогать этим моделям искусственного интеллекта со временем становиться более точными и функциональными».

Блокировка Google-Extended осуществляется с помощью пользовательского агента Google-Extended:

User-agent: Google-Extended
Disallow: /

Журнал изменений Google

Google ведет журнал изменений важных обновлений, внесенных в рекомендации и взаимодействие с веб-издателями и сообществом поискового маркетинга. В журнале изменений на страницах разработчиков Google объявлено об изменении документации Google-Extended.

Эта редакция появилась после переименования Bard в Gemini Apps, в котором указано, что индексация Google-Extended теперь способствует Gemini Apps и генеративным API Vertex AI. Новая формулировка заверяет издателей, что это не влияет на поиск Google, устраняя потенциальные опасения по поводу возможных последствий отказа от сбора данных Google-Extended AI.

Что изменилось?

Google журнал изменений уточняет, что расширенное сканирование Google является эксклюзивным для приложений Gemini и не влияет на поиск Google.

Журнал изменений советует:

«Обновлено описание токена продукта Google-Extended.
Что: С изменением названия Bard на Gemini Apps мы пояснили, что на Gemini Apps влияет Google-Extended, и, основываясь на отзывах издателей, мы указали, что Google-Extended не влияет на поиск Google».

В обновленном руководстве больше не используется торговая марка Bard, вместо нее используется Gemini. И было добавлено следующее предложение:

«Google-Extended не влияет на включение или рейтинг сайта в поиске Google».

Прочтите обновленный обзор сканера Google:

Обзор сканеров и сборщиков Google (пользовательских агентов)

Рекомендованное изображение: Shutterstock/Ribkhan