Гугл в конце сентября продемонстрировал новый поисковый робот, предназначенный для использования данных для обучения генеративно-состязательных нейронных сетей – Google расширенный. Недавно зарубежный оптимизатор Глен Гейб обнаруженныйчто управление индексированием с помощью нового сканера SGE не работает.

Search Generative Experience (SGE) — это новая поисковая платформа Google со встроенным искусственным интеллектом, анонсированная прошлым летом. В нем пользователь может получать сгенерированные ответы нейросети. Согласно заявлению Гейба, выяснилось, что запрет Google на расширенную индексацию в robots.txt никак не влияет на использование контента в ответе.

Единственный способ полностью запретить ИИ сканировать ваш контент — это полностью заблокировать робота Googlebot.