Google изучает альтернативы или дополнительные способы управления сканированием и индексированием помимо 30-летнего стандарта протокола robots.txt. «Мы считаем, что настало время для веб-сообществ и сообществ ИИ изучить другие машиночитаемые средства для выбора и контроля веб-издателей для новых вариантов использования ИИ и поиска», — Google. письмо.

Взаимодействуйте с сообществом. Google заявил, что приглашает членов интернет-сообществ и сообществ ИИ для обсуждения нового протокола. Google заявил, что это «развязывает публичные дебаты» с «широким диапазоном голосов веб-издателей, гражданского общества, академических кругов и других сфер по всему миру».

Почасово. В Google заявили, что эти обсуждения завершаются, «чтобы присоединиться к обсуждению, и мы будем приглашать всех, кто заинтересован, принять участие в« ближайших месяцах ». Так что ничего не произойдет слишком рано и ничего не изменится завтра».

Проблема с платным контентом. Недавно Open AI отключил просмотр с функциональностью Bing в ChatGPT после того, как получил доступ к платному контенту без разрешения издателя. Это одна из многих причин, по которым Google может искать альтернативу протоколу robots.txt.

Почему мы заботимся. Нас всех обвиняли в том, что мы разрешаем роботам доступ к нашим веб-сайтам с помощью файла robots.txt и других новых форм структурированных данных. Но мы могли бы рассмотреть новые методы в будущем. Как могут выглядеть эти методы и протоколы, в настоящее время неизвестно, но обсуждение продолжается.