Со всеми разговорами о ChatGPT и других ИИ-ботах знаете ли вы, что существует бот OpenAI ChatGPT, и он соблюдает протокол robots.txt? Поэтому, если вы хотите, вы можете заблокировать бота OpenAI ChatGPT от сканирования, индексации и использования вашего контента и данных с вашего веб-сайта. Это заблокирует плагины ChatGPT.

Майк Кинг заметил это и написал об этом на Твиттервы можете посмотреть официальную документацию здесь. Он гласит:

ChatGPT-User используется плагинами в ChatGPT. Этот пользовательский агент будет использоваться только для выполнения прямых действий от имени пользователей ChatGPT и не используется для автоматического сканирования Интернета.

Токен пользовательского агента: ChatGPT-User Полная строка пользовательского агента: Mozilla/5.0 AppleWebKit/537.36 (KHTML, например Gecko); совместимый; ChatGPT-Пользователь/1.0; + Чтобы разрешить плагинам доступ к вашему сайту, вы можете явно добавить пользователя ChatGPT в файл robots.txt вашего сайта:

Вот скриншот документа на случай, если он изменится в будущем:

Опять же, если вы не хотите, чтобы OpenAI использовал данные вашего сайта для своего AI и ChatGPT, вы можете запретить это в файле robots.txt. Хотя я не уверен, насколько это в реальном времени, и если OpenAI когда-то использовал контент, удалит ли он его постфактум?

Обсуждение форума на Твиттер.