OpenAI обновила своего паука/сканера, который он использует для ChatGPT, OAI-SearchBot. Компания, занимающаяся искусственным интеллектом, обновила описание и подробную информацию о сканере, удалив тот факт, что она используется для ссылок и для обучения базовых моделей генеративного искусственного интеллекта OpenAI.

Питер Серрарис заметил это изменение и написал об этом на LinkedIn — написал он: «OpenAI внесла некоторые большие изменения в описание ролей своих сканеров и пользовательских агентов».

Вот изменения, были удалены слова, выделенные красным, и добавлены слова, выделенные зеленым:

Питер резюмировал изменения:

• Похоже, что пользователь ChatGPT (бот действий пользователя) больше не будет соблюдать правила robots.txt (Open изменил формулировку с «следующих тегов robots.txt», ссылаясь на все три пользовательских агента на «теги OAI SearchBot и GPTBot robots.txt»)
• OAISearchBot больше не используется для подачи навигационных ссылок в ответах ChatGPT (блокировка этого бота не означает, что вы не будете отображаться в ссылках)
• Пользователь ChatGPT теперь также используется для пользовательских запросов GPT и действий GPT.
• OAISearchBot и GPTBot обмениваются информацией друг с другом («Если на вашем сайте разрешены оба бота, мы можем использовать результаты только одного сканирования для обоих вариантов использования, чтобы избежать дублирования сканирования».) -> это подтверждает то, что мы видели в последнее время в файлах журналов: по некоторым запросам мы видим, что 2 или все 3 бота OAI посещают сайт.

Для большинства людей OpenAI сканирует ваш сайт гораздо больше, чем отправляет вам трафик — так что имейте это в виду.

Обсуждение на форуме LinkedIn.