OpenAI опубликовала информацию о своем новом сканере под названием GPTBot. Вы можете ознакомиться с документацией по GPTBot здесь.

Что такое GPTBot. GPTBot — это поисковый робот OpenAI, используемый OpenAI для обхода Интернета, использования знаний для своих функций искусственного интеллекта, таких как ChatGPT, и использования их для предоставления ответов на ваши вопросы, сгенерированных искусственным интеллектом.

Пользовательский агент. Токен пользовательского агента GPTBot — «GPTBot», а его полная строка пользовательского агента — «Mozilla/5.0 AppleWebKit/537.36 (KHTML, например Gecko; совместим; GPTBot/1.0; +

Роботы.txt. Вы можете использовать файл robots.txt, чтобы запретить GPTBot доступ ко всему или части вашего веб-сайта. Чтобы запретить GPTBot доступ к вашему сайту, вы можете добавить GPTBot в файл robots.txt вашего сайта:

User-agent: GPTBot
Disallow: /

Чтобы разрешить GPTBot доступ только к вашим частям вашего сайта, вы можете добавить токен GPTBot в файл robots.txt вашего сайта следующим образом:

User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/

Диапазоны IP-адресов GPTBot. OpenAI также опубликовал диапазоны IP-адресов, используемые GPTBot. Сюдав настоящее время он перечисляет один, но я подозреваю, что со временем они добавят больше.

Почему мы заботимся. Если вы не хотите, чтобы GPTBot сканировал ваш сайт и/или использовал ваш контент в своих целях, вы можете запретить GPTBot сканировать ваш сайт. Это тот же протокол, который вы использовали бы для блокировки GoogleBot, BingBot или других поисковых роботов.