Контент-платформа Дзен (принадлежит ВК) запретила боту OpenAI GPTBot сканировать страницы сайта dzen.ru для сбора данных.

Соответствующая директива отмечена знаком «Ъ» в файле robots.txt. В пресс-службе ВК пояснили, что заблокировали GPTBot, чтобы снизить нагрузку на серверы Zen.

В компании ВК свое решение прокомментировали следующим образом:

Рекомендательная система Дзен — одна из крупнейших в стране. Загруженные службы работают непрерывно и обрабатывают более 150 000 запросов в секунду. Решение не включать в файл GPTBot от OpenAI было принято для эффективного использования технического ресурса, чтобы не создавать дополнительную нагрузку. В Zen регулярно создаются миллионы новых статей, как в текстовом, так и в видеоформате, и мы выделяем ресурсы для обеспечения качественного опыта для наших пользователей и авторов.

Обратите внимание, что файл robots.txt носит рекомендательный характер для сканеров и технически нет ничего, что запрещало бы роботам игнорировать написанные там директивы.

GPTBot используется для сбора информации, которая затем используется для создания продуктов нейронных сетей OpenAI. Компания не предоставляет к нему доступ в России и заблокировала доступ к сайту для пользователей в РФ.

Напомним, ранее Яндекс предлагал владельцам сайтов специальную директиву для YandexGPT, запрещающую нейросети использовать информацию о ресурсах для генерации быстрых ответов. Узнайте, как на это отреагировало SEO-сообщество, в нашей статье.

Источник: Коммерсантъ