1 июля 2024 года Reddit обновил свой файл robots.txt, чтобы запретить большинству поисковых систем и ИИ-краулеров доступ к своему контенту, включая блокировку Microsoft Bing. Reddit не блокировал Google Search, о котором мы писали здесь несколько недель назад.

Представитель Microsoft сказал мне, вчера вечером«Мы уважаем стандарт robots.txt. Bing прекратил сканирование Reddit после того, как 1 июля они внедрили обновленный файл robots.txt, который запрещает любое сканирование их сайта».

Реддит сказал The Verge: «Мы вели переговоры с несколькими поисковыми системами. Нам не удалось достичь соглашения со всеми из них, поскольку некоторые из них не могут или не хотят давать исполнимые обещания относительно использования ими контента Reddit, включая использование для ИИ».

Марк Уильямс-Кук показал мне, что Reddit новый контент не появлялся в результатах поиска Bing, он написал об этом на Икс и затем несколько других СМИ, охваченные это было до того, как Microsoft прислала мне это заявление.

Индекс Bing Reddit на прошлой неделе

Reddit также заявил: «Это вообще не связано с нашим недавним партнерством с Google». Да, Google платит Reddit 60 миллионов долларов в год за возможность доступа к контенту на его сайте.

Не забывайте, что у Google есть алгоритм скрытых драгоценностей, который помог Reddit получить много трафика от Google. Reddit — это видя много плохой пиар вокруг Reddit, доминирующего в поиске Google. Я имею в виду, Reddit доминирует в результатах поиска Google. Черт, Google даже тестировал специальную обработку для Reddit не так давно.

В любом случае, Bing и многим другим поисковым системам и ИИ-ботам больше не разрешено сканировать сайт Reddit. Google может и делает это, но другие системы этого не делают.

ЧИТАТЬ  Google тестирует рекламу местных услуг без фотографий юристов

Смелый шаг, Reddit, но с учётом лицензионного соглашения Google, я думаю, это не слишком смелый шаг.

Обсуждение на форуме Икс.





Source link