Сегодня 4 июля, и я обычно не стал бы писать здесь истории, но ходит много слухов о том, что Reddit блокирует Google Search от сканирования и индексации своего контента. Это неправда — Reddit не блокирует Google Search.

Я имею в виду, на первый взгляд, это выглядит так Файл robots.txt Reddit файл блокирует все поисковые системы, включая Google Search:

Но это именно то, что видим мы с вами.

Если вы зайдете к нему из Тест расширенных результатов Googleкак будто вы действительно получаете к нему доступ из диапазонов IP-адресов Google, вы видите, что Google действительно разрешен:

Плюс, попробуйте проверить, может ли этот инструмент получить доступ к домашней странице Reddit — это возможно, и это разрешено:

Я имею в виду, что думать, что Reddit блокирует Google, это немного дико. Для Reddit сделать это на самом деле еще более безумно. Reddit получает деньги от Google за этот контент, и Reddit получает безумное количество трафика от поиска Google.

Хорошая работа по расследованию Педро Диаса Икс и Райан Сиддл здесь.

Вот что они показывают Google:

# Наш robots.txt предназначен для поисковых систем

# 80ног
Пользовательский агент: 008
Запретить: /

# 80legs' новый гусеничный трактор
Пользовательский агент: voltron
Запретить: /

User-Agent: Бендер
Запретить: /my_shiny_metal_ass

Пользовательский агент: Горт
Запретить: /земля

Пользовательский агент: MJ12bot…

— Педро Диас (@pedrodias) 4 июля 2024 г.

Так что можете расслабиться, Reddit по-прежнему будет ранжироваться выше вашего по всему контенту в результатах поиска Google…

Обсуждение на форуме Икс.