Джон Мюллер из Google опубликовал разъяснение о том, как и когда Google обрабатывает запросы на удаление или запросы на исключение, которые вы делаете в файле robots.txt. Действие предпринимается не тогда, когда Google обнаруживает изменение в файле robots.txt, а после того, как файл robots.txt сначала обрабатывается, а затем поисковая система Google повторно обрабатывает конкретные затронутые URL-адреса.

Оба должны произойти. Во-первых, Google должен отследить ваши изменения в файле robots.tx, а затем Google должен повторно обработать отдельные URL-адреса на основе URL-адресов, чтобы произошли любые изменения в поиске Google. Это может быть быстро или нет, в зависимости от того, насколько быстро определенные URL-адреса повторно обрабатываются Google.

Об этом сообщил Джон Мюллер. мастодонт говоря: «следует помнить, что речь идет не о том, когда мы увидим изменение в robots.txt, а о том, когда мы хотели бы повторно обработать URL-адрес. Если я запрещаю: / сегодня, а Google увидит это завтра, он не меняет все URL-адреса на роботизированные завтра, он только начинает делать это для каждого URL-адреса. на основе URL.»

Вот скриншот этого разговора, просто чтобы у вас был контекст:

Фактически, многие алгоритмы ранжирования работают таким образом, поэтому, когда выпускается обновление, иногда для полного развертывания требуется около двух недель, потому что именно столько времени требуется Google для повторной обработки наиболее важных URL-адресов в Интернете. На повторную обработку некоторых URL-адресов в Интернете могут уйти месяцы.

Обсуждение форума на Твиттер.