В LinkedIn есть интересный разговор вокруг файла robots.txt, который обслуживает 503 в течение двух месяцев, а остальная часть сайта доступна. Гэри Иллис из Google сказал, что когда другие страницы сайта доступны и доступны, это имеет большое значение, но когда эти другие страницы недоступны, тогда «вам не повезло», написал он.
Обратите внимание: он указал, что домашняя страница и другие «важные» страницы должны быть доступны…
Тема была опубликована Карлосом Санчесом Donate на LinkedIn где он спросил: «Что произойдет, если файл robots.txt будет 503 в течение 2 месяцев, а остальная часть сайта будет доступна?»
Гэри Иллис из Google ответил:
Я не уверен, нужно ли нам добавлять к этому больше нюансов; см. последнее предложение. Один аспект, который обычно не учитывается, заключается в том, могут ли наши сканеры постоянно достигать домашней страницы (или некоторых других важных страниц? не помните), в то время как robotstxt недоступен. Если это так, то сайт может находиться в нормальном состоянии, хотя и в подвешенном состоянии, но все же обслуживаться. Если мы получим ошибки и на важной странице, вам не повезло. При ошибках http robotstxt вы просто хотите как можно скорее сосредоточиться на исправлении доступности.
Вопрос заключался в том, нужны ли дополнительные разъяснения по поводу обработка ошибок robots.txt 5xx в документации или не справиться с этим.
Это очень интересная тема, поэтому я рекомендую вам просмотреть ее, если она вас интересует. Конечно, большинство из вас скажут: просто исправьте ошибки 5xx и не беспокойтесь об этом. Но многие оптимизаторы любят задаваться вопросом, а что, если.
Вот скриншот этого разговора, но, опять же, там гораздо больше, так что посмотрите:
Обсуждение на форуме LinkedIn.