Джон Мюллер из Google ответил на вопрос в LinkedIn, чтобы обсудить использование неподдерживаемой директивы noindex в файле robots.txt его собственного личного веб-сайта. Он объяснил плюсы и минусы поддержки этой директивы поисковыми системами и рассказал о внутренних дискуссиях Google по поводу ее поддержки.
Содержание
Robots.txt Джона Мюллера
Файл robots.txt Мюллера был темой разговоров на прошлой неделе из-за общей странности странных и нестандартных директив, которые он в нем использовал.
Было почти неизбежно, что файл robots.txt Мюллера был тщательно изучен и стал вирусным в сообществе поискового маркетинга.
Директива Noindex
Все, что находится в файле robots.txt, называется директивой. Директива — это запрос к веб-сканеру, которому он обязан подчиняться (если он подчиняется директивам файла robots.txt).
Существуют стандарты написания директивы robots.txt, и все, что не соответствует этим стандартам, скорее всего, будет проигнорировано. Нестандартная директива в файле robots.txt Мюллера привлекла внимание человека, который решил задать вопрос Джону Мюллеру через LinkedIn, чтобы узнать, поддерживает ли Google эту нестандартную директиву.
Это хороший вопрос, потому что легко предположить, что если его использует сотрудник Google, то, возможно, Google его поддерживает.
Нестандартной директивой была noindex. Noindex является частью стандарта мета-роботов, но не является частью стандарта robots.txt. У Мюллера был не один экземпляр директивы noindex, у него было 5506 директив noindex.
SEO-специалист, задавший вопрос, Махек Гири, написал:
«В файле robots.txt Джона Мюллера:
есть необычная команда:
«ноиндекс:»
Эта команда не является частью стандартного формата robots.txt.
Как вы думаете, это окажет какое-либо влияние на то, как поисковые системы индексируют его страницы?
Джону Мюллеру интересно узнать о noindex: в robots.txt»
Почему директива Noindex в файле Robots.txt не поддерживается Google
Джон Мюллер из Google ответил, что он не поддерживается.
Мюллер ответил:
«Это неподдерживаемая директива, она ничего не делает».
Затем Мюллер объяснил, что Google одно время рассматривал возможность поддержки директивы noindex в файле robots.txt, поскольку она давала бы издателям возможность блокировать Google одновременное сканирование и индексирование контента.
Прямо сейчас можно заблокировать сканирование в файле robots.txt или заблокировать индексацию с помощью мета-директивы robots noindex. Но вы не можете одновременно заблокировать индексирование с помощью директивы мета-роботов и заблокировать сканирование в файле robots.txt, поскольку блокировка сканирования не позволит сканеру «видеть» директиву мета-роботов.
Мюллер объяснил, почему Google решила не реализовывать идею соблюдения директивы noindex в файле robots.txt.
Он написал:
«Было много дискуссий о том, следует ли поддерживать его как часть стандарта robots.txt. Идея заключалась в том, что было бы неплохо заблокировать сканирование и индексирование одновременно. С помощью файла robots.txt вы можете заблокировать сканирование или заблокировать индексирование (с помощью метатега robots, если вы разрешаете сканирование). Идея заключалась в том, что вы могли бы также иметь «noindex» в robots.txt и заблокировать оба.
К сожалению, поскольку многие люди копируют и вставляют файлы robots.txt, не рассматривая их подробно (мало кто смотрит так далеко, как вы!), кому-то может быть очень и очень легко случайно удалить важные части веб-сайта. Итак, было решено, что это не должен быть поддерживаемый директор или часть стандарта robots.txt… вероятно, более 10 лет назад на этом этапе».
Почему в robots.txt Мюллера был этот Noindex?
Мюллер ясно дал понять, что Google вряд ли будет поддерживать этот тег, и что это было подтверждено около десяти лет назад. Информация об этих внутренних дискуссиях интересна, но она также усугубляет ощущение странности файла robots.txt Мюллера.
Смотрите также: 8 распространенных проблем с файлом robots.txt и способы их устранения
Рекомендованное изображение: Shutterstock/Kues
