Джон Мюллер из Google ответил на вопрос на Reddit о часто используемом метатеге роботов и о том, что произойдет, если он отсутствует. Ответ Мюллера, хотя и разумный и документированный, все же может стать неожиданностью для многих издателей и оптимизаторов.
Содержание
Метатег робота
Мета-элемент HTML передает метаданные. Метаданные это машиночитаемая информация, которую может прочитать сканер, такой как Googlebot.
Существует много типов метаэлементов, таких как элемент метаописания, но метаэлемент «Роботы» отличается тем, что он может управлять сканерами поисковых систем.
Информация, передаваемая метатегом robots, называется директивой. Это означает, что роботы-сканеры обязаны следовать инструкциям в метатеге robots.
Есть много направлений, которые можно передать через мета-робот, но следующий метатег имеет отношение к вопросу, на который ответил Джон Мюллер.
Метатег Noindex, No Follow:
<meta name="robots" content="noindex, nofollow">
Приведенный выше метатег сообщает сканерам поисковых систем не индексировать содержимое веб-страницы и не переходить по ссылкам.
Одним из наиболее распространенных метатегов является этот, который сообщает поисковым системам индексировать контент и переходить по всем ссылкам:
<meta name="robots" content="index, follow">
Несмотря на то, что приведенный выше метатег является обычным явлением, существует серьезное недоразумение по этому поводу. Существует аргументация, согласно которой поддержка Google nofollow должна означать, что Google поддерживает инструкцию Follow.
Я нашел ряд авторитетных веб-сайтов, которые утверждают, что Google использует индекс «Follow Meta Tag» от Meta Robots.
Но на самом деле Google использует эти рекомендации не так, как ясно дает понять в своем ответе Джон Мюллер.
Смотри тоже: Google реагирует, когда теги Meta Robots влияют на рейтинг в поиске
Каковы последствия отсутствия индексного тега Meta Robots?
Человек на Реддите Я задал следующий вопрос:
«Меня немного сбивает с толку веб-сайт, над которым я работаю.
Вот как выглядят мета-фрагменты на большинстве сайтов, над которыми я работаю:
Однако на этом сайте отсутствует тег «index».
Мой вопрос: как повлияет отсутствие тега «index» на веб-сайте».
Джон Мюллер ответил:
«Метатег robots index не имеет никакой функции (по крайней мере, в Google) — он полностью игнорируется. Следовать обратно».
Google необходимо документировать метатеги, имеющие функции. Вы можете использовать что-нибудь еще, это будет проигнорировано. — это вариант, если вы хотите отпугнуть людей».
Почему Google игнорирует индекс роботов и подписку на них
Простая причина, по которой Google игнорирует метатег robots index и Follow, заключается в том, что индексирование и подписка являются настройками по умолчанию.
Индексирование и отслеживание ссылок — работа роботов поисковых систем. Их не нужно просить индексировать контент и переходить по ссылкам, потому что это их цель.
Гуглы Документация по тегам роботов советует:
«Значения по умолчанию — Index, Follow и их не нужно указывать».
Полный список применимых политик Google здесь.
Если мета-робот, который вы хотите использовать, там не указан, робот Googlebot его проигнорирует.
Связанный: Как контролировать взаимодействие робота Googlebot с вашим сайтом
Является ли Index, Follow совершенно бесполезным?
Это правда, документально подтверждено и официально, что является пустой тратой HTML-пространства робота Googlebot и игнорируется роботом Googlebot.
Bing обрабатывает индекс аналогичным образом, но с небольшой разницей, как описано выше.Официальная документация Bing для метатегов.
Вот что говорится в документации Bing об операторе index:
«По умолчанию мы предполагаем индекс, но при необходимости вы можете чтобы явно указать, что нам разрешено индексировать страницу».
И вот что говорится о следующей директиве:
«По умолчанию мы предполагаем «последствия», но вы можете указать «последствия», если хотите».
За более чем 20 лет работы в индустрии SEO, создавая, оптимизируя и оценивая веб-сайты, я всегда считал, что хорошей стратегией является дать ботам то, что они ожидают, и постараться не дать им ничего неожиданного. Поэтому, если метаописание не требуется, я бы его исключил, потому что цель оптимизации состоит в том, чтобы поисковым системам было как можно проще индексировать и понимать контент, а это означает, что удаление всего, что с ним связано, может противодействовать этой цели. .
В этом случае весьма вероятно, что это не окажет никакого влияния ни в ту, ни в другую сторону.
Но… Есть еще один способ сбить людей с толку отслеживанием и индексированием.
Некоторые издатели используют этот метатег robots:
<meta name="robots" content="noindex, follow">
Некоторые веб-сайты отмечают, что использование директивы «follow» заставит поисковую систему переходить по ссылкам, если страница не проиндексирована.
Однако это неприменимо, если есть оператор «noindex», по той простой причине, что Google не может перейти по ссылке на странице, поскольку она не проиндексирована. Если его нет в индексе, ссылки на эти страницы не входят в индекс.
Читать: Как заставить Google проиндексировать ваш сайт (быстро)
Рекомендованное изображение: Shutterstock/Bangun Stock Productions
