В нить На Reddit Джон Мюллер ответил на вопрос о том, что произойдет, если вы не включите индекс в метатег «Роботы»:

• При индексировании Google игнорирует индекс robots и следует метатегам;

• Индекс — значение по умолчанию; Вам не нужно указывать это отдельно;

• Робот Googlebot игнорирует теги index и Follow, поэтому их использование — пустая трата HTML-пространства.

Некоторые издатели используют Follow вместе с noindex, но это не дает результатов, поскольку поисковая система не может перейти на неиндексированные страницы. Мюллер ссылается на официальная документация Гугл о работе с тегами. Подробнее о роботах и ​​метатегах X-Robots мы говорили в статье.