Знаете ли вы, что эти службы защиты от ботов иногда используют директивы noindex от Google и других поисковых систем? Об этом заявил Джон Мюллер из Google. Икси говорит: «Иногда существует защита от ботов (или логин, межстраничное объявление и т. д.), которая запускает noindex».
Он также добавил, что им было бы лучше предоставить 503 кода состояния сервера. «Было бы лучше использовать 503 для блокировки на стороне сервера, например, для защиты ботов», — написал он.
В конце концов, у человека, которому он отвечал, возникла еще одна проблема, вызывающая отсутствие индекса, а не защита от ботов. Он сказал, что это были «какие-то махинации, когда NextJS выполнял рендеринг на стороне клиента вместо рендеринга на стороне сервера». «В HTML был тег noindex, который был удален после рендеринга в браузере. HTML-код, показанный в GSC, находится ПОСЛЕ рендеринга JavaScript, поэтому я не смог его найти и подумал, что это ошибка GSC», — добавил он.
Вот какую ошибку он увидел:
Вот эти посты:
Что здесь происходит? Почему Google это не индексирует?
Говорят, есть тег noindex, но его нет. robots.txt тоже выглядит хорошо.
Любой? #seo помощь pic.twitter.com/DYzJsLQ4Yk
— Гильерме (@goenning) 26 декабря 2023 г.
Спасибо, Джон, я наконец нашел это, спасибо @HamilcDev
Некоторые махинации с NextJS выполняют рендеринг на стороне клиента вместо рендеринга на сервере.
В HTML-коде был тег noindex, который был удален после рендеринга в браузере. HTML-код, отображаемый в GSC, — это ПОСЛЕ рендеринга JavaScript… https://t.co/NffU7suVLM
— Гильерме (@goenning) 26 декабря 2023 г.
Обсуждение на форуме ниже Икс.
