Мартин Сплитт из Google опубликовал видео в своей серии SEO Made Easy на тему примечания о статусе индексации страницы «Обнаружено — в настоящее время не индексировано» в Google Search Console. Короче говоря, есть три основные причины, по которым вы видите страницы в этой категории:

(1) Проблемы с качеством этих страниц
(2) Ваш сервер медленный для Googlebot
(3) Google просто нужно больше времени для индексации этих страниц (может быть связано с пунктом 2 выше).

По вопросу качества Мартин Сплитт сказал: «Когда Google Search замечает шаблон низкокачественного или слабого контента на страницах, они могут быть удалены из индекса и могут остаться в списке обнаруженных». «Googlebot знает об этих страницах, но предпочитает не продолжать работу с ними», потому что они недостаточно высокого качества, объяснил он. Он добавил: «Если Google Search обнаруживает шаблон в URL-адресах с низкокачественным контентом на вашем сайте, он может вообще пропустить эти URL-адреса, оставив их в списке обнаруженных».

Что вы можете сделать? «Если вас беспокоят эти страницы, вы можете переработать контент, чтобы он был более качественным, и убедиться, что ваши внутренние ссылки связывают этот контент с другими частями вашего существующего контента», — сказал он. Поэтому обязательно просмотрите контент и улучшите его, а также посмотрите, на какие страницы вы можете ссылаться на этот контент с других страниц, которые уже проиндексированы.

Чтобы внести ясность, Google справочная документация по обнаруженному — в настоящее время не индексируется На самом деле упоминает только проблемы сервера. Там написано:

Страница была найдена Google, но еще не просканирована. Обычно Google хотел просканировать URL, но ожидалось, что это перегрузит сайт; поэтому Google перепланировал сканирование. Вот почему дата последнего сканирования в отчете пуста.

Но как мы уже говорили в 2018 году, мы знаем, что это также касается вопросов качества. Так что это не новость, но приятно иметь видео на эту тему.

Вот видео:

Вот скриншот отчета об индексации этой страницы с пометкой «Обнаружено — в настоящее время не проиндексировано» для этого сайта:

Вот стенограмма:

Google Видео Обнаружено — В настоящее время не индексируется

Сегодня мы подробно рассмотрим статус «Обнаружено — в настоящее время не проиндексировано» в отчете об индексации страниц в Google Search Console.

При использовании Google Search Console, а вам следует ее использовать, вы, вероятно, заходили в отчет об индексации страниц и, возможно, видели такие причины, по которым страницы не индексируются. Один из наиболее частых вопросов, которые мы получаем по этому поводу, — это статус «обнаружено в настоящее время не индексируется». Давайте посмотрим, что это значит и что можно с этим сделать.

Прежде всего, Google почти никогда не индексирует весь контент с сайта. Это не ошибка и даже не обязательно проблема, которую нужно изучить. Это примечание о статусе этих страниц, упомянутых там. Чтобы понять, что это значит, нам нужно рассмотреть, как страница проходит через системы и процессы, составляющие Google Search.

В самом начале Googlebot находит URL-адрес, который может быть, например, картой сайта или ссылкой. Теперь Googlebot обнаружил, что этот URL-адрес существует. Googlebot по сути помещает его в список URL-адресов, которые нужно посетить и, возможно, проиндексировать позже. В идеальном мире Googlebot немедленно приступил бы к работе над этим URL-адресом, но, как вы, вероятно, знаете из своего собственного списка, это не всегда возможно. И это первая причина, по которой вы можете увидеть это в Google Search Console. Googlebot просто не успел просканировать URL-адрес, так как был занят другими URL-адресами. Поэтому иногда вам просто нужно немного больше терпения, чтобы получить этот результат. В конце концов Googlebot может просканировать его. Это момент, когда он извлекает страницу с вашего сервера и обрабатывает ее дальше, чтобы потенциально проиндексировать. Как только он приступит к сканированию, URL-адрес перейдет к просканированной, в настоящее время не проиндексированной странице, или страница будет проиндексирована.

Но что, если он не сканируется и остается в обнаруженном, неиндексированном виде? Ну, это обычно связано либо с вашим сервером, либо с качеством вашего веб-сайта.

Давайте сначала рассмотрим возможные технические причины. Допустим, у вас есть интернет-магазин, и вы только что добавили 1000 новых продуктов. Googlebot обнаруживает все эти продукты одновременно и хочет их просканировать. Однако в предыдущих сканированиях он заметил, что ваш сервер становится очень медленным или даже перегруженным, когда он пытается просканировать более 10 продуктов одновременно. Он хочет избежать перегрузки вашего сервера, поэтому, если он решит просканировать, он может делать это в течение более длительного периода времени, скажем, 10 продуктов за раз в течение нескольких часов, а не все тысячи продуктов в течение одного часа. Это означает, что не все 1000 продуктов будут просканированы одновременно. Тогда Googlebot потребуется больше времени, чтобы обойти эти продукты.

Имеет смысл посмотреть отчет о статистике сканирования и раздел ответов в нем, чтобы увидеть, отвечает ли ваш сервер медленно или с ошибками HTTP 500, когда Googlebot пытается сканировать. Обратите внимание, что это обычно имеет значение только для сайтов с очень большим количеством страниц, скажем, миллионами или больше, но проблемы с сервером могут возникнуть и с небольшими сайтами. Имеет смысл уточнить у вашей хостинговой компании, что делать, чтобы исправить эти проблемы с производительностью, если они возникнут.

Другая, гораздо более распространенная причина, по которой страницы остаются в обнаруженных, но в настоящее время не индексируются, — это качество. Когда Google Search замечает закономерность в низкокачественном или некачественном контенте на страницах, они могут быть удалены из индекса и могут остаться в обнаруженных. Googlebot знает об этих страницах, но предпочитает не продолжать их. Если Google Search обнаруживает закономерность в URL-адресах с низкокачественным контентом на вашем сайте, он может вообще пропустить эти URL-адреса, оставив их в обнаруженных.

Если вас беспокоят эти страницы, вы можете переработать контент, чтобы он был более высокого качества, и убедиться, что ваши внутренние ссылки связывают этот контент с другими частями вашего существующего контента. Смотрите наш эпизод о внутренних ссылках для получения дополнительной информации об этом.

Итак, вкратце, некоторые сайты будут иметь некоторые страницы, которые не будут индексироваться, и это обычно нормально. Если вы считаете, что страница должна быть проиндексирована, то вам следует рассмотреть возможность проверки качества контента на этих страницах, которые остаются в обнаруженных в настоящее время неиндексированных. Убедитесь также, что ваш сервер не подает Googlebot сигналы о том, что он перегружен, когда сканирует.

Обсуждение на форуме Х.