Сегодняшний вопрос SEO-вопрос поступил от Мандипа, у которого возникли проблемы с индексацией на их сайте.

Мандип спрашивает:

«Мы изменили дизайн веб-сайта и добавили несколько новых страниц. Некоторые страницы были успешно проиндексированы, некоторые — нет.

Я пробовал несколько раз в Google, но это не работает. Теперь, когда я отправляю URL-адрес на индексацию, он показывает эту ошибку через консоль поиска Google: Обнаружено – в настоящее время не индексируется. […]

Я перепробовал все, но ничего не работает. Пожалуйста, помогите мне решить эту проблему».

Это предупреждение поступает из раздела «Страницы» отчета «Индексирование» в консоли поиска Google. Этот отчет дает пользователям представление о том, какие страницы Google просканировал и проиндексировал, а также о проблемах, с которыми он мог при этом столкнуться.

В отчете будет представлена ​​подробная информация о страницах, которые были успешно просканированы и проиндексированы. Там же перечислены причины, по которым страницы сайта не были проиндексированы.

Проблема, если страница не проиндексирована?

На большинстве сайтов есть страницы, которые не индексируются. Зачастую это делается по просьбе владельца сайта.

Например, страница может быть намеренно исключена из индексов поисковых систем путем HTML-тег «noindex» на странице или, возможно, его сканирование заблокировано в файле robots.txt.

В этом отчете появятся URL-адреса, которые были намеренно исключены из индексирования, а также страницы с проблемными проблемами индексирования.

Как правило, сканирование и индексация новой страницы на веб-сайте может занять некоторое время. Появление новой страницы среди «проиндексированных» страниц отчета не всегда является признаком проблемы.

Не все причины, указанные в отчете «Почему страницы не индексируются», требуют рассмотрения.

Проблемы с индексацией

Google не будет сканировать и индексировать каждый найденный URL. Ваша главная задача как менеджера веб-сайта заключается в том, чтобы страницы, которые вы хотите видеть в результатах поиска, были проиндексированы.

По сути, если они не проиндексированы, они не будут иметь права быть результатом поиска.

В отчете «Почему страницы не индексируются» есть несколько причин, которые делать предложить проблему на сайте, которую следует изучить. Например, «Ошибка сервера (500)» и «Мягкая 404».

Эти флаги не обязательно могут быть проблемой для отдельных URL-адресов, если вы не хотите их индексировать, но они могут указывать на более широкую проблему с сайтом.

Что такое «обнаружено – в настоящее время не проиндексировано»?

«Обнаружено – в настоящее время не проиндексировано» — это ошибка, которую Google помечает для URL-адресов, о которых он знает, но не проиндексировал.

Важно помнить, что URL-адреса не будут отображаться в этом сегменте, если они могут поместиться в другой сегмент отчета.

Например, страница с тегом noindex технически может быть обнаружена Google и не проиндексирована, но она появится в сегменте «Исключено тегом noindex», поэтому страницы в сегменте «Обнаружено — в настоящее время не проиндексировано» находятся там. по другой причине.

Объяснение, которое Google дает для URL-адреса, отображаемого как «Обнаружено – на данный момент не индексируется» является:

«Страница была найдена Google, но еще не просканирована. Обычно Google хотел просканировать URL-адрес, но ожидалось, что это приведет к перегрузке сайта; поэтому Google перенес сканирование. Вот почему дата последнего сканирования в отчете пуста».

Google пытается заставить своих ботов добросовестно сканировать информацию.

То есть, поскольку робот Googlebot не единственный посетитель сайта и, возможно, один из многих ботов, сканирующих его, он не хочет разрушать сайт, отправляя слишком много «запросов» на сервер.

Что может быть причиной того, что URL-адрес «обнаружен, но в настоящее время не проиндексирован»?

Есть две основные причины, по которым страница известна Google, но не индексируется. Джон Мюллер подробно рассказал об этом в 2023 году.

По сути, наряду с проблемами, связанными с способностью сервера противостоять сканированию, также учитывается качество страницы.

Теперь, если страница не была просканирована, как Google может узнать ее качество? Ну, не может. Что он может сделать, так это сделать предположения, основываясь на качестве страниц в других частях сайта.

Это верно – тонкие, повторяющиеся и малоценные страницы в других местах вашего сайта могут повлиять на индексацию ваших основных страниц.

Как решить проблему

Не существует быстрого решения, позволяющего переместить страницу из состояния «Обнаружено — в настоящее время не проиндексировано» в «Проиндексировано», но есть несколько решений, которые вы можете попробовать.

Проверьте, действительно ли страница проиндексирована

Первая задача — определить, является ли отчет Google Search Console точным и актуальным.

В правом верхнем углу отчета вы увидите дату «Последнее обновление». Это дает вам представление о том, может ли отчет быть устаревшим.

Затем перейдите в Google и выполните сайт:[yourwebsitedomain] inurl:[the URL slug of the page you want to index] поиск.

Если страница возвращается в результате поиска, значит, она действительно проиндексирована.

Дайте отчету некоторое время на обновление, и он начнет появляться в разделе «Проиндексировано», а не в отчете «Обнаружено – в настоящее время не проиндексировано».

Проверьте качество страницы вашего сайта

Далее вы можете рассмотреть общее качество вашего веб-сайта, поскольку это может быть причиной того, что Google не индексирует вашу страницу.

Помните, что качество — это не просто показатель слов на вашем сайте, их релевантности поисковым запросам и общего отображаемого показателя «EEAT». Вместо этого Джон Мюллер из Google описал это так:

«Когда речь идет о качестве контента, мы имеем в виду не только текст ваших статей.

Это действительно качество вашего сайта в целом.

И это включает в себя все: от макета до дизайна.

Например, как вы представляете вещи на своих страницах, как вы интегрируете изображения, как вы работаете со скоростью — все эти факторы как бы вступают в игру».

Итак, просмотрите свой веб-сайт с учетом этих критериев. Насколько качество вашего сайта отличается от качества ваших конкурентов?

Тщательный аудит сайта — хорошее начало.

Проверьте наличие дубликатов страниц

Иногда на веб-сайте могут быть страницы низкого качества или дубликаты, о которых администратор сайта не знает.

Например, на страницу можно попасть по нескольким URL-адресам. У вас может быть страница «Свяжитесь с нами», которая существует как на exampledomain.com/contact-us, так и на exampledomain.com/contact-us/.

URL-адрес с косой чертой и URL-адрес без косой черты считаются отдельными страницами робота Googlebot, если он может получить доступ к ним обеим, и сервер возвращает код состояния 200. То есть они обе живые страницы.

Существует вероятность того, что все ваши страницы могут быть продублированы таким же образом.

На вашем веб-сайте также может быть множество параметров URL-адресов, о которых вы не знаете. Это URL-адреса, содержащие «строки запроса», например exampledomain.com/dress?colour=red.

Обычно они вызваны параметрами фильтрации и сортировки на вашем веб-сайте. На веб-сайте электронной коммерции это может выглядеть как страница категории продукта, которая отфильтрована по таким критериям, как цвет, и может быть отсортирована по цене.

В результате при такой фильтрации и сортировке основные функции страницы не меняются, а только перечисленные продукты. Технически это отдельные страницы, которые можно сканировать, и они могут стать причиной появления большого количества дубликатов на вашем сайте.

Вы можете подумать, что на вашем сайте всего 100 высококачественных страниц. Однако из-за этих технических проблем робот Googlebot может увидеть сотни тысяч почти повторяющихся страниц.

Способы исправления «Обнаружено — в настоящее время не проиндексировано»

Как только вы определили вероятные причины того, что ваш URL-адрес не индексируется, вы можете попытаться это исправить.

Если на вашем веб-сайте есть дубликаты страниц, некачественный, удаленный контент или другие проблемы с качеством, именно с этого следует начать.

В качестве дополнительного преимущества вы, вероятно, увидите, что ваш рейтинг на всех страницах улучшится по мере того, как вы будете работать над устранением этих проблем.

Подчеркните важность страницы

В примере нашего вступительного вопроса есть конкретная страница, которую Мандип пытается проиндексировать.

В этом случае я бы предложил попытаться повысить важность страницы в глазах поисковых систем. Дайте им повод сканировать это.

Добавьте страницу в XML-карту сайта веб-сайта

Один из способов показать Google, что это важная страница, заслуживающая сканирования и индексации, — добавить ее в XML-карту сайта вашего веб-сайта.

По сути, это указатель всех URL-адресов, которые, по вашему мнению, должны сканировать поисковые роботы.

Помните, что робот Googlebot уже знает, что страница существует; он просто не считает, что сканировать и индексировать его полезно.

Если он уже есть в карте сайта XML, не останавливайтесь на достигнутом. Рассмотрим следующие шаги.

Добавьте внутренние ссылки на страницу

Еще один способ показать важность страницы — разместить на нее ссылку с внутренних страниц сайта.

Например, добавив страницу в основную навигационную систему, например в главное меню.

Или добавьте к нему контекстные ссылки из копии на других страницах вашего сайта. Это будет означать для робота Googlebot, что это важная страница на вашем веб-сайте.

Добавьте внешние ссылки на страницу

Обратные ссылки – они являются фундаментальной частью SEO. Мы уже давно знаем, что Google будет использовать ссылки с других веб-сайтов для определения релевантности и авторитетности страницы по теме.

Если вы изо всех сил пытаетесь показать Google, что ваша страница достаточно качественная для индексации, то наличие внешних ссылок с авторитетных, релевантных веб-сайтов, указывающих на нее, может дать дополнительную уверенность в ценности страницы.

Например, если страница, которую вы изо всех сил пытаетесь проиндексировать, представляет собой страницу с подробными сведениями о конкретном красном платье, то размещение страницы этого платья в некоторых модных блогах может дать Google сигнал о том, что это страница высокого качества.

Отправьте его на сканирование

После внесения изменений в свой веб-сайт попробуйте повторно отправить страницу для сканирования через консоль поиска Google.

Если вы заметили в отчете «Индексирование» консоли поиска Google, что URL-адрес по-прежнему находится в сегменте «Обнаружен – в настоящее время не сканируется» через некоторое время (Google может занять от нескольких дней до нескольких недель, чтобы просканировать отправленную страницу ), то вы знаете, что потенциально у вас все еще есть проблемы со страницей.

В итоге

Оптимизируйте свой сайт для сканирования и индексации. Если вы сделаете это, вы, скорее всего, увидите, что эти страницы перейдут из состояния «Обнаружено – в настоящее время не проиндексировано» на «Проиндексировано».

Оптимизация вашего конкретного веб-сайта потребует углубленного анализа общего качества сайта и определения того, как сообщить Googlebot о важности страниц «Обнаружено – в настоящее время не проиндексировано».

Дополнительные ресурсы:

---

Рекомендованное изображение: Пол Поэтри/Журнал поисковых систем