Сегодняшний вопрос SEO-вопрос поступил от Михала из Братиславы, который спрашивает:

«У меня есть клиент, у которого есть веб-сайт с фильтрами, основанными на местоположениях на карте. Когда посетитель перемещается по карте, создается новый URL-адрес с фильтрами. Их нет в карте сайта. Однако в Search Console содержится более 700 000 URL-адресов (не проиндексированных), которые съедают бюджет сканирования.

Как лучше всего избавиться от этих URL-адресов? Моя идея состоит в том, чтобы сохранить базовое местоположение «индекс, подписаться», а вновь созданные URL-адреса окруженной области с фильтрами переключиться на «нетиндекс, не следовать». Также отметьте окруженные области каноническими обозначениями базовой локации + дезавуируйте нежелательные ссылки».

Отличный вопрос, Михал, и хорошие новости! Ответ прост в реализации.

Во-первых, давайте посмотрим, что вы пытаетесь применить, и применим это к другим ситуациям, например к электронной коммерции и издателям. Таким образом, больше людей смогут получить пользу. Затем перейдите к своим стратегиям выше и закончите решением.

Что такое краулинг-бюджет и как создаются параметры, которые тратят его впустую

Если вы не уверены, что имеет в виду Михал, краулинговый бюджетэто термин, который некоторые SEO-специалисты используют, чтобы объяснить, что Google и другие поисковые системы будут сканировать только определенное количество страниц вашего веб-сайта, прежде чем он остановится.

Если ваш краулинговый бюджет используется для малоценных, тонких или неиндексируемых страниц, ваши хорошие страницы и новые страницы могут быть не найдены при сканировании.

Если они не найдены, они могут не быть проиндексированы или обновлены. Если они не проиндексированы, они не смогут принести вам SEO-трафик.

Вот почему так важно оптимизировать краулинговый бюджет для повышения эффективности.

Михал поделился примером того, как «тонкий» URL-адреса с точки зрения SEO создаются по мере того, как клиенты используют фильтры.

Опыт для пользователя приносит пользу, но с точки зрения SEO страница, основанная на местоположении, была бы лучше. Это относится и к электронной коммерции, и к издателям.

Интернет-магазины будут искать такие цвета, как красный или зеленый, а также такие товары, как футболки и картофельные чипсы.

Они создают URL-адреса с параметрами, подобными фильтру поиска местоположений. Их также можно создавать, используя фильтры по размеру, полу, цвету, цене, вариациям, совместимости и т. д. в процессе покупок.

Отфильтрованные результаты помогают конечному пользователю, но напрямую конкурируют со страницей коллекции, и коллекция будет «не тонкий» версия.

У издателей то же самое. Кто-то может находиться на SEJ и искать SEO или PPC в поле поиска и получить отфильтрованный результат. В отфильтрованном результате будут статьи, но категория публикации, вероятно, будет лучшим результатом для поисковой системы.

Эти отфильтрованные результаты могут быть проиндексированы, поскольку ими делятся в социальных сетях или кто-то добавляет их в качестве комментария в блоге или на форуме, создавая сканируемую обратную ссылку. Это также может быть сотрудник службы поддержки клиентов, ответивший на вопрос в блоге компании или любым другим способом.

Сейчас цель состоит в том, чтобы поисковые системы не тратили время на сканирование «тонкий» версии, чтобы вы могли максимально эффективно использовать свой краулинговый бюджет.

Разница между индексированием и сканированием

Прежде чем мы перейдем к предлагаемым идеям и решениям, необходимо усвоить еще одну вещь — разницу между индексированием и сканированием.

• Сканирование — это обнаружение новых страниц на веб-сайте.
• Индексирование – это добавление в базу данных страниц страниц, достойных показа пользователю поисковой системы.

Страницы могут сканироваться, но не индексироваться. Проиндексированные страницы, вероятно, были просканированы и, скорее всего, будут просканированы снова для поиска обновлений и ответов сервера.

Но не все проиндексированные страницы принесут трафик или попадут на первую страницу, поскольку они могут быть не лучшим возможным ответом на искомые запросы.

Теперь давайте перейдем к эффективному использованию краулингового бюджета для этих типов решений.

Использование Meta Robots или X Robots

Первым решением, на которое указал Михал, было «индекс, следовать» директива. Это говорит поисковой системе индексировать страницу и переходить по ссылкам на ней. Это хорошая идея, но только если отфильтрованный результат — идеальный опыт.

Судя по тому, что я вижу, это не так, поэтому я бы рекомендовал сделать это. «noindex, следуй».

Noindex сказал бы: «Это не официальная страница, но продолжайте сканировать мой сайт, здесь вы найдете хорошие страницы».

И если ваше главное меню и внутренние навигационные ссылки настроены правильно, паук, надеюсь, продолжит их сканировать.

Canonicals поможет решить проблему нерационального бюджета на сканирование

Канонические ссылки используются, чтобы помочь поисковым системам узнать, какую официальную страницу нужно индексировать.

Если продукт существует в трех категориях по трем отдельным URL-адресам, следует указать только один. «официальный» версию, поэтому два дубликата должны иметь каноническую ссылку на официальную версию. Официальный должен иметь каноническую ссылку, указывающую на себя. Это относится к отфильтрованным местоположениям.

Если поиск местоположения приведет к появлению нескольких страниц городов или районов, результатом, скорее всего, будет дубликат официальной страницы, которая есть в вашей карте сайта.

Пусть отфильтрованные результаты будут указывать канонически на главную страницу фильтрации, а не ссылаться на самих себя, если контент на странице остается таким же, как исходная категория.

Если контент загружает вашу локализованную страницу с теми же местоположениями, вместо этого укажите каноническую страницу на эту страницу.

В большинстве случаев отфильтрованная версия наследует страницу, на которой вы выполняли поиск или фильтрацию, поэтому каноническая версия должна указывать именно на нее.

Если вы одновременно используете noindex и имеете каноническую ссылку на себя, что является излишним, это становится противоречивым сигналом.

То же самое относится и к тому, когда кто-то ищет продукт по названию на вашем сайте. Результат поиска может конкурировать с фактической страницей продукта или услуги.

С помощью этого решения вы говорите пауку не индексировать эту страницу, потому что ее не стоит индексировать, но это также официальная версия. Нет смысла это делать.

Вместо этого используйте каноническую ссылку, как я уже упоминал выше, или неиндексируйте результат и укажите каноническую на официальную версию.

Отклонить, чтобы повысить эффективность сканирования

Отказ не имеет ничего общего с эффективностью сканирования, если только пауки поисковых систем не находят ваш «тонкийстраницы через спам-обратные ссылки.

Инструмент отклонения от Google — это способ сказать: «Эй, эти обратные ссылки — спам, и мы не хотим, чтобы они нам навредили. Пожалуйста, не причисляйте их к авторитету нашего сайта».

В большинстве случаев это не имеет значения, поскольку Google хорошо обнаруживает спам-ссылки и игнорирует их.

Вы не хотите добавлять свой собственный сайт и свои URL-адреса в инструмент отклонения. Вы сообщаете Google, что ваш собственный сайт является спамом и ничего не стоит.

Кроме того, отправка обратных ссылок для отклонения не помешает пауку увидеть то, что вы хотите и не хотите, чтобы вас сканировали, поскольку это делается только для того, чтобы сказать, что ссылка с другого сайта является спамом.

Отказ не повысит эффективность сканирования и не сэкономит бюджет на сканирование.

Как сделать бюджеты сканирования более эффективными

Ответ: robots.txt. Таким образом вы сообщаете конкретным поисковым системам и паукам, что сканировать.

Вы можете включить папки, которые вы хотите, чтобы они сканировали, рекламируя их как «позволять,» и ты можешь сказать «запретить» на отфильтрованных результатах, запретив знак «?» или символ «&» или любой другой, который вы используете.

Если некоторые из этих параметров необходимо сканировать, добавьте основное слово, например «?filter=местоположение» или конкретный параметр.

В файле Robots.txt вы определяете пути сканирования и работаете над эффективностью сканирования. После того, как вы это оптимизировали, посмотрите на свои внутренние ссылки. Ссылка с одной страницы вашего сайта на другую.

Они помогают паукам находить самые важные страницы и одновременно узнавать, о чем каждая из них.

Внутренние ссылки включают в себя:

• Панировочные сухари.
• Навигация по меню.
• Ссылки внутри контента на другие страницы.
• Меню подкатегорий.
• Ссылки в нижнем колонтитуле.

Вы также можете использовать карту сайта, если у вас большой сайт, и пауки не находят нужные вам страницы в приоритетном порядке.

Надеюсь, это поможет ответить на ваш вопрос. Это то, что я часто получаю – ты не единственный, кто застрял в такой ситуации.

Дополнительные ресурсы:

---

Рекомендованное изображение: Пауло Бобита/Search Engine Journal