Вы хотите опередить своих конкурентов? Тогда базовые знания технического SEO являются обязательными. Конечно, вам также необходимо создавать отличный и актуальный контент для вашего сайта. К счастью, плагин Yoast SEO заботится (почти) обо всем на вашем сайте WordPress. Тем не менее, полезно понимать одну из самых важных концепций технического SEO: возможность сканирования.

Что еще за краулер?

Поисковая система, такая как Google, состоит из трех частей: сканера, индекса и алгоритма. Сканер переходит по ссылкам в Интернете. Он делает это 24/7! Как только краулер заходит на веб-сайт, он сохраняет HTML-версию в гигантской базе данных, называемой индексом. Этот индекс обновляется каждый раз, когда сканер посещает ваш веб-сайт и находит его новую или исправленную версию. В зависимости от того, насколько важным Google считает ваш сайт, и количества изменений, которые вы вносите на свой сайт, поисковый робот появляется чаще или реже.

Забавный факт: сканер также называют роботом, ботом или пауком! А сканер Google иногда называют Googlebot.

Подробнее: Основы SEO: что делает Google »

А что такое проходимость?

Сканируемость связана с возможностями Google для сканирования вашего веб-сайта. К счастью, вы можете заблокировать сканеры на своем сайте. Если ваш сайт или страница на вашем сайте заблокированы, вы говорите сканеру Google: «Не заходите сюда». В результате ваш сайт или соответствующая страница не будут отображаться в результатах поиска. По крайней мере, в большинстве случаев.

Так как же заблокировать поисковые роботы? Есть несколько вещей, которые могут помешать Google сканировать (или индексировать) ваш сайт:

• Если ваш файл robots.txt блокирует поисковый робот, Google не сможет перейти на ваш веб-сайт или конкретную веб-страницу.
• Перед сканированием вашего веб-сайта сканер просматривает HTTP-заголовок вашей страницы. Этот заголовок HTTP содержит код состояния. Если этот код состояния говорит о том, что страница не существует, Google не будет сканировать ваш веб-сайт. Хотите знать больше? Мы объясним все об этом совете по заголовку HTTP в модуле нашего обучения технической SEO!
• Если метатег robots на определенной странице блокирует поисковую систему от индексации этой страницы, Google просканирует эту страницу, но не добавит ее в свой индекс.

Как сканеры влияют на окружающую среду

Да, вы правильно прочитали. Краулеры оказывают существенное влияние на окружающую среду. Вот как: Краулеры могут заходить на ваш сайт несколько раз в день. Почему? Они хотят открыть для себя новый контент или проверить, есть ли новые обновления. И каждый раз, когда они посещают наш сайт, они будут сканировать все, что выглядит как URL для них. Это означает, что URL-адрес часто сканируется несколько раз в день.

В этом нет необходимости, потому что вы вряд ли будете вносить несколько изменений в URL в любой день. Не говоря уже о том, что почти каждая CMS выводит бессмысленные URL-адреса, которые сканеры могут безопасно пропустить. Но вместо того, чтобы пропускать эти URL-адреса, поисковые роботы будут сканировать их снова и снова, каждый раз, когда они наткнутся на них. Все это ненужное ползание занимает тонн энергоресурсов, который вредно для нашей планеты.

Улучшите сканируемость вашего сайта с помощью Yoast SEO Premium

Чтобы убедиться, что вы не тратите энергию впустую, важно следить за настройками сканирования вашего сайта. К счастью, вам не нужно делать всю работу самостоятельно. Использование таких инструментов, как Yoast SEO Premium, облегчит вам задачу!

Итак, как это работает? У нас есть функция настроек сканирования, которая удаляет ненужные URL-адреса, каналы и ресурсы с вашего веб-сайта. Это позволит сканерам сканировать ваш сайт более эффективно. Не волнуйтесь, вы все еще под контролем! Потому что эта функция также позволяет вам решать для каждого типа актива, хотите ли вы фактически удалить URL-адрес или нет. Если вы хотите узнать больше, мы объясним все о настройках сканирования здесь.

Хотите узнать больше о возможности сканирования?

Хотя сканируемость является базовой частью технического SEO (она связана со всеми вещами, которые позволяют Google индексировать ваш сайт), для большинства людей это уже довольно продвинутый материал. Тем не менее, важно, чтобы вы понимали, что такое сканируемость. Вы можете блокировать — возможно, даже не подозревая об этом! – поисковые роботы с вашего сайта, что означает, что вы никогда не будете занимать высокие позиции в Google. Итак, если вы серьезно относитесь к SEO, сканируемость должна иметь для вас значение.

Самый простой способ научиться — пройти наши технические тренинги по SEO. Эти курсы SEO научат вас обнаруживать технические проблемы SEO и решать их (с помощью нашего плагина Yoast SEO). У нас также есть тренинг, посвященный сканируемости и индексируемости! Полезно знать пользователям Premium: Yoast SEO Academy уже бесплатно включена в вашу подписку Premium!

Продолжайте читать: Бот-трафик: что это такое и почему вы должны о нем заботиться »