Google не всегда мгновенно просматривает каждую страницу сайта. Иногда это может занять недели. Это может помешать вашим усилиям по SEO. Ваша недавно оптимизированная целевая страница может не быть проиндексирована. На этом этапе пришло время оптимизировать краулинговый бюджет. В этой статье мы обсудим, что такое «бюджет сканирования» и как его оптимизировать.

Что такое краулинговый бюджет?

Бюджет сканирования – это количество страниц, которые Google будет сканировать на вашем сайте в любой день. Это число незначительно меняется ежедневно, но в целом оно относительно стабильно. Google может сканировать шесть страниц вашего сайта каждый день; он может просканировать 5000 страниц; он может даже сканировать 4 000 000 страниц каждый день. Количество страниц, которые сканирует Google, ваш «бюджет» обычно определяется размером вашего сайта, «здоровьем» вашего сайта (сколько ошибок обнаруживает Google) и количеством ссылок. к твой сайт. На некоторые из этих факторов вы можете повлиять; мы доберемся до этого немного позже.

Как работает краулер?

Сканер, такой как Googlebot, получает список URL-адресов для сканирования на сайте. Он систематически просматривает этот список. Время от времени он захватывает ваш файл robots.txt, чтобы убедиться, что ему по-прежнему разрешено сканировать каждый URL-адрес, а затем сканирует URL-адреса по отдельности. После того как паук просканировал URL-адрес и проанализировал его содержимое, он добавляет новые URL-адреса, найденные на этой странице, которые ему необходимо просканировать обратно в список дел.

Некоторые события могут заставить Google почувствовать, что URL-адрес необходимо просканировать. Возможно, он обнаружил новые ссылки, указывающие на контент, или кто-то написал об этом в Твиттере, или он мог быть обновлен в карте сайта XML и т. д. и т. п. Невозможно составить список всех причин, по которым Google будет сканировать URL-адрес. но когда он определяет, что это необходимо, он добавляет это в список дел.

Подробнее: Бот-трафик: что это такое и почему о нем стоит заботиться »

Когда краулинговый бюджет является проблемой?

Бюджет сканирования не является проблемой, если Google приходится сканировать множество URL-адресов вашего сайта и он выделил много сканирований. Но предположим, что на вашем сайте 250 000 страниц, и Google каждый день сканирует 2500 страниц на этом конкретном сайте. Некоторые страницы (например, домашнюю страницу) он будет сканировать чаще, чем другие. Если вы не примете меры, может пройти до 200 дней, прежде чем Google заметит определенные изменения на ваших страницах. Бюджет сканирования сейчас является проблемой. С другой стороны, если он сканирует 50 000 в день, проблем вообще нет.

Выполните следующие действия, чтобы определить, есть ли на вашем сайте проблемы с краулинговым бюджетом. При этом предполагается, что на вашем сайте относительно небольшое количество URL-адресов, которые Google сканирует, но не индексирует (например, из-за того, что вы добавили мета- noindex).

1. Определите, сколько страниц на вашем сайте; количество URL-адресов в ваших XML-картах сайта может быть хорошим началом.
2. Зайдите в консоль поиска Google.
3. Зайдите в «Настройки» -> «Статистика сканирования» и посчитайте среднее количество просканированных страниц за день.
4. Разделите количество страниц на число «Среднее сканирование в день».
5. Вероятно, вам следует оптимизировать свой бюджет на сканирование, если в итоге вы получите число выше ~10 (то есть у вас будет в 10 раз больше страниц, чем Google сканирует ежедневно). Вы можете прочитать что-нибудь еще, если в итоге у вас получится число меньше 3.

Какие URL-адреса сканирует Google?

Вам действительно следует знать, какие URL-адреса Google сканирует на вашем сайте. Журналы сервера вашего сайта — единственный «реальный» способ узнать об этом. Для более крупных сайтов вы можете использовать что-то вроде Logstash + Kibana. Для небольших сайтов ребята из Screaming Frog выпустили Анализатор файлов журналов SEO инструмент.

Получите журналы вашего сервера и посмотрите их.

В зависимости от типа вашего хостинга вы не всегда сможете получить файлы журналов. Однако, если вы даже думать вам нужно поработать над оптимизацией краулингового бюджета, потому что ваш сайт большой, и вам следует их получить. Если ваш хостинг не позволяет вам их получить, пришло время сменить хостера.

Исправление краулингового бюджета вашего сайта во многом похоже на ремонт автомобиля. Вы не можете исправить это, глядя снаружи; вам придется открыть этот двигатель. Смотреть логи поначалу будет страшно. Вы быстро обнаружите, что существует много шума в журналах. Вы обнаружите множество часто встречающихся ошибок 404, которые, по вашему мнению, являются ерундой. Но ты иметь чтобы исправить их. Вы должны преодолеть этот шум и убедиться, что ваш сайт не утонул в тоннах старых ошибок 404.

Продолжайте читать: Обслуживание веб-сайта: проверьте и исправьте страницы с ошибкой 404 »

Увеличьте свой краулинговый бюджет

Давайте посмотрим на то, как увеличить количество страниц, которые Google может просканировать на вашем сайте.

Обслуживание сайта: уменьшите ошибки

Первый шаг в обеспечении сканирования большего количества страниц — убедиться, что сканируемые страницы возвращают один из двух возможных кодов возврата: 200 (для «ОК») или 301 (для «Вместо этого перейдите сюда»). Все остальные коды возврата нет ХОРОШО. Чтобы понять это, посмотрите журналы сервера вашего сайта. Google Analytics и большинство других аналитических пакетов будут отслеживать только те страницы, которые обслужили 200. Поэтому вы не найдете там много ошибок на своем сайте.

Получив журналы сервера, найдите и исправьте распространенные ошибки. Самый простой способ — собрать все URL-адреса, которые не вернули 200 или 301, а затем упорядочить их по частоте доступа. Исправление ошибки может означать, что вам придется исправить код. Или вам, возможно, придется перенаправить URL-адрес в другое место. Если вы знаете, что вызвало ошибку, вы также можете попытаться исправить источник.

Еще один хороший источник для поиска ошибок — Google Search Console. Прочтите наше руководство по Search Console, чтобы получить дополнительную информацию об этом. Если у вас есть Yoast SEO Premium, вы можете легко перенаправить их с помощью менеджера перенаправлений.

Блокируйте части вашего сайта

Если на вашем сайте есть разделы, которым не обязательно быть в Google, заблокируйте их с помощью файла robots.txt. Конечно, делайте это только в том случае, если вы знаете, что делаете. Одна из распространенных проблем, которые мы наблюдаем на крупных сайтах электронной коммерции, заключается в том, что у них есть множество способов фильтрации продуктов. Каждый фильтр может добавлять новые URL-адреса для Google. В подобных случаях вам следует убедиться, что вы позволяете пауку Google использовать только один или два из этих фильтров, а не все из них.

Уменьшите цепочки перенаправлений

Когда вы 301 перенаправляете URL-адрес, происходит что-то странное. Google увидит этот новый URL-адрес и добавит его в список дел. Это не всегда следует за ним немедленно; он добавляет его в свой список дел и продолжает. Когда вы объединяете перенаправления, например, когда вы перенаправляете без www на www, а затем с http на https, у вас везде есть два перенаправления, поэтому сканирование всего занимает больше времени.

Получить больше ссылок

Это легко сказать, но трудно сделать. Получение большего количества ссылок – это не только вопрос того, чтобы быть крутым, но и чтобы другие знать ты восхитителен. Это вопрос хорошего пиара и хорошего взаимодействия в социальных сетях. Мы много писали о построении ссылок; мы предлагаем прочитать эти три поста:

1. Построение ссылок с целостной точки зрения SEO
2. Линкбилдинг: чего не следует делать?
3. 6 шагов к успешной стратегии построения ссылок

Если у вас возникла острая проблема с индексацией, вам следует сначала проверить ошибки сканирования, заблокировать части вашего сайта и исправить цепочки перенаправления. Создание ссылок — очень медленный метод увеличения краулингового бюджета. С другой стороны, построение ссылок должно быть частью вашего процесса, если вы собираетесь создать большой сайт.

TL;DR: оптимизировать краулинговый бюджет сложно

Оптимизация краулингового бюджета – занятие не для слабонервных. Если вы хорошо обслуживаете свой сайт или ваш сайт относительно небольшой, вероятно, в этом нет необходимости. Если ваш сайт среднего размера и хорошо поддерживается, это довольно легко сделать, используя описанные выше приемы.

Оцените свою техническую SEO-подготовку

Оптимизация краулингового бюджета является частью вашего технического SEO. Вам интересно, как общее техническое SEO вашего сайта соответствует? Мы создали технический тест по SEO-фитнесу, который поможет вам понять, над чем вам нужно работать!

Читать далее: Robots.txt: полное руководство »