Гэри Иллис и Лиззи Сассман из Google обсудили три фактора, которые вызывают увеличение сканирования Googlebot. Хотя они и преуменьшали необходимость постоянного сканирования, они признали, что есть способы побудить Googlebot повторно посещать веб-сайт.

1. Влияние высококачественного контента на частоту сканирования

Одной из тем, о которых они говорили, было качество веб-сайта. Многие люди страдают от проблемы обнаружения неиндексированных страниц, и иногда это вызвано определенными методами SEO, которые люди изучили и считают хорошими. Я занимаюсь SEO уже 25 лет, и одна вещь всегда оставалась неизменной: отраслевые передовые методы обычно отстают от того, что делает Google, на годы. Тем не менее, трудно понять, что не так, если человек убежден, что он все делает правильно.

Гэри Иллис объяснил причину повышенной частоты сканирования на отметке 4:42 минуты, объяснив, что одним из факторов высокого уровня сканирования являются сигналы высокого качества, которые обнаруживают алгоритмы Google.

Гэри сказал это на отметке 4:42 минуты:

«…как правило, если контент сайта качественный, полезный и в целом нравится людям, то Googlebot, точнее, Google, склонен чаще сканировать этот сайт…»

В приведенном выше утверждении отсутствует множество нюансов, например: каковы сигналы высокого качества и полезности что заставит Google принять решение сканировать чаще?

Ну, Google никогда не говорит. Но мы можем предполагать, и ниже приведены некоторые из моих обоснованных догадок.

Мы знаем, что существуют патенты о брендовом поиске, которые учитывают брендовые поиски, сделанные пользователями, как подразумеваемые ссылки. Некоторые думают, что «подразумеваемые ссылки» — это упоминания бренда, но «упоминания бренда» — это совершенно не то, о чем говорится в патенте.

Затем есть патент Navboost, который существует с 2004 года. Некоторые люди приравнивают патент Navboost к кликам, но если вы прочитаете настоящий патент от 2004 года, вы увидите, что в нем никогда не упоминаются показатели кликабельности (CTR). В нем говорится о сигналах взаимодействия с пользователем. Клики были темой интенсивных исследований в начале 2000-х, но если вы прочитаете исследовательские работы и патенты, то легко поймете, что я имею в виду, когда все не так просто, как «обезьянка кликает на веб-сайт в SERP, Google ранжирует его выше, обезьянка получает банан».

В целом я думаю, что сигналы, которые указывают на то, что люди воспринимают сайт как полезный, я думаю, что это может помочь сайту ранжироваться лучше. И иногда это может быть предоставление людям того, что они ожидают увидеть, предоставление людям того, что они ожидают увидеть.

Владельцы сайтов скажут мне, что Google ранжирует мусор, и когда я посмотрю, я пойму, что они имеют в виду, сайты довольно мусорные. Но с другой стороны, контент дает людям то, что они хотят, потому что они на самом деле не знают, как отличить то, что они ожидают увидеть, от действительно качественного контента (я называю это алгоритмом Froot Loops).

Что такое алгоритм Froot Loops? Это эффект зависимости Google от сигналов удовлетворенности пользователей, чтобы судить, делают ли результаты поиска пользователей счастливыми. Вот что я ранее публиковал об алгоритме Froot Loops от Google:

«Вы когда-нибудь проходили по отделу хлопьев в супермаркете и замечали, сколько видов хлопьев с сахаром выстроились на полках? Это и есть удовлетворенность пользователей в действии. Люди ожидают увидеть в отделе хлопьев хлопья с сахарной бомбой, и супермаркеты удовлетворяют это намерение пользователей.

Я часто смотрю на хлопья Froot Loops в отделе хлопьев и думаю: «Кто это ест?» Судя по всему, многие люди это делают, поэтому коробка и стоит на полке супермаркета — люди ожидают ее там увидеть.

Google делает то же самое, что и супермаркет. Google показывает результаты, которые с наибольшей вероятностью удовлетворят пользователей, как в том отделе с хлопьями».

Примером мусорного сайта, который удовлетворяет пользователей, является популярный сайт рецептов (который я не буду называть), который публикует простые в приготовлении рецепты, которые не являются подлинными, и использует сокращения, такие как крем-суп из грибов из банки в качестве ингредиента. Я довольно опытен на кухне, и эти рецепты заставляют меня съеживаться. Но люди, которых я знаю, любят этот сайт, потому что они на самом деле не знают ничего лучше, они просто хотят простой рецепт.

На самом деле разговор о полезности заключается в том, чтобы понять онлайн-аудиторию и дать ей то, что она хочет, что отличается от того, чтобы дать ей то, что она должна хотеть. Понимание того, чего хотят люди, и предоставление им этого, по моему мнению, будет полезным для поисковиков и вызовет сигнальные колокольчики Google о полезности.

2. Увеличение издательской активности

Еще одна вещь, которая, по словам Иллеса и Сасмана, может заставить Googlebot сканировать больше, — это возросшая частота публикации, например, если сайт внезапно увеличил количество публикуемых страниц. Но Иллес сказал, что в контексте взломанного сайта, который внезапно начал публиковать больше веб-страниц, взломанный сайт, публикующий много страниц, заставит Googlebot сканировать больше.

Если мы уменьшим масштаб, чтобы рассмотреть это утверждение с точки зрения леса, то станет совершенно очевидно, что он подразумевает, что увеличение активности публикации может вызвать увеличение активности сканирования. Не то, что сайт был взломан, заставляет Googlebot сканировать больше, а увеличение публикации вызывает это.

Вот где Гэри ссылается на всплеск активности публикаций как на триггер Googlebot:

«…но это также может означать, что, я не знаю, сайт был взломан. А затем появляется куча новых URL-адресов, которые приводят в восторг Googlebot, а затем он выходит и ползает как сумасшедший».

Множество новых страниц заставляют Googlebot возбуждаться и сканировать сайт «как сумасшедший» — вот вывод. Дальнейшие пояснения не нужны, давайте двигаться дальше.

3. Постоянство качества контента

Гэри Иллис продолжает говорить, что Google может пересмотреть общее качество сайта, и это может привести к снижению частоты сканирования.

Вот что сказал Гэри:

«…если мы не сканируем много или мы постепенно замедляем сканирование, это может быть признаком низкого качества контента или того, что мы пересмотрели качество сайта».

Что Гэри имеет в виду, когда говорит, что Google «переосмыслил качество сайта?» Я считаю, что иногда общее качество сайта может снизиться, если есть части сайта, которые не соответствуют стандарту качества исходного сайта. По моему мнению, основываясь на том, что я видел за эти годы, в какой-то момент контент низкого качества может начать перевешивать хороший контент и тянуть за собой остальную часть сайта.

Когда люди приходят ко мне и говорят, что у них проблема «контент-каннибализма», то, если разобраться, то на самом деле они страдают от проблемы низкого качества контента в другой части сайта.

Лиззи Сассман продолжает спрашивать примерно на 6-й минуте, есть ли влияние, если содержимое веб-сайта было статичным, не улучшалось и не ухудшалось, а просто не менялось. Гэри воздержался от ответа, просто сказав, что Googlebot возвращается, чтобы проверить сайт, чтобы увидеть, изменился ли он, и говорит, что «вероятно» Googlebot может замедлить сканирование, если нет никаких изменений, но уточнил это утверждение, сказав, что он не знает.

То, что осталось невысказанным, но связано с постоянством качества контента, заключается в том, что иногда тема меняется, и если контент статичен, он может автоматически потерять актуальность и начать терять рейтинги. Поэтому хорошей идеей будет проводить регулярный аудит контента, чтобы увидеть, изменилась ли тема, и если да, обновить контент, чтобы он продолжал быть актуальным для пользователей, читателей и потребителей, когда они обсуждают тему.

Три способа улучшить отношения с Googlebot

Как ясно дали понять Гэри и Лиззи, речь идет не о том, чтобы подталкивать Googlebot к тому, чтобы он пришел в себя просто ради того, чтобы он начал ползать. Суть в том, чтобы думать о своем контенте и его отношении к пользователям.

1. Является ли контент качественным?
Соответствует ли контент теме или ключевому слову? Сайты, использующие стратегию контента на основе ключевых слов, как я вижу, страдают от обновлений основного алгоритма 2024 года. Стратегии, основанные на темах, как правило, производят лучший контент и проходят через обновления алгоритма.

2. Увеличение издательской активности
Рост активности публикаций может привести к более частому появлению Googlebot. Независимо от того, взломан ли сайт или сайт вкладывает больше энергии в стратегию публикации контента, регулярный график публикации контента — это хорошо и всегда было хорошо. Не существует принципа «установил и забыл», когда дело касается публикации контента.

3. Постоянство качества контента
Качество контента, актуальность и релевантность для пользователей с течением времени являются важными факторами и гарантируют, что Googlebot продолжит приходить, чтобы поздороваться. Снижение любого из этих факторов (качество, актуальность и релевантность) может повлиять на сканирование Googlebot, что само по себе является симптомом более важного фактора, а именно того, как сам алгоритм Google рассматривает контент.

Послушайте подкаст Google Search Off The Record, начиная примерно с четвертой минуты:

Главное изображение от Shutterstock/Cast Of Thousands