Google обновил свою центральную документацию поиска, чтобы проверить Googlebot, добавив документацию о посещениях ботов, инициированных пользователями, информацию, которая отсутствовала в предыдущей документации Googlebot, что создавало путаницу в течение многих лет, поскольку некоторые издатели блокировали диапазоны IP-адресов законных посещений.
Недавно обновленная документация по ботам
Google добавил новую документацию, в которой классифицируются три различных типа ботов, которых должны ожидать издатели.
Это три категории ботов Google:
- Googlebot — поисковый робот
- Гусеничные сканеры специального назначения
- Сборщики, запускаемые пользователем (GoogleUserContent)
Последнее, GoogleUserContent, долгое время сбивало с толку издателей, потому что у Google не было никакой документации по этому поводу.
Вот что Google говорит о GoogleUserContent:
«Выборщики, инициируемые пользователями
Инструменты и функции продукта, в которых конечный пользователь инициирует выборку.
Например, Google Site Verifier действует по запросу пользователя.
Поскольку выборка была запрошена пользователем, эти сборщики игнорируют правила robots.txt».
В документации указано, что обратная маска DNS покажет следующий домен:
«***-***-***-***.gae.googleusercontent.com»
В прошлом некоторые представители SEO-сообщества говорили мне, что активность ботов с IP-адресов, связанных с GoogleUserContent.com, инициировалась, когда пользователь просматривал веб-сайт с помощью функции перевода, которая раньше была в результатах поиска. которого больше нет в поисковой выдаче Google.
Я не знаю, правда это или нет. Достаточно было знать, что это был визит из Google, инициированный пользователями.
В новой документации Google объясняется, что активность ботов с IP-адресов, связанных с GoogleUserContent.com, может быть вызвана инструментом Google Site Verifier.
Но Google не говорит, что еще может вызвать бота с IP-адресов GoogleUserContent.com.
Другим изменением в документации является ссылка на googleusercontent.com в контексте IP-адресов, присвоенных доменному имени GoogleUserContent.com.
Это новый текст:
«Убедитесь, что имя домена — googlebot.com, google.com или googleusercontent.com».
Еще одним новым дополнением является следующий текст, который был расширен со старой страницы:
«В качестве альтернативы вы можете идентифицировать Googlebot по IP-адресу, сопоставив IP-адрес сканера со списками диапазонов IP сканеров и сборщиков Google:
Googlebot
Специальные поисковые роботы, такие как AdsBot
Пользовательские выборки»
Документация по идентификации бота Google
В новой документации наконец-то есть что-то о ботах, использующих IP-адреса, связанные с GoogleUserContent.
Поисковые маркетологи были сбиты с толку этими IP-адресами и предположили, что эти боты были спамом.
Обсуждение справки Google Search Console от 2020 года показывает, насколько людей смущала активность, связанная с GoogleUserContent.
Многие в этом обсуждении справедливо пришли к выводу, что это был не робот Googlebot, но затем ошибочно пришли к выводу, что это фальшивый бот, притворяющийся Google.
Пользователь написал:
«Поведение, которое я вижу с этих адресов, очень близко (если не идентично) к законному поведению робота Googlebot, и оно затрагивает несколько наших сайтов.
…Если это не так, то это, по-видимому, указывает на то, что кто-то изо всех сил старается выглядеть как Google на наших сайтах, это, по-видимому, указывает на широко распространенную деятельность злонамеренных ботов, что вызывает обеспокоенность».
После нескольких ответов человек, начавший обсуждение, приходит к выводу, что активность GoogleUserContent была спамом.
Они написали:
«…Упомянутые роботы Google имитируют официальных пользовательских агентов, но имеющиеся доказательства указывают на то, что они поддельные.
Я их пока заблокирую».
Теперь мы знаем, что действия ботов с IP-адресов, связанных с GoogleUserContent, не являются спамом или хакерскими ботами.
Они действительно из Google. Издателям, которые в настоящее время блокируют IP-адреса, связанные с GoogleUserContent, вероятно, следует разблокировать их.
Текущий список IP-адреса User Trigger Fetcher доступны здесь.
Прочтите обновленную документацию Google:
Проверка робота Googlebot и других поисковых роботов Google
Избранное изображение Shutterstock/Asier Romero
