Google обновил свой Справочный документ Проверка робота Googlebot и других поисковых роботов Google чтобы добавить новый раздел с описанием трех категорий или типов сканеров, которые у них есть. У них есть свой поисковый робот Googlebot, поисковые роботы для особых случаев и поисковые роботы, запускаемые пользователями.

Я считаю, что это было сделано после того, как мы, включая меня, были немного одержимы новым поисковым роботом GoogleOther. Затем Гэри Иллиес из Google добавил: «Пожалуйста, не переусердствуйте, это действительно так скучно». Но я делаю то, что делаю, и я переосмыслил это. Итак, Гэри сделал то, что он делает, и у него был справочный документ, чтобы объяснить это более подробно.

В справочном документе говорится: «Сканеры Google делятся на три категории».

(1) Googlebot: основной сканер для поисковых продуктов Google, он также соблюдает правила robots.txt. Его DNS-маска для доходов: «crawl-***-***-***-***.googlebot.com или geo-crawl-***-***-***-***.geo. googlebot.com», а список диапазонов IP-адресов находится в этом googlebot.json файл.

(2) Специальные поисковые роботы: поисковые роботы, выполняющие определенные функции (например, AdsBot), которые могут соблюдать или не соблюдать правила robots.txt. Его DNS-маска для дохода — «скорость-ограниченный-прокси-***-***-***-***.google.com», а список диапазонов IP-адресов находится в этом специальные-crawlers.json файл.

(3) Запускаемые пользователем сборщики: инструменты и функции продукта, в которых конечный пользователь инициирует выборку. Например, Google Site Verifier действует по запросу пользователя. Поскольку получение было запрошено пользователем, эти сборщики игнорируют правила robots.txt. Его DNS-маска дохода — «***-***-***-***.gae.googleusercontent.com», а список диапазонов IP-адресов находится в этом пользователь-триггеры-fetchers.json файл.

Вот скриншот нового раздела в этом справочном документе:

нажмите для полного размера

Обсуждение форума на Твиттер.





Source link

ЧИТАТЬ  Что значат человечки на Авито в моих объявлениях: особенности новой статистики