Google опубликовал публичное объявление, в котором говорится, что вам следует запретить роботу Googlebot сканировать URL-адреса ваших действий. Гэри Иллис из Google опубликовал сообщение на LinkedIn«Вам действительно следует запретить сканирование URL-адресов ваших действий. Сканеры не будут покупать органические ароматические свечи, не содержащие ГМО, и их не интересует список желаний».

Я имею в виду, это не новый совет. Зачем позволять пауку сканировать страницы, где он реально не может предпринять никаких действий. Робот Googlebot не может совершать покупки, не может подписаться на вашу рассылку новостей и так далее.

Гэри написал:

Распространенная жалоба, которую мы получаем по поводу сканирования, заключается в том, что мы сканируем слишком много, что требует слишком большого количества ресурсов сервера (хотя в остальном проблем не возникает). Глядя на то, что мы сканируем с сайтов в жалобах, слишком часто это URL-адреса действий, такие как «добавить в корзину» и «добавить в список желаний». Они бесполезны для сканеров, и вы, вероятно, не захотите, чтобы они сканировались.

Если у вас есть такие URL-адреса:

https://example․com/product/scented-candle-v1?add_to_cart

и

https://example․com/product/scented-candle-v1?add_to_wishlist

Как заблокировать Googlebot? Он сказал: «Вам, вероятно, следует добавить для них правило запрета в файл robots.txt. Преобразование их в метод HTTP POST также работает, хотя многие сканеры могут и будут выполнять запросы POST, так что имейте это в виду».

Теперь, несколько лет назад, мы сообщили, что робот Googlebot может добавлять продукты в вашу корзину, чтобы проверить правильность ваших цен. Похоже, это часть функции оценки торгового опыта продавца, поэтому я был бы со всем этим осторожен.

Обсуждение на форуме LinkedIn.

Примечание. Это было заранее написано и запланировано к публикации сегодня, в настоящее время я не в сети на Шавуте.