Гэри Иллиес из Google любит размещать рекламные ролики на Mastodon. Его следующий PSA заключается в том, что если вы используете CDN или службу облачного хостинга, обязательно проведите стандартный тест, чтобы убедиться, что служба не блокирует Googlebot или другие сканеры поисковых систем, которые вы хотите сканировать и индексировать. ваш сайт.

Гэри написал на мастодонт «Если вы заботитесь о том, чтобы Googlebot/Bingbot/otherBot посещал ваш сайт, и вы используете такие решения, как CDN или f5, вы должны время от времени проверять автоматически сгенерированные правила брандмауэра, созданные некоторыми из этих решений. Иногда они воспринимать трафик поисковых роботов как вредоносный и блокировать его».

Как правило, это хорошая практика для любого аспекта вашего веб-сайта или программного обеспечения. Вам следует настроить рутинные тесты, которые можно запускать вручную по расписанию или просто настроить на автоматический запуск и получать уведомления о результатах. Если робот Googlebot заблокирован, вы можете воспользоваться им до того, как он станет серьезной проблемой. Если форма вашей кредитной карты сломана, вы можете воспользоваться ею, прежде чем проиграете много заказов. Настройка автоматических или плановых тестов для сайтов или программного обеспечения — это просто хорошая практика, и, возможно, ее следует сделать, чтобы увидеть, не ограничены ли боты или люди на вашем сайте.

Обсуждение форума на мастодонт.