Джон Мюллер из Google сказал, что, поскольку файл robots.txt кэшируется Google примерно на 24 часа, нет особого смысла динамически обновлять файл robots.txt в течение дня для контроля над управлением.

Google не обязательно увидит, что вы не хотите, чтобы Google сканировал страницу в 7 утра, а затем в 9 утра вы хотите, чтобы Google просканировал эту страницу.

Джон Мюллер написал Блюскай в ответ на этот пост:

ВОПРОС:

Один из наших технических специалистов спросил, могут ли они загрузить файл robots.txt утром, чтобы заблокировать Googlebot, а другой — днем, чтобы разрешить ему сканирование, поскольку веб-сайт обширен, и они опасались, что это может перегрузить сервер. Как вы думаете, это будет хорошей практикой?

(Очевидно, что скорость сканирования робота Googlebot адаптируется к тому, насколько хорошо отвечает сервер, но мне показалось интересным задать вам вопрос) Спасибо!

ОТВЕЧАТЬ:

Это плохая идея, поскольку файл robots.txt может храниться в кэше до 24 часов ( Developers.google.com/search/docs/… ). Мы не рекомендуем динамически изменять файл robots.txt таким образом в течение дня. Вместо этого используйте 503/429, если сканирования слишком много.

Это не новость, мы рассказывали об этом десять лет назад в разделе Google: не создавайте динамически генерируемый файл robots.txt. Мы также знали о 24-часовом режиме еще в 2010 году.

Обсуждение на форуме Блюскай.