Google добавил около восьми слов в скобки, чтобы уточнить, что поля, явно не указанные в документации robots.txt, не поддерживаются. Почему они это сделали? Google сказал потому что иногда Google получает вопросы по этому поводу.

Слова, добавленные Google, были добавлены в раздел синтаксиса из документации robots.txt и там написано:

(другие поля, такие как задержка сканирования, не поддерживаются)

Вот до и после, где дополнение выделено синим цветом:

Вот как это выглядит сейчас:

Как написал Джаскаран Сингх, серебряный эксперт по продуктам Google, в сообществе веб-мастеров/консоли поиска. LinkedIn«Если вы используете неподдерживаемые поля, например время ожидания сканирования, Google проигнорирует их. Обязательно следуйте этим поддерживаемым рекомендациям, чтобы ваш сайт сканировался должным образом». Он добавил: «Совет для профессионалов: всегда используйте комментарии (#) для лучшей читаемости и убедитесь, что пути начинаются с /, чтобы избежать ошибок. »

Обсуждение на форуме по адресу LinkedIn.