Ограничитель скорости сканирования работал почти десять лет, но по мере совершенствования других инструментов Google решил отключить его 8 января 2024 года. С развитием алгоритмов сканирования инструмент ограничения скорости краулеров стал работать значительно медленнее — до введения ограничения могло пройти больше суток.

Компания отказывается от старого инструмента, поскольку скорость сканирования теперь регулируется автоматически. Робот Google по-прежнему имеет доступ к отчету, в котором показаны чрезвычайные ситуации или необычное поведение поискового бота. Самый быстрый способ снизить скорость сканирования — показывать роботу правильные ответы сервера. инструкции из Google.