Ограничитель скорости краулеров будет отключен

Ограничитель скорости краулеров Google будет отключен с 8 января 2024 года. Этот инструмент работал почти 10 лет, но с развитием других инструментов компании он стал работать медленнее из-за улучшения алгоритмов сканирования.

Теперь скорость сканирования регулируется автоматически, поэтому компания решила упразднить старый ограничитель скорости краулеров. Googlebot по-прежнему будет иметь доступ к отчетам о экстренных случаях или необычном поведении поискового бота. Рекомендуется указать роботу корректные ответы сервера согласно инструкции от Google для быстрого снижения скорости сканирования.