В последние несколько недель многие вебмастера по всему миру заметили, что активность Googlebot на их сайтах значительно снизилась, пишет Search Engine Journal.
Эта тема активно обсуждается в Twitter, Reddit и на других площадках. Кроме того, ту же картину показывают данные некоторых инструментов.
Так, основатель сервиса для анализа журналов сервера Seolyzer опубликовал в Twitter график краулингового поведения Google, который показывает, что с 11 ноября активность Googlebot значительно снизилась.
? Googlebot is on strike! ? Googlebot has drastically reduced its crawl activity on many large sites since November 11 at 6PM (GMT). Are you concerned? It requires a thread! ? pic.twitter.com/ugLmCZbC1O
— Olivier @Seolyzer.io ? (@Seolyzer_io) 15 ноября 2021 г.
График:
В комментариях многие специалисты подтвердили, что видят снижение активности Googlebot в Search Console.
На данный момент есть две главные теории, с чем это может быть связано:
- Код ответа сервера 304 (хотя, согласно документации Google, этот статус не должен влиять на сканирование):
Некоторые специалисты также заметили улучшения после удаления формы для получения согласия на сбор файлов cookie, а другие обратили внимание на снижение частоты сканирования по страницам на тему туризма и увеличение – по страницам, связанным с e–commerce.
Комментарий Google
По словам сотрудника поиска Джона Мюллера, в поведении Googlebot ничего не изменилось. Он написал об этом в Reddit:
Между тем среди специалистов отрасли есть предположения, что Google, возможно, тестирует новые паттерны сканирования сайтов.