Компания Cloudflare сообщила о двух обновлениях, связанных с проектом Crawler Hints, который был представлен этим летом.
Crawler Hints («подсказки для краулеров») – это сервис, который улучшает эффективность работы примерно 45% интернет-трафика, поступающего от веб-краулеров и ботов. Это достигается за счет того, что поисковые роботы получают информацию о том, что они сканировали ранее, и о том, есть ли смысл сканировать сайт снова.
Что изменилось:
- Crawler Hints теперь поддерживает IndexNow – новый протокол, разработанный Яндексом и Microsoft для информирования поисковых систем об изменениях в контенте. Сотрудничая с этими компаниями, Cloudflare сможет помочь улучшить инфраструктуру их поисковых систем и интернета в целом.
- Crawler Hints теперь доступен для всех клиентов Cloudflare бесплатно. Они смогут воспользоваться преимуществами этого сервиса в одно нажатие. Включить Crawler Hints можно на вкладке «Cache» на панели инструментов.
Подробнее можно узнать в блоге Cloudflare.