На днях сотрудник Google Джон Мюллер объяснил в Twitter, что инструмент «Параметры URL» в Search Console – это не замена файлу robots.txt.
Один из вебмастеров поинтересовался, использует ли Google инструмент «Параметры URL», доступный в старой версии GSC.
Мюллер ответил утвердительно.
Затем специалист спросил: насколько надёжной является настройка, которая запрещает сканирование URL с определённым параметром.
На это Мюллер ответил, что она не является заменой файлу robots.txt. Поэтому, чтобы что-то точно не сканировалось, его нужно должным образом заблокировать – т.е., использовать robots.txt.
Подробнее об использовании инструмента «Параметры URL» можно прочитать в Справке Search Console.