Google анонсировал запуск нового краулера под названием Google-Extended

Новый юзер-агент отвечает за возможность использования контента сайта для обучения генеративных моделей искусственного интеллекта, на которых работают Bard, Vertex AI и другие разрабатываемые продукты Google AI.

Для того, чтобы исключить использование контента сайта для обучения ИИ, вебмастера могут запретить в файле robots.txt сканирование для user-agent: Google-Extented.

«Google-Extended не имеет отдельной строки пользовательского агента HTTP-запроса. Сканирование выполняется с помощью существующих строк пользовательского агента Google; токен user-agent robots.txt используется в качестве управления», – поясняют в Google.

Ранее в сентябре Google сообщил о запуске Bard Extensions – новом способе взаимодействия и сотрудничества с Bard. Теперь Bard сможет находить и показывать пользователю релевантную информацию из всех сервисов и инструментов Google, которые тот использует каждый день, таких как Gmail, Docs, Drive, Google Maps, YouTube, Google Flights и поиск по отелям.