Googlebot
Коротко
Основной робот Google, загружающий веб-ресурсы для последующей обработки и добавления в индекс.
Что такое «Googlebot»
Основной робот Google, загружающий веб-ресурсы для последующей обработки и добавления в индекс. Он обходит страницы по ссылкам и картам сайта, учитывая `robots.txt` и директивы индексирования. У Googlebot есть версии для мобильного и десктопного обхода, причём приоритет отдан мобильной. Управлять его доступом и видеть статистику обхода помогает Search Console.
