Googlebot

Под общим именем Googlebot работают два основных робота: для смартфонов и для компьютеров. С переходом на Mobile-First Indexing большинство сайтов сканирует мобильный. Обработка идёт в два этапа: сначала загружается HTML, затем страница ставится в очередь на отрисовку в актуальной версии Chromium, после чего Google видит и контент, построенный скриптами.

Робот соблюдает правила robots.txt, но не понимает директиву Crawl-delay. Из HTML-файла он учитывает только первые 2 МБ (у PDF — 64 МБ): обычным страницам этого хватает с запасом, а вот для огромных листингов бывает актуально.

Как проверить, что в логах настоящий Googlebot

Строку Googlebot в User-Agent легко подделать — так маскируются парсеры. Google рекомендует проверку в два шага: обратный DNS-запрос по IP и прямой запрос по полученному имени.

$ host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

$ host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Имя должно оканчиваться на googlebot.com, google.com или googleusercontent.com, а прямой запрос — вернуть тот же IP. Кроме того, Google публикует списки IP-диапазонов своих роботов в формате JSON.

Что Googlebot расскажет о сайте

Анализ логов по запросам робота показывает, куда он на самом деле тратит время: сколько запросов уходит на фильтры, параметры и старые адреса, как часто он заходит на важные разделы, какие ответы получает. Если половина обхода приходится на адреса с ?sort= и ?PAGEN_1=, краулинговый бюджет тратится впустую. Статистика сканирования в Search Console даёт ту же картину в агрегированном виде.

Если робот перегружает сервер

Ограничить скорость через robots.txt нельзя. Google советует временно отвечать на часть запросов кодами 503 или 429 — робот сам снизит интенсивность. Делать это долго нельзя: при постоянных ошибках страницы начнут выпадать из индекса. Полностью закрывать сайт от Googlebot ради нагрузки — плохая идея: лучше закрыть бесполезные адреса и включить кеширование.