Анализ логов для SEO

Кабинеты поисковиков показывают итог — что попало в индекс, а сервисы-краулеры — как сайт выглядит при обходе. Журнал сервера отличается тем, что фиксирует факты: каждый запрос робота с точным адресом, временем и кодом ответа. На небольшом сайте это избыточно, а на каталоге с десятками тысяч страниц часто оказывается единственным способом понять, почему новые товары неделями не попадают в индекс.

Как выглядит запись

Строка из лог-файла nginx в стандартном формате combined:

66.249.66.1 - - [09/Oct/2026:03:12:44 +0300] "GET /catalog/divany/?sort=price HTTP/1.1" 200 48211 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Здесь IP, время, метод и адрес, код ответа, размер и User-Agent. Быстро посчитать коды ответа, которые получил Яндекс, можно командой:

grep "YandexBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Что искать

• Сколько обходов уходит на мусор: фильтры, сортировки, параметры UTM, старые адреса. Это прямые потери краулингового бюджета.
• Важные разделы, куда робот почти не заходит, — признак слабой перелинковки или отсутствия в карте сайта.
• Ответы 404, 500 и цепочки редиректов, которые получают именно роботы.
• Медленные ответы: если сервер отвечает роботу секундами, обход сокращается.

Как не обмануться

User-Agent легко подделать, и в логах много ботов, представляющихся Googlebot. Настоящий поисковый робот проверяют обратным DNS-запросом: имя хоста Google оканчивается на googlebot.com или google.com, Яндекса — на yandex.ru, yandex.net или yandex.com, а прямой запрос по этому имени возвращает тот же IP. Ещё одна ловушка — ротация логов: для выводов нужен период хотя бы в несколько недель, а по умолчанию старые файлы часто удаляются через несколько дней.