Что такое «Краулинговый бюджет»

Google описывает бюджет через два фактора. Первый — предельная нагрузка: робот не хочет перегрузить сервер, поэтому при медленных ответах и ошибках 5xx снижает частоту запросов. Второй — потребность в сканировании: популярные и часто обновляемые страницы робот посещает чаще, заброшенные — реже. У Яндекса своя логика, но принцип тот же: обход не бесконечен.

Для сайта на несколько сотен страниц бюджет почти никогда не становится проблемой. Google в документации адресует эту тему крупным ресурсам — от миллиона страниц или от 10 000 страниц, которые меняются ежедневно. На практике сложности начинаются раньше, если в магазине фасетная навигация плодит миллионы комбинаций фильтров: робот тратит время на них, а новые товары неделями ждут индексации.

На что расходуется впустую

  • Параметры сортировки и фильтров, UTM-метки, идентификаторы сессий.
  • Цепочки редиректов и битые ссылки внутри сайта.
  • Бесконечные календари, страницы поиска по сайту, версии для печати.
  • Медленные ответы сервера: чем дольше ответ, тем меньше страниц робот успевает забрать.

Пример настройки robots.txt

User-agent: *
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /search/

Clean-param: utm_source&utm_medium&utm_campaign

Директиву Clean-param понимает только Яндекс: она сообщает, что перечисленные параметры не меняют содержимого и такие адреса можно не обходить отдельно. Google её игнорирует, для него дубли закрывают через Disallow и canonical.

Как понять, что бюджета не хватает

Смотрят, что реально обходит робот. В Google Search Console есть отчёт «Статистика сканирования», в Яндекс Вебмастере — «Статистика обхода». Точнее всего картину даёт анализ логов сервера: если Googlebot тысячи раз в день запрашивает адреса с параметрами, а важные разделы — раз в месяц, бюджет уходит не туда.

Связанные термины

Обновлено: 10 октября 2026

Все термины раздела «SEO» ↗