Что такое «Краулинговый бюджет»
Google описывает бюджет через два фактора. Первый — предельная нагрузка: робот не хочет перегрузить сервер, поэтому при медленных ответах и ошибках 5xx снижает частоту запросов. Второй — потребность в сканировании: популярные и часто обновляемые страницы робот посещает чаще, заброшенные — реже. У Яндекса своя логика, но принцип тот же: обход не бесконечен.
Для сайта на несколько сотен страниц бюджет почти никогда не становится проблемой. Google в документации адресует эту тему крупным ресурсам — от миллиона страниц или от 10 000 страниц, которые меняются ежедневно. На практике сложности начинаются раньше, если в магазине фасетная навигация плодит миллионы комбинаций фильтров: робот тратит время на них, а новые товары неделями ждут индексации.
На что расходуется впустую
- Параметры сортировки и фильтров, UTM-метки, идентификаторы сессий.
- Цепочки редиректов и битые ссылки внутри сайта.
- Бесконечные календари, страницы поиска по сайту, версии для печати.
- Медленные ответы сервера: чем дольше ответ, тем меньше страниц робот успевает забрать.
Пример настройки robots.txt
User-agent: *
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /search/
Clean-param: utm_source&utm_medium&utm_campaign
Директиву Clean-param понимает только Яндекс: она сообщает, что перечисленные параметры не меняют содержимого и такие адреса можно не обходить отдельно. Google её игнорирует, для него дубли закрывают через Disallow и canonical.
Как понять, что бюджета не хватает
Смотрят, что реально обходит робот. В Google Search Console есть отчёт «Статистика сканирования», в Яндекс Вебмастере — «Статистика обхода». Точнее всего картину даёт анализ логов сервера: если Googlebot тысячи раз в день запрашивает адреса с параметрами, а важные разделы — раз в месяц, бюджет уходит не туда.
Связанные термины
Обновлено: 10 октября 2026

