Краулинговый бюджет
Оригинальное название: crawl budget
Коротко
Объём страниц и частота запросов, которые поисковый робот готов выделить на обход конкретного сайта.
Что такое «Краулинговый бюджет»
Объём страниц и частота запросов, которые поисковый робот готов выделить на обход конкретного сайта. Для больших сайтов он ограничен, поэтому важно, чтобы бот тратил его на ценные страницы, а не на дубли и мусор. Бюджет расходуется впустую на бесконечные фасетные URL, редиректы и ошибки. Управляют им через `robots.txt`, чистку дублей, скорость сервера и логичную структуру ссылок.
