Что такое «Поисковый робот»
Без робота страница не попадёт в поиск, даже если она отлично сделана. Робот начинает с известных ему адресов, скачивает страницы, извлекает из них ссылки и ставит новые адреса в очередь. Частота обхода зависит от того, насколько важен сайт и как часто на нём что-то меняется: главную крупного новостного ресурса проверяют постоянно, а забытую страницу маленького сайта — раз в несколько недель.
У каждого поисковика свои роботы, причём часто несколько: основной для HTML, отдельные для картинок, видео, рекламы. Самые известные — Googlebot, YandexBot и Bingbot.
Как робот выглядит в логах
Каждый запрос робота оставляет строку в журнале веб-сервера. По полю User-Agent видно, кто пришёл:
66.249.66.1 - - [10/Oct/2026:10:15:32 +0300] "GET /catalog/ HTTP/1.1" 200 51234 "-"
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
5.255.253.10 - - [10/Oct/2026:10:16:04 +0300] "GET /sitemap.xml HTTP/1.1" 200 8812 "-"
"Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
Строку User-Agent легко подделать, поэтому подлинность проверяют по IP через обратный DNS-запрос. Систематический разбор таких журналов — отдельная дисциплина, анализ логов: он показывает, какие разделы робот посещает часто, а до каких не доходит.
Чего робот не делает
- Не нажимает кнопки «Показать ещё» и не заполняет формы. Контент, доступный только после клика, может остаться невидимым.
- Не переходит по ссылкам, сделанным через JavaScript без обычного тега
aс адресом. - Не принимает куки и не авторизуется: закрытые разделы для него не существуют.
- Не ждёт бесконечно: медленные ответы и ошибки 5xx заставляют его снижать нагрузку на сайт.
Как управлять обходом
Запретить сканирование разделов можно в файле robots.txt, подсказать важные адреса — картой сайта, убрать мусорные адреса — исправлением ссылок и канонических тегов. Для больших каталогов это вопрос экономии ресурсов: робот тратит время на фильтры и сортировки и не доходит до новых товаров.
Связанные термины
Обновлено: 10 октября 2026

