Что такое «Поисковый робот»

Без робота страница не попадёт в поиск, даже если она отлично сделана. Робот начинает с известных ему адресов, скачивает страницы, извлекает из них ссылки и ставит новые адреса в очередь. Частота обхода зависит от того, насколько важен сайт и как часто на нём что-то меняется: главную крупного новостного ресурса проверяют постоянно, а забытую страницу маленького сайта — раз в несколько недель.

У каждого поисковика свои роботы, причём часто несколько: основной для HTML, отдельные для картинок, видео, рекламы. Самые известные — Googlebot, YandexBot и Bingbot.

Как робот выглядит в логах

Каждый запрос робота оставляет строку в журнале веб-сервера. По полю User-Agent видно, кто пришёл:

66.249.66.1 - - [10/Oct/2026:10:15:32 +0300] "GET /catalog/ HTTP/1.1" 200 51234 "-"
  "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
5.255.253.10 - - [10/Oct/2026:10:16:04 +0300] "GET /sitemap.xml HTTP/1.1" 200 8812 "-"
  "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Строку User-Agent легко подделать, поэтому подлинность проверяют по IP через обратный DNS-запрос. Систематический разбор таких журналов — отдельная дисциплина, анализ логов: он показывает, какие разделы робот посещает часто, а до каких не доходит.

Чего робот не делает

  • Не нажимает кнопки «Показать ещё» и не заполняет формы. Контент, доступный только после клика, может остаться невидимым.
  • Не переходит по ссылкам, сделанным через JavaScript без обычного тега a с адресом.
  • Не принимает куки и не авторизуется: закрытые разделы для него не существуют.
  • Не ждёт бесконечно: медленные ответы и ошибки 5xx заставляют его снижать нагрузку на сайт.

Как управлять обходом

Запретить сканирование разделов можно в файле robots.txt, подсказать важные адреса — картой сайта, убрать мусорные адреса — исправлением ссылок и канонических тегов. Для больших каталогов это вопрос экономии ресурсов: робот тратит время на фильтры и сортировки и не доходит до новых товаров.

Связанные термины

Обновлено: 10 октября 2026

Все термины раздела «SEO» ↗