Доступность для сканирования

Прежде чем страница попадёт в поиск, робот должен до неё дойти. Он начинает с известных адресов — главной, карты сайта, внешних ссылок — и дальше двигается по ссылкам. Если путь перекрыт запретом в robots.txt, ссылки сделаны без href, сервер отвечает ошибкой или думает по десять секунд, страница остаётся невидимой. Английский термин — crawlability.

Это первая ступень технического SEO. Следующая — индексируемость: страница может быть доступна роботу, но не попасть в индекс из-за noindex или низкого качества. Обратное невозможно: недоступное для обхода не проиндексируется.

Что мешает обходу

• Запреты в robots.txt — в том числе случайные, оставшиеся с тестовой версии.
• Навигация на JavaScript без настоящих ссылок, бесконечная подгрузка без пагинации.
• Ошибки 5xx и таймауты, блокировки роботов файрволом или защитой от DDoS.
• Длинные цепочки редиректов, страницы, на которые не ведёт ни одна ссылка.
• Бесконечные комбинации параметров, которые съедают краулинговый бюджет.

Пример: ошибка после запуска

Самая дорогая по последствиям и самая простая по сути ситуация — robots.txt с тестового сервера уехал на боевой:

User-agent: *
Disallow: /

Сайт открывается в браузере, всё выглядит нормально, но через пару недель страницы начинают выпадать из поиска. Проверять robots.txt стоит в чек-листе каждого релиза.

Как проверить

В Яндекс Вебмастере — инструменты «Анализ robots.txt» и «Проверка ответа сервера», в Google Search Console — «Проверка URL» и отчёт о статистике сканирования. Из терминала можно посмотреть ответ сервера с заголовками:

curl -I -A "Mozilla/5.0 (compatible; YandexBot/3.0)" https://example.ru/catalog/

Код 200 без лишних редиректов — хороший знак. Что ещё входит в эту область, разобрано в статье о том, что такое техническое SEO. Логи сервера показывают, какие разделы поисковый робот посещает, а какие обходит стороной.