Индексируемость

Между «робот зашёл на страницу» и «страница есть в поиске» лежит отдельный этап. Поисковик разбирает содержимое, проверяет директивы и решает, сохранять ли документ. Этот этап и описывает индексируемость. Она идёт следом за доступностью для сканирования: страница может открываться роботу без ошибок и всё равно не попасть в индекс.

Попадание в индекс не означает высоких позиций, но без него позиций нет вовсе. Поэтому при любых проблемах с трафиком первым делом проверяют, проиндексированы ли нужные страницы.

Что закрывает страницу от индекса

• Метатег noindex в коде страницы.
• HTTP-заголовок X-Robots-Tag с тем же значением — удобен для PDF и других файлов без HTML.
• Канонический тег, указывающий на другой адрес: поисковик проиндексирует ту страницу, а не эту.
• Коды ответа, отличные от 200, и «мягкие 404» — страница с кодом 200, но без содержимого.
• Низкая ценность: Яндекс исключает такие страницы как малоценные или маловостребованные, а в Google они часто остаются в статусе «просканирована, но пока не проиндексирована».

Пример: закрыть файлы от индекса на уровне сервера

location ~* \.pdf$ {
    add_header X-Robots-Tag "noindex, nofollow";
}

Такое правило в nginx убирает из поиска прайс-листы и внутренние документы в PDF, не трогая HTML-страницы. Важно не закрыть таким образом страницы, которые должны быть в поиске: ошибка в регулярном выражении способна выключить целый раздел.

Как проверить статус страницы

В Яндекс Вебмастере — инструмент «Проверить статус URL» и отчёт «Страницы в поиске» с причинами исключения. В Google Search Console — «Проверка URL» и отчёт «Индексирование страниц». Типичные причины и пошаговую диагностику разбирает статья о том, почему страницы не индексируются.