# Почему страницы не индексируются: проверка индексации в Яндексе

URL: https://chugunov.pro/proverka-indeksacii-sajta/
Обновлено: 30.09.2026.
Источник: chugunov.pro.

## Коротко

Яндекс индексация сайта — это процесс, при котором робот находит страницы, скачивает их, анализирует и решает, включать ли их в поисковую базу. Если страница не проиндексирована, её нет в выдаче, как бы хорошо она ни была написана. Причины почти всегда относятся к одной из трёх групп: робот не может добраться до страницы, страница закрыта от индексации, или Яндекс счёл её дублем либо недостаточно полезной.

Проверить индексацию сайта проще всего в Яндекс Вебмастере: там видно, какие страницы в поиске, какие исключены и по какой причине. Ниже — как проверить индексацию, как расшифровать причины исключения, что делать с каждой из них и как правильно запретить индексацию того, что в поиске быть не должно.

| Симптом | Вероятная причина | Где смотреть |
| --- | --- | --- |
| Страницы нет в поиске и в Вебмастере | Робот её ещё не нашёл: нет ссылок, нет в карте сайта | Проверка статуса URL, карта сайта |
| Страница исключена с пометкой о запрете | robots.txt, noindex, закрытый сайт | Исключённые страницы, анализ robots.txt |
| Страница исключена как дубль или неканоническая | Параметры, копии, canonical на другой адрес | Исключённые страницы, исходный код |
| Страница исключена как недостаточно качественная | Мало уникального содержания или нет спроса | Исключённые страницы, сама страница |
| Страницы выпадают массово | Ошибки сервера, редиректы, переезд | Диагностика, статистика обхода |

## Основная мысль

**Индексация — это не право страницы, а решение поисковой системы: сначала нужно убедиться, что техническая дорога к странице открыта, а затем — что страница заслуживает места в поиске, и путать эти две задачи — главная причина бесполезных действий.**

Владельцы часто начинают с того, что отправляют страницу на переобход снова и снова. Если страница закрыта в robots.txt или отмечена как дубль, переобход ничего не изменит: робот придёт, увидит ту же картину и примет то же решение.

Поэтому работа с индексацией начинается с диагностики. Вебмастер почти всегда называет причину исключения. Технические причины устраняются правкой настроек, а причины, связанные с качеством, — работой над содержанием страницы и структурой сайта.

## Яндекс индексация сайта: как это работает

Чтобы понимать, где что-то пошло не так, полезно представлять путь страницы до выдачи.

### Этапы индексации

1. **Обнаружение.** Робот узнаёт об адресе из ссылок на других страницах, карты сайта, отправки на переобход, иногда из других источников.
2. **Обход.** Робот запрашивает страницу, проверяя правила robots.txt. Сервер должен ответить кодом 200.
3. **Обработка.** Яндекс анализирует содержимое, мета-теги, канонический адрес, сравнивает страницу с уже известными.
4. **Решение.** Страница попадает в поиск или исключается с указанием причины.
5. **Переобход.** Робот периодически возвращается, чтобы обновить данные. Частота зависит от сайта и страницы.

### Сколько времени занимает индексация

Точных сроков нет. Новые страницы на сайте, который робот посещает регулярно, могут появиться в поиске за несколько дней. На новом сайте с малым количеством ссылок процесс занимает больше времени. Ускоряют его карта сайта, внутренние ссылки на новые страницы и отправка адресов на переобход в Вебмастере.

### Ресурсы робота ограничены

Робот не обходит все страницы сайта каждый день. Если на сайте тысячи мусорных адресов — фильтры, сортировки, метки, — робот тратит время на них, а до новых карточек или статей доходит позже. Поэтому чистка лишних адресов ускоряет индексацию нужных.

## Как проверить индексацию сайта

Есть несколько способов, и они дают разную точность.

### Вебмастер: индексация сайта

Основной инструмент — раздел индексирования в Яндекс Вебмастере. В отчёте о страницах в поиске видно, какие адреса включены в поиск, а какие исключены, с датой и причиной. Можно выгрузить список и отфильтровать его. Здесь же доступна статистика обхода: какие страницы робот запрашивал и какие коды ответа получил.

### Проверка статуса отдельной страницы

В Вебмастере есть инструмент проверки статуса URL. В него вставляют адрес, и через некоторое время он показывает, знает ли Яндекс о странице, когда робот последний раз её посещал, включена ли она в поиск и если нет — почему. Это самый точный способ проверки индексации конкретной страницы.

### Проверка через поиск

Оператор site: с адресом сайта в поисковой строке Яндекса показывает часть страниц из индекса. Способ быстрый, но приблизительный: количество результатов оценочное, а отсутствие страницы в таком поиске не всегда означает, что её нет в индексе. Для точных выводов используют Вебмастер.

### Статистика обхода

Отчёт о статистике обхода показывает, какие адреса робот запрашивал и что получил в ответ. Если в нём много ответов 404, 301 или 5xx, робот тратит ресурсы впустую. Если робот часто ходит по адресам с параметрами, а до карточек добирается редко, значит, мусорных адресов слишком много и их пора закрывать. Этот отчёт полезно смотреть после любых крупных изменений: переезда, смены структуры, обновления шаблонов.

### Сравнение с картой сайта

Полезная проверка индексации сайта — сравнить число адресов в карте сайта с числом страниц в поиске. Если в карте тысяча товаров, а в поиске двести, нужно смотреть исключённые страницы и выяснять, что случилось с остальными.

## Почему страницы не индексируются: причины исключения

Вебмастер показывает статус для каждой исключённой страницы. Ниже — самые частые причины и что с ними делать.

### Страница закрыта от индексации

- **Запрет в robots.txt.** Проверьте правило в инструменте анализа robots.txt. Если страница должна быть в поиске, уберите или уточните запрет.
- **Мета-тег robots с noindex.** Часто остаётся после разработки или включается настройкой SEO-плагина для целого типа страниц.
- **Заголовок X-Robots-Tag.** Реже встречается, задаётся на уровне сервера, и его не видно в исходном коде страницы.
- **Сайт закрыт паролем или требует авторизации.** Робот не может получить содержимое.

### Дубли и неканонические страницы

Если несколько адресов показывают одно и то же содержимое, Яндекс оставляет в поиске один, а остальные исключает как дубли. Причины — параметры в адресах, адреса со слешем и без, с www и без, одинаковые товары в разных категориях. Если на странице указан canonical на другой адрес, она будет исключена как неканоническая. Проверьте, что канонический адрес указан правильно, а дубли склеены 301-редиректом, canonical или директивой Clean-param.

### Редиректы и ошибки

- страница отдаёт 301 или 302 — в поиск попадёт конечный адрес, а не исходный;
- страница отдаёт 404 или 410 — она будет удалена из поиска;
- сервер отвечает ошибкой 5xx — при долгом сбое страницы начинают выпадать;
- страница открывается слишком долго — робот может не дождаться ответа.

### Недостаточно качественная страница

Эта причина вызывает больше всего вопросов. Яндекс исключает страницы, которые, по его оценке, не нужны пользователям в поиске: слишком мало уникального текста, почти одинаковые карточки товаров, страницы без спроса, автоматически сгенерированные описания. Техническими настройками это не исправить. Помогает уникальное полезное содержание, объединение похожих страниц и отказ от страниц, под которые нет запросов.

### Неглавное зеркало

Если сайт доступен одновременно по http и https, с www и без, Яндекс считает эти варианты зеркалами и индексирует только главное. Страницы неглавного зеркала исключаются. Проблема возникает, когда редиректы настроены не везде: например, главная перенаправляет на https, а внутренние страницы открываются по обоим адресам. Решение — единый 301-редирект со всех вариантов на основной адрес для всех страниц сайта и проверка главного зеркала в Вебмастере.

### Страница не найдена роботом

Если в Вебмастере страницы нет ни в поиске, ни в исключённых, робот о ней не знает. Нужно добавить её в карту сайта, поставить на неё ссылки с других страниц и отправить на переобход.

## Индексация и JavaScript

Современные сайты всё чаще выводят содержимое скриптами: каталог подгружается после открытия страницы, фильтры работают без перезагрузки, отзывы и цены приходят отдельным запросом. Для посетителя разницы нет, а для робота есть.

### В чём риск

Яндекс умеет обрабатывать JavaScript, но не гарантирует, что увидит всё, что появляется на странице после выполнения скриптов. Если в исходном HTML нет текста, заголовков и ссылок на товары, а всё это появляется только после работы скрипта, часть содержимого может не попасть в индекс. Особенно это касается ссылок: если переход между страницами каталога сделан кнопками без обычных ссылок, робот может не найти страницы второго уровня.

### Как проверить

- откройте исходный код страницы, а не код в инструментах разработчика браузера, и найдите в нём основной текст и ссылки;
- проверьте страницу в инструменте проверки статуса URL в Вебмастере и посмотрите, как её видит робот;
- убедитесь, что пагинация и меню каталога сделаны обычными ссылками с адресами.

На WordPress и 1С-Битрикс основное содержимое обычно формируется на сервере, и проблема возникает в основном в доработках: подгрузке товаров скриптом, самописных фильтрах, виджетах отзывов. При разработке таких функций стоит заранее думать о том, что увидит робот.

## Индексация страниц сайта: что делать по шагам

Порядок ниже помогает не тратить время на действия, которые не повлияют на результат.

### Пошаговая диагностика

1. **Выберите проблемные страницы.** Начните с важных для бизнеса: главная, услуги, категории, популярные товары.
2. **Проверьте статус URL в Вебмастере.** Запишите причину исключения.
3. **Откройте страницу и её исходный код.** Проверьте мета-тег robots, canonical, код ответа.
4. **Проверьте robots.txt** в инструменте анализа для этого адреса.
5. **Проверьте карту сайта:** есть ли в ней страница и с правильным ли адресом.
6. **Проверьте внутренние ссылки:** ведут ли на страницу ссылки из меню, категорий, других страниц.
7. **Устраните причину** и только после этого отправьте страницу на переобход.
8. **Проверьте результат** через некоторое время в том же инструменте.

### Как ускорить индексацию новых страниц

- добавлять новые страницы в карту сайта автоматически;
- ставить ссылки на новые страницы с главной, из категорий, из блога;
- отправлять важные адреса на переобход в Вебмастере;
- использовать протокол IndexNow, который поддерживает Яндекс: некоторые SEO-плагины и модули умеют сообщать о новых и изменённых страницах автоматически;
- не допускать ошибок сервера и медленных ответов.

### Типичные причины по CMS

| CMS | Частая причина проблем с индексацией | Где проверить |
| --- | --- | --- |
| WordPress | Галочка запрета индексации в настройках чтения, noindex для типа записей в SEO-плагине | Настройки чтения, настройки SEO-плагина |
| WooCommerce | Дубли из-за параметров фильтров и сортировок | Исключённые страницы, robots.txt |
| 1С-Битрикс | Дубли из-за параметров и нескольких адресов одного товара, закрытый /bitrix/ со стилями | robots.txt, настройки ЧПУ инфоблоков |
| Любая | Тестовый robots.txt после переезда | Анализ robots.txt |

## Как запретить индексацию сайта или страниц

Иногда задача обратная: убрать из поиска тестовую копию, служебные страницы или устаревший раздел. Способ зависит от того, что именно нужно скрыть.

### Сравнение способов

| Способ | Что делает | Когда использовать |
| --- | --- | --- |
| Disallow в robots.txt | Запрещает обход | Служебные разделы, параметры, фильтры |
| Мета-тег robots с noindex | Запрещает индексацию страницы | Отдельные страницы, которые нужно убрать из поиска |
| Заголовок X-Robots-Tag | Запрещает индексацию файла | PDF и другие документы |
| Пароль на уровне сервера | Закрывает доступ полностью | Тестовые копии и сайты в разработке |
| Удаление страницы с кодом 404 или 410 | Удаляет страницу из поиска | Страницы, которых больше не будет |

### Как запретить индексацию всего сайта

На время разработки надёжнее всего закрыть сайт паролем на уровне веб-сервера. Запрет в robots.txt и настройка «попросить поисковые системы не индексировать сайт» в WordPress — это сигналы, а не защита. Главное — не забыть снять запрет при запуске и не перенести тестовый robots.txt на рабочий сайт.

### Как закрыть тестовую копию паролем

На сервере с Apache базовую авторизацию включают в .htaccess тестовой копии:

```
AuthType Basic
AuthName "Restricted"
AuthUserFile /полный/путь/к/.htpasswd
Require valid-user
```

В nginx аналогичные директивы добавляют в блок server или location тестового сайта:

```
auth_basic "Restricted";
auth_basic_user_file /etc/nginx/.htpasswd;
```

Файл с логинами и паролями создают утилитой htpasswd или через панель хостинга, где такая функция часто есть в разделе защиты директорий. Путь к файлу указывают полный, а сам файл хранят вне публичной папки сайта.

### Как удалить страницу из поиска

Если страница должна исчезнуть из выдачи, на ней ставят noindex или она начинает отдавать 404 или 410. Не закрывайте такую страницу в robots.txt одновременно с noindex: робот не сможет её посетить и не увидит запрет. В Вебмастере есть инструмент удаления страниц из поиска, который ускоряет процесс для адресов, уже закрытых от индексации или удалённых.

## Сценарии из практики

Ситуации собирательные, но характерные.

### После переезда страницы выпадают из поиска

Сайт перенесли на новый хостинг, и через некоторое время число страниц в поиске стало падать. Причина — тестовый robots.txt с запретом на весь сайт и отсутствие редиректов со старых адресов. После исправления страницы возвращаются, но не сразу. Как избежать таких проблем, описано в статье [о переносе сайта на другой хостинг](https://chugunov.pro/perenos-sajta-na-drugoj-hosting/).

### Половина товаров — недостаточно качественные

В магазине сотни почти одинаковых карточек: одно описание, различаются только размер или цвет. Яндекс исключает их как недостаточно качественные. Решение — объединить варианты в одну карточку с выбором характеристик и дописать уникальные описания для ключевых товаров. Такую работу можно поручить в рамках [наполнения сайта](https://chugunov.pro/uslugi/napolnenie-sajta/).

### Статьи блога не индексируются месяцами

Новые статьи не попадают в карту сайта из-за настройки SEO-плагина, а ссылок на них с главной и из категорий нет. Робот о них не знает. После включения типа записей в карту и добавления блока свежих статей на главную индексация идёт в обычном режиме.

### Страницы исключены как дубли

Каталог на 1С-Битрикс доступен по адресам с параметрами и без, а товар открывается из нескольких разделов по разным адресам. Яндекс выбирает основной адрес сам, и не всегда тот, который нужен. Решение — единый адрес товара, canonical и Clean-param для служебных параметров.

### Новый раздел услуг закрыт noindex

На сайте добавили раздел с новыми услугами, создав его как отдельный тип записей. В настройках SEO-плагина для новых типов записей по умолчанию стоял noindex, и страницы раздела месяц не появлялись в поиске, хотя в Вебмастере были видны. Причина нашлась по статусу исключения за несколько минут, а исправление свелось к одной настройке. Такие ситуации хорошо показывают, почему диагностика начинается с Вебмастера, а не с переписывания текстов.

### Каталог виден только первыми страницами

В магазине пагинация категорий сделана кнопкой «Показать ещё», которая подгружает товары скриптом без отдельных адресов. Робот видит только первые товары каждой категории, остальные карточки находит лишь по карте сайта и индексирует медленнее. Решение — сохранить кнопку для посетителей, но добавить обычные ссылки на страницы пагинации.

## Типичные ошибки и чек-лист

### Ошибки, которые затягивают индексацию

- **Отправка на переобход без устранения причины.** Результат не меняется.
- **Закрытие в robots.txt вместо noindex.** Страница остаётся в поиске без описания.
- **Мусорные адреса.** Робот тратит ресурсы на фильтры и сортировки.
- **Нет внутренних ссылок на новые страницы.** Робот узнаёт о них поздно.
- **Медленный сервер и ошибки 5xx.** Робот сокращает обход.
- **Одинаковые описания товаров и услуг.** Страницы исключаются как недостаточно качественные.

### Чек-лист индексации

- Сайт подтверждён в Яндекс Вебмастере, выбрано главное зеркало.
- В настройках CMS нет запрета индексации.
- robots.txt проверен и не закрывает нужные страницы, стили и скрипты.
- Карта сайта добавлена в Вебмастер и содержит только нужные страницы.
- На важных страницах нет noindex и указан правильный canonical.
- Дубли склеены редиректами, canonical или Clean-param.
- Новые страницы получают внутренние ссылки.
- Сервер отвечает быстро и без ошибок.
- Исключённые страницы проверяются регулярно.

Если проблем много и они связаны между собой, полезно посмотреть на картину целиком: как влияют друг на друга скорость, структура, дубли и настройки. Подробнее — в статье [что такое техническое SEO](https://chugunov.pro/chto-takoe-tehnicheskoe-seo/).

## Частые вопросы

### Как проверить индексацию сайта в Яндексе?

В Яндекс Вебмастере, в разделе индексирования: отчёт о страницах в поиске показывает включённые и исключённые адреса с причинами. Для отдельной страницы есть проверка статуса URL.

### Почему страница есть в Вебмастере, но её нет в поиске?

Скорее всего, она исключена. Причина указана в Вебмастере: дубль, запрет, редирект или недостаточное качество.

### Сколько ждать индексации новой страницы?

От нескольких дней до нескольких недель, в зависимости от сайта. Ускоряют процесс карта сайта, внутренние ссылки и отправка на переобход.

### Что значит «недостаточно качественная страница»?

Яндекс счёл, что страница не нужна пользователям в поиске. Помогают уникальное содержание, объединение похожих страниц и отказ от страниц без спроса.

### Как запретить индексацию сайта?

Для тестовой копии — пароль на уровне сервера. Для отдельных страниц — noindex, для служебных разделов — запрет обхода в robots.txt.

### Помогает ли повторная отправка на переобход?

Только если причина исключения уже устранена. В остальных случаях робот примет прежнее решение.

### Влияет ли скорость сайта на индексацию страниц?

Да. Медленные ответы и ошибки сервера сокращают обход, и новые страницы индексируются дольше.

### Почему в поиске старая версия страницы?

Робот ещё не переобошёл её. Отправьте страницу на переобход в Вебмастере и проверьте, что сервер отдаёт актуальную версию без кеша.

### Можно ли проверить индексацию сайта без доступа к Вебмастеру?

Приблизительно — через оператор site: в поиске Яндекса. Но причины исключения и точные данные есть только в Вебмастере, поэтому доступ к нему стоит получить.

### Почему число страниц в поиске постоянно колеблется?

Яндекс регулярно пересматривает базу: одни страницы добавляются, другие исключаются как дубли или недостаточно качественные. Небольшие колебания нормальны, резкое падение — повод для проверки.

### Нужна ли Метрика для индексации?

Для самой индексации не обязательна. Но Вебмастер и Метрика вместе дают полную картину: какие страницы в поиске и как они работают.

## Итог

Проблемы с индексацией почти всегда имеют понятную причину, и Яндекс Вебмастер её показывает. Технические причины — запреты, дубли, редиректы, ошибки сервера — исправляются настройками. Причины, связанные с качеством, требуют работы над содержанием и структурой сайта.

Начинайте с диагностики, а не с переобхода. Проверяйте важные страницы в первую очередь, убирайте мусорные адреса, следите за картой сайта и внутренними ссылками. Тогда индексация нужных страниц становится предсказуемой.

Если страницы не попадают в поиск и причина неочевидна, я как частный разработчик на WordPress и 1С-Битрикс проверю отчёты Вебмастера, настройки сайта, robots.txt, карту и дубли, найду причину и исправлю её. Работаю напрямую, без посредников — подробности на странице [аудита сайта](https://chugunov.pro/uslugi/audit-sajta/).

- 18.09.2026

## Связанное на сайте

- Услуга [Поисковое продвижение](https://chugunov.pro/uslugi/seo/)
- Справочник API [Справочник API 1С-Битрикс](https://chugunov.pro/api-bitrix/)
- Справочник API [Справочник API WordPress](https://chugunov.pro/api-wordpress/)
- Глоссарий [Глоссарий: SEO](https://chugunov.pro/glossary/seo/)

Автор статьи [Чугунов Алексей](https://chugunov.pro/about/) Fullstack-разработчик: 1С-Битрикс, WordPress, PHP
[Обо мне](https://chugunov.pro/about/)

Рубрики блога

- [Продажи](https://chugunov.pro/category/sales/) 16
- [Продвижение](https://chugunov.pro/category/prodvizhenie/) 22
- [Создание сайтов](https://chugunov.pro/category/sozdanie-sajtov/) 75
- [Интересное](https://chugunov.pro/category/interesnoe/) 13

Остались вопросы?

Отправьте сообщение, и я свяжусь с вами в ближайшее время

Или звоните, сразу обсудим детали.

[+7 (915) 016-99-88](tel:79150169988)