Коротко
Яндекс индексация сайта — это процесс, при котором робот находит страницы, скачивает их, анализирует и решает, включать ли их в поисковую базу. Если страница не проиндексирована, её нет в выдаче, как бы хорошо она ни была написана. Причины почти всегда относятся к одной из трёх групп: робот не может добраться до страницы, страница закрыта от индексации, или Яндекс счёл её дублем либо недостаточно полезной.
Проверить индексацию сайта проще всего в Яндекс Вебмастере: там видно, какие страницы в поиске, какие исключены и по какой причине. Ниже — как проверить индексацию, как расшифровать причины исключения, что делать с каждой из них и как правильно запретить индексацию того, что в поиске быть не должно.
| Симптом | Вероятная причина | Где смотреть |
|---|---|---|
| Страницы нет в поиске и в Вебмастере | Робот её ещё не нашёл: нет ссылок, нет в карте сайта | Проверка статуса URL, карта сайта |
| Страница исключена с пометкой о запрете | robots.txt, noindex, закрытый сайт | Исключённые страницы, анализ robots.txt |
| Страница исключена как дубль или неканоническая | Параметры, копии, canonical на другой адрес | Исключённые страницы, исходный код |
| Страница исключена как недостаточно качественная | Мало уникального содержания или нет спроса | Исключённые страницы, сама страница |
| Страницы выпадают массово | Ошибки сервера, редиректы, переезд | Диагностика, статистика обхода |
Основная мысль
Индексация — это не право страницы, а решение поисковой системы: сначала нужно убедиться, что техническая дорога к странице открыта, а затем — что страница заслуживает места в поиске, и путать эти две задачи — главная причина бесполезных действий.
Владельцы часто начинают с того, что отправляют страницу на переобход снова и снова. Если страница закрыта в robots.txt или отмечена как дубль, переобход ничего не изменит: робот придёт, увидит ту же картину и примет то же решение.
Поэтому работа с индексацией начинается с диагностики. Вебмастер почти всегда называет причину исключения. Технические причины устраняются правкой настроек, а причины, связанные с качеством, — работой над содержанием страницы и структурой сайта.
Яндекс индексация сайта: как это работает
Чтобы понимать, где что-то пошло не так, полезно представлять путь страницы до выдачи.
Этапы индексации
- Обнаружение. Робот узнаёт об адресе из ссылок на других страницах, карты сайта, отправки на переобход, иногда из других источников.
- Обход. Робот запрашивает страницу, проверяя правила robots.txt. Сервер должен ответить кодом 200.
- Обработка. Яндекс анализирует содержимое, мета-теги, канонический адрес, сравнивает страницу с уже известными.
- Решение. Страница попадает в поиск или исключается с указанием причины.
- Переобход. Робот периодически возвращается, чтобы обновить данные. Частота зависит от сайта и страницы.
Сколько времени занимает индексация
Точных сроков нет. Новые страницы на сайте, который робот посещает регулярно, могут появиться в поиске за несколько дней. На новом сайте с малым количеством ссылок процесс занимает больше времени. Ускоряют его карта сайта, внутренние ссылки на новые страницы и отправка адресов на переобход в Вебмастере.
Ресурсы робота ограничены
Робот не обходит все страницы сайта каждый день. Если на сайте тысячи мусорных адресов — фильтры, сортировки, метки, — робот тратит время на них, а до новых карточек или статей доходит позже. Поэтому чистка лишних адресов ускоряет индексацию нужных.
Как проверить индексацию сайта
Есть несколько способов, и они дают разную точность.
Вебмастер: индексация сайта
Основной инструмент — раздел индексирования в Яндекс Вебмастере. В отчёте о страницах в поиске видно, какие адреса включены в поиск, а какие исключены, с датой и причиной. Можно выгрузить список и отфильтровать его. Здесь же доступна статистика обхода: какие страницы робот запрашивал и какие коды ответа получил.
Проверка статуса отдельной страницы
В Вебмастере есть инструмент проверки статуса URL. В него вставляют адрес, и через некоторое время он показывает, знает ли Яндекс о странице, когда робот последний раз её посещал, включена ли она в поиск и если нет — почему. Это самый точный способ проверки индексации конкретной страницы.
Проверка через поиск
Оператор site: с адресом сайта в поисковой строке Яндекса показывает часть страниц из индекса. Способ быстрый, но приблизительный: количество результатов оценочное, а отсутствие страницы в таком поиске не всегда означает, что её нет в индексе. Для точных выводов используют Вебмастер.
Статистика обхода
Отчёт о статистике обхода показывает, какие адреса робот запрашивал и что получил в ответ. Если в нём много ответов 404, 301 или 5xx, робот тратит ресурсы впустую. Если робот часто ходит по адресам с параметрами, а до карточек добирается редко, значит, мусорных адресов слишком много и их пора закрывать. Этот отчёт полезно смотреть после любых крупных изменений: переезда, смены структуры, обновления шаблонов.
Сравнение с картой сайта
Полезная проверка индексации сайта — сравнить число адресов в карте сайта с числом страниц в поиске. Если в карте тысяча товаров, а в поиске двести, нужно смотреть исключённые страницы и выяснять, что случилось с остальными.
Почему страницы не индексируются: причины исключения
Вебмастер показывает статус для каждой исключённой страницы. Ниже — самые частые причины и что с ними делать.
Страница закрыта от индексации
- Запрет в robots.txt. Проверьте правило в инструменте анализа robots.txt. Если страница должна быть в поиске, уберите или уточните запрет.
- Мета-тег robots с noindex. Часто остаётся после разработки или включается настройкой SEO-плагина для целого типа страниц.
- Заголовок X-Robots-Tag. Реже встречается, задаётся на уровне сервера, и его не видно в исходном коде страницы.
- Сайт закрыт паролем или требует авторизации. Робот не может получить содержимое.
Дубли и неканонические страницы
Если несколько адресов показывают одно и то же содержимое, Яндекс оставляет в поиске один, а остальные исключает как дубли. Причины — параметры в адресах, адреса со слешем и без, с www и без, одинаковые товары в разных категориях. Если на странице указан canonical на другой адрес, она будет исключена как неканоническая. Проверьте, что канонический адрес указан правильно, а дубли склеены 301-редиректом, canonical или директивой Clean-param.
Редиректы и ошибки
- страница отдаёт 301 или 302 — в поиск попадёт конечный адрес, а не исходный;
- страница отдаёт 404 или 410 — она будет удалена из поиска;
- сервер отвечает ошибкой 5xx — при долгом сбое страницы начинают выпадать;
- страница открывается слишком долго — робот может не дождаться ответа.
Недостаточно качественная страница
Эта причина вызывает больше всего вопросов. Яндекс исключает страницы, которые, по его оценке, не нужны пользователям в поиске: слишком мало уникального текста, почти одинаковые карточки товаров, страницы без спроса, автоматически сгенерированные описания. Техническими настройками это не исправить. Помогает уникальное полезное содержание, объединение похожих страниц и отказ от страниц, под которые нет запросов.
Неглавное зеркало
Если сайт доступен одновременно по http и https, с www и без, Яндекс считает эти варианты зеркалами и индексирует только главное. Страницы неглавного зеркала исключаются. Проблема возникает, когда редиректы настроены не везде: например, главная перенаправляет на https, а внутренние страницы открываются по обоим адресам. Решение — единый 301-редирект со всех вариантов на основной адрес для всех страниц сайта и проверка главного зеркала в Вебмастере.
Страница не найдена роботом
Если в Вебмастере страницы нет ни в поиске, ни в исключённых, робот о ней не знает. Нужно добавить её в карту сайта, поставить на неё ссылки с других страниц и отправить на переобход.
Индексация и JavaScript
Современные сайты всё чаще выводят содержимое скриптами: каталог подгружается после открытия страницы, фильтры работают без перезагрузки, отзывы и цены приходят отдельным запросом. Для посетителя разницы нет, а для робота есть.
В чём риск
Яндекс умеет обрабатывать JavaScript, но не гарантирует, что увидит всё, что появляется на странице после выполнения скриптов. Если в исходном HTML нет текста, заголовков и ссылок на товары, а всё это появляется только после работы скрипта, часть содержимого может не попасть в индекс. Особенно это касается ссылок: если переход между страницами каталога сделан кнопками без обычных ссылок, робот может не найти страницы второго уровня.
Как проверить
- откройте исходный код страницы, а не код в инструментах разработчика браузера, и найдите в нём основной текст и ссылки;
- проверьте страницу в инструменте проверки статуса URL в Вебмастере и посмотрите, как её видит робот;
- убедитесь, что пагинация и меню каталога сделаны обычными ссылками с адресами.
На WordPress и 1С-Битрикс основное содержимое обычно формируется на сервере, и проблема возникает в основном в доработках: подгрузке товаров скриптом, самописных фильтрах, виджетах отзывов. При разработке таких функций стоит заранее думать о том, что увидит робот.
Индексация страниц сайта: что делать по шагам
Порядок ниже помогает не тратить время на действия, которые не повлияют на результат.
Пошаговая диагностика
- Выберите проблемные страницы. Начните с важных для бизнеса: главная, услуги, категории, популярные товары.
- Проверьте статус URL в Вебмастере. Запишите причину исключения.
- Откройте страницу и её исходный код. Проверьте мета-тег robots, canonical, код ответа.
- Проверьте robots.txt в инструменте анализа для этого адреса.
- Проверьте карту сайта: есть ли в ней страница и с правильным ли адресом.
- Проверьте внутренние ссылки: ведут ли на страницу ссылки из меню, категорий, других страниц.
- Устраните причину и только после этого отправьте страницу на переобход.
- Проверьте результат через некоторое время в том же инструменте.
Как ускорить индексацию новых страниц
- добавлять новые страницы в карту сайта автоматически;
- ставить ссылки на новые страницы с главной, из категорий, из блога;
- отправлять важные адреса на переобход в Вебмастере;
- использовать протокол IndexNow, который поддерживает Яндекс: некоторые SEO-плагины и модули умеют сообщать о новых и изменённых страницах автоматически;
- не допускать ошибок сервера и медленных ответов.
Типичные причины по CMS
| CMS | Частая причина проблем с индексацией | Где проверить |
|---|---|---|
| WordPress | Галочка запрета индексации в настройках чтения, noindex для типа записей в SEO-плагине | Настройки чтения, настройки SEO-плагина |
| WooCommerce | Дубли из-за параметров фильтров и сортировок | Исключённые страницы, robots.txt |
| 1С-Битрикс | Дубли из-за параметров и нескольких адресов одного товара, закрытый /bitrix/ со стилями | robots.txt, настройки ЧПУ инфоблоков |
| Любая | Тестовый robots.txt после переезда | Анализ robots.txt |
Как запретить индексацию сайта или страниц
Иногда задача обратная: убрать из поиска тестовую копию, служебные страницы или устаревший раздел. Способ зависит от того, что именно нужно скрыть.
Сравнение способов
| Способ | Что делает | Когда использовать |
|---|---|---|
| Disallow в robots.txt | Запрещает обход | Служебные разделы, параметры, фильтры |
| Мета-тег robots с noindex | Запрещает индексацию страницы | Отдельные страницы, которые нужно убрать из поиска |
| Заголовок X-Robots-Tag | Запрещает индексацию файла | PDF и другие документы |
| Пароль на уровне сервера | Закрывает доступ полностью | Тестовые копии и сайты в разработке |
| Удаление страницы с кодом 404 или 410 | Удаляет страницу из поиска | Страницы, которых больше не будет |
Как запретить индексацию всего сайта
На время разработки надёжнее всего закрыть сайт паролем на уровне веб-сервера. Запрет в robots.txt и настройка «попросить поисковые системы не индексировать сайт» в WordPress — это сигналы, а не защита. Главное — не забыть снять запрет при запуске и не перенести тестовый robots.txt на рабочий сайт.
Как закрыть тестовую копию паролем
На сервере с Apache базовую авторизацию включают в .htaccess тестовой копии:
AuthType Basic
AuthName "Restricted"
AuthUserFile /полный/путь/к/.htpasswd
Require valid-userВ nginx аналогичные директивы добавляют в блок server или location тестового сайта:
auth_basic "Restricted";
auth_basic_user_file /etc/nginx/.htpasswd;Файл с логинами и паролями создают утилитой htpasswd или через панель хостинга, где такая функция часто есть в разделе защиты директорий. Путь к файлу указывают полный, а сам файл хранят вне публичной папки сайта.
Как удалить страницу из поиска
Если страница должна исчезнуть из выдачи, на ней ставят noindex или она начинает отдавать 404 или 410. Не закрывайте такую страницу в robots.txt одновременно с noindex: робот не сможет её посетить и не увидит запрет. В Вебмастере есть инструмент удаления страниц из поиска, который ускоряет процесс для адресов, уже закрытых от индексации или удалённых.
Сценарии из практики
Ситуации собирательные, но характерные.
После переезда страницы выпадают из поиска
Сайт перенесли на новый хостинг, и через некоторое время число страниц в поиске стало падать. Причина — тестовый robots.txt с запретом на весь сайт и отсутствие редиректов со старых адресов. После исправления страницы возвращаются, но не сразу. Как избежать таких проблем, описано в статье о переносе сайта на другой хостинг.
Половина товаров — недостаточно качественные
В магазине сотни почти одинаковых карточек: одно описание, различаются только размер или цвет. Яндекс исключает их как недостаточно качественные. Решение — объединить варианты в одну карточку с выбором характеристик и дописать уникальные описания для ключевых товаров. Такую работу можно поручить в рамках наполнения сайта.
Статьи блога не индексируются месяцами
Новые статьи не попадают в карту сайта из-за настройки SEO-плагина, а ссылок на них с главной и из категорий нет. Робот о них не знает. После включения типа записей в карту и добавления блока свежих статей на главную индексация идёт в обычном режиме.
Страницы исключены как дубли
Каталог на 1С-Битрикс доступен по адресам с параметрами и без, а товар открывается из нескольких разделов по разным адресам. Яндекс выбирает основной адрес сам, и не всегда тот, который нужен. Решение — единый адрес товара, canonical и Clean-param для служебных параметров.
Новый раздел услуг закрыт noindex
На сайте добавили раздел с новыми услугами, создав его как отдельный тип записей. В настройках SEO-плагина для новых типов записей по умолчанию стоял noindex, и страницы раздела месяц не появлялись в поиске, хотя в Вебмастере были видны. Причина нашлась по статусу исключения за несколько минут, а исправление свелось к одной настройке. Такие ситуации хорошо показывают, почему диагностика начинается с Вебмастера, а не с переписывания текстов.
Каталог виден только первыми страницами
В магазине пагинация категорий сделана кнопкой «Показать ещё», которая подгружает товары скриптом без отдельных адресов. Робот видит только первые товары каждой категории, остальные карточки находит лишь по карте сайта и индексирует медленнее. Решение — сохранить кнопку для посетителей, но добавить обычные ссылки на страницы пагинации.
Типичные ошибки и чек-лист
Ошибки, которые затягивают индексацию
- Отправка на переобход без устранения причины. Результат не меняется.
- Закрытие в robots.txt вместо noindex. Страница остаётся в поиске без описания.
- Мусорные адреса. Робот тратит ресурсы на фильтры и сортировки.
- Нет внутренних ссылок на новые страницы. Робот узнаёт о них поздно.
- Медленный сервер и ошибки 5xx. Робот сокращает обход.
- Одинаковые описания товаров и услуг. Страницы исключаются как недостаточно качественные.
Чек-лист индексации
- Сайт подтверждён в Яндекс Вебмастере, выбрано главное зеркало.
- В настройках CMS нет запрета индексации.
- robots.txt проверен и не закрывает нужные страницы, стили и скрипты.
- Карта сайта добавлена в Вебмастер и содержит только нужные страницы.
- На важных страницах нет noindex и указан правильный canonical.
- Дубли склеены редиректами, canonical или Clean-param.
- Новые страницы получают внутренние ссылки.
- Сервер отвечает быстро и без ошибок.
- Исключённые страницы проверяются регулярно.
Если проблем много и они связаны между собой, полезно посмотреть на картину целиком: как влияют друг на друга скорость, структура, дубли и настройки. Подробнее — в статье что такое техническое SEO.
Частые вопросы
Как проверить индексацию сайта в Яндексе?
В Яндекс Вебмастере, в разделе индексирования: отчёт о страницах в поиске показывает включённые и исключённые адреса с причинами. Для отдельной страницы есть проверка статуса URL.
Почему страница есть в Вебмастере, но её нет в поиске?
Скорее всего, она исключена. Причина указана в Вебмастере: дубль, запрет, редирект или недостаточное качество.
Сколько ждать индексации новой страницы?
От нескольких дней до нескольких недель, в зависимости от сайта. Ускоряют процесс карта сайта, внутренние ссылки и отправка на переобход.
Что значит «недостаточно качественная страница»?
Яндекс счёл, что страница не нужна пользователям в поиске. Помогают уникальное содержание, объединение похожих страниц и отказ от страниц без спроса.
Как запретить индексацию сайта?
Для тестовой копии — пароль на уровне сервера. Для отдельных страниц — noindex, для служебных разделов — запрет обхода в robots.txt.
Помогает ли повторная отправка на переобход?
Только если причина исключения уже устранена. В остальных случаях робот примет прежнее решение.
Влияет ли скорость сайта на индексацию страниц?
Да. Медленные ответы и ошибки сервера сокращают обход, и новые страницы индексируются дольше.
Почему в поиске старая версия страницы?
Робот ещё не переобошёл её. Отправьте страницу на переобход в Вебмастере и проверьте, что сервер отдаёт актуальную версию без кеша.
Можно ли проверить индексацию сайта без доступа к Вебмастеру?
Приблизительно — через оператор site: в поиске Яндекса. Но причины исключения и точные данные есть только в Вебмастере, поэтому доступ к нему стоит получить.
Почему число страниц в поиске постоянно колеблется?
Яндекс регулярно пересматривает базу: одни страницы добавляются, другие исключаются как дубли или недостаточно качественные. Небольшие колебания нормальны, резкое падение — повод для проверки.
Нужна ли Метрика для индексации?
Для самой индексации не обязательна. Но Вебмастер и Метрика вместе дают полную картину: какие страницы в поиске и как они работают.
Итог
Проблемы с индексацией почти всегда имеют понятную причину, и Яндекс Вебмастер её показывает. Технические причины — запреты, дубли, редиректы, ошибки сервера — исправляются настройками. Причины, связанные с качеством, требуют работы над содержанием и структурой сайта.
Начинайте с диагностики, а не с переобхода. Проверяйте важные страницы в первую очередь, убирайте мусорные адреса, следите за картой сайта и внутренними ссылками. Тогда индексация нужных страниц становится предсказуемой.
Если страницы не попадают в поиск и причина неочевидна, я как частный разработчик на WordPress и 1С-Битрикс проверю отчёты Вебмастера, настройки сайта, robots.txt, карту и дубли, найду причину и исправлю её. Работаю напрямую, без посредников — подробности на странице аудита сайта.
