Meta Robots

В отличие от robots.txt, который запрещает или разрешает обход адресов, meta robots действует на уровне конкретной страницы и касается индексации. Робот должен загрузить страницу, прочитать тег и выполнить указание. Сам тег — контейнер для директив: одной из них является noindex, но есть и другие.

Основные директивы

• noindex — не добавлять страницу в индекс; nofollow — не учитывать ссылки на ней; none — то же, что оба вместе.
• noarchive — не показывать сохранённую копию.
• nosnippet, max-snippet, max-image-preview — ограничения сниппета и превью в Google.
• index и follow действуют по умолчанию, писать их не обязательно.

Вместо name="robots" можно указать конкретного робота: googlebot или yandex. Для файлов, где нет HTML, — PDF, изображений — те же директивы передаёт HTTP-заголовок X-Robots-Tag.

Пример: закрыть архивы авторов в WordPress

С версии 5.7 WordPress собирает meta robots через фильтр wp_robots, и директивы удобно добавлять в нём:

add_filter( 'wp_robots', function ( $robots ) {
    if ( is_author() || is_date() ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }
    return $robots;
} );

На архивах авторов и дат появится <meta name='robots' content='noindex, follow, …'>: страницы уйдут из индекса, а ссылки с них продолжат работать. В 1С-Битриксе то же делает $APPLICATION->SetPageProperty("robots", "noindex, follow").

Ошибки, из-за которых тег не срабатывает

• Страница закрыта и в robots.txt, и тегом noindex. Робот не загружает её, не видит тег, и адрес может остаться в индексе по внешним ссылкам. Чтобы убрать страницу, обход нужно разрешить.
• После запуска сайта забыли снять галочку «Попросить поисковые системы не индексировать сайт» в настройках чтения WordPress — весь сайт отдаёт noindex.
• Тег подставляется скриптом после загрузки, а в исходном HTML его нет или там другое значение.
• Два противоречащих тега от темы и плагина. Порядок взаимодействия robots.txt, тега и карты сайта подробно разобран в статье о настройке robots.txt и sitemap.xml.