Что такое «X-Robots-Tag»

Мета-тег можно вставить только в HTML. А у сайта есть PDF с прайсами, выгрузки XML, изображения, документы Word — их тоже находят и индексируют поисковики. Заголовок решает эту задачу: директиву отдаёт веб-сервер в ответе на запрос, и формат файла уже не важен. Google и Яндекс его поддерживают. По смыслу директив он полностью повторяет мета-тег robots, различается только место, где правило задаётся.

Как это выглядит в ответе сервера

HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindex, nofollow

Директиву можно адресовать конкретному роботу: X-Robots-Tag: googlebot: noindex. Если имени робота нет, правило действует для всех.

Настройка в nginx

Закрыть от индекса все PDF и служебный каталог выгрузок:

location ~* \.pdf$ {
    add_header X-Robots-Tag "noindex" always;
}

location /export/ {
    add_header X-Robots-Tag "noindex, nofollow" always;
}

Параметр always добавляет заголовок и к ответам с ошибками. Важная особенность nginx: если внутри location есть хотя бы один add_header, заголовки с уровня server в этом блоке не наследуются. Добавили X-Robots-Tag — и пропали заголовки безопасности. Их нужно повторить или вынести в общий файл через include. В Apache то же делают директивой Header set в конфигурации или .htaccess.

Как проверить

Заголовки ответа видно командой curl -I https://example.ru/files/price.pdf или во вкладке Network инструментов разработчика. Инструмент проверки URL в Search Console показывает, увидел ли Google запрет на индексирование.

Помните о том же правиле, что и для мета-тега: если файл закрыт в robots.txt, робот его не запросит и заголовка не увидит. Для удаления из выдачи нужна открытая для сканирования страница с noindex. И наоборот: случайно оставленный на всём сайте заголовок с noindex — например, скопированный с тестового сервера конфиг — способен за несколько недель вывести сайт из индекса.

Связанные термины

Обновлено: 10 октября 2026

Все термины раздела «SEO» ↗