Что такое «X-Robots-Tag»
Мета-тег можно вставить только в HTML. А у сайта есть PDF с прайсами, выгрузки XML, изображения, документы Word — их тоже находят и индексируют поисковики. Заголовок решает эту задачу: директиву отдаёт веб-сервер в ответе на запрос, и формат файла уже не важен. Google и Яндекс его поддерживают. По смыслу директив он полностью повторяет мета-тег robots, различается только место, где правило задаётся.
Как это выглядит в ответе сервера
HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindex, nofollow
Директиву можно адресовать конкретному роботу: X-Robots-Tag: googlebot: noindex. Если имени робота нет, правило действует для всех.
Настройка в nginx
Закрыть от индекса все PDF и служебный каталог выгрузок:
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex" always;
}
location /export/ {
add_header X-Robots-Tag "noindex, nofollow" always;
}
Параметр always добавляет заголовок и к ответам с ошибками. Важная особенность nginx: если внутри location есть хотя бы один add_header, заголовки с уровня server в этом блоке не наследуются. Добавили X-Robots-Tag — и пропали заголовки безопасности. Их нужно повторить или вынести в общий файл через include. В Apache то же делают директивой Header set в конфигурации или .htaccess.
Как проверить
Заголовки ответа видно командой curl -I https://example.ru/files/price.pdf или во вкладке Network инструментов разработчика. Инструмент проверки URL в Search Console показывает, увидел ли Google запрет на индексирование.
Помните о том же правиле, что и для мета-тега: если файл закрыт в robots.txt, робот его не запросит и заголовка не увидит. Для удаления из выдачи нужна открытая для сканирования страница с noindex. И наоборот: случайно оставленный на всём сайте заголовок с noindex — например, скопированный с тестового сервера конфиг — способен за несколько недель вывести сайт из индекса.
Связанные термины
Обновлено: 10 октября 2026

