X-Robots-Tag
Коротко
HTTP-заголовок с директивами индексирования, который можно применять в том числе к PDF, изображениям и другим не-HTML-файлам.
Что такое «X-Robots-Tag»
HTTP-заголовок с директивами индексирования, который можно применять в том числе к PDF, изображениям и другим не-HTML-файлам. В отличие от мета-тега robots, он работает на уровне ответа сервера и подходит для любых типов файлов. Через него задают `noindex`, `nofollow` и другие правила там, где нельзя вставить мета-тег. Это гибкий инструмент управления индексацией нестандартных ресурсов.
