robots.txt

Прежде чем сканировать сайт, добросовестный робот запрашивает https://домен/robots.txt. Файл состоит из блоков: строка User-agent называет робота (звёздочка — все), а директивы Disallow и Allow перечисляют закрытые и открытые пути. Это вежливая договорённость, а не защита: вредные боты правила игнорируют, а закрытый адрес всё равно виден любому, кто откроет файл.

Что отдаёт WordPress

Физического файла в свежей установке нет. На запрос /robots.txt WordPress генерирует ответ сам: закрывает /wp-admin/, оставляя доступным admin-ajax.php, а в новых версиях добавляет ссылку на встроенную карту сайта wp-sitemap.xml. SEO-плагины дают редактировать этот виртуальный файл в админке. Если же положить в корень настоящий robots.txt, веб-сервер отдаст его, и до WordPress запрос не дойдёт. Дописать правила из кода можно фильтром:

add_filter( 'robots_txt', function ( $output, $public ) {
    $output .= "Disallow: /?s=\n";
    $output .= "Clean-param: utm_source&utm_medium&utm_campaign\n";
    return $output;
}, 10, 2 );

Директива Clean-param понятна только Яндексу: она говорит, что UTM-метки не меняют содержимое страницы и такие адреса не нужно обходить как отдельные. Google её пропускает.

Частые ошибки

• Disallow: /, оставшийся с этапа разработки. Сайт запускают, а поисковики не заходят дальше главной.
• Закрытая папка /wp-content/ или /wp-includes/. Робот не получает CSS и скрипты и видит страницу сломанной.
• Попытка убрать страницу из поиска через Disallow. Файл управляет обходом, а не индексом: Google может показать закрытый адрес без описания, если на него ссылаются. Для исключения нужен noindex, а робот должен иметь возможность его прочитать.

Как проверить

В Яндекс Вебмастере есть инструмент «Анализ robots.txt», в Google Search Console — отчёт о файле robots.txt. Оба показывают, какую версию файла видит поисковый робот и разрешён ли конкретный адрес. Проверка правил входит в любой технический SEO-аудит.