robots.txt
Коротко
Файл в корне сайта с правилами разрешённого и запрещённого обхода URL автоматическими роботами.
Что такое «robots.txt»
Файл в корне сайта с правилами разрешённого и запрещённого обхода URL автоматическими роботами. Он подсказывает поисковым краулерам, какие разделы сканировать, а какие обходить стороной. WordPress по умолчанию отдаёт виртуальный `robots.txt`, который можно переопределить или дополнить. Важно помнить: файл управляет обходом, но не гарантирует исключение страницы из индекса — для этого нужен `noindex`.
