Поисковый робот
Оригинальное название: crawler
Коротко
Программа, которая автоматически переходит по ссылкам, загружает страницы и передаёт сведения для обработки и индексирования.
Что такое «Поисковый робот»
Программа, которая автоматически переходит по ссылкам, загружает страницы и передаёт сведения для обработки и индексирования. Краулер обходит веб, следуя ссылкам и картам сайта, и уважает директивы `robots.txt`. Известные примеры — Googlebot и Bingbot, но роботов много и у аналитических сервисов. Понимание того, как ведёт себя робот, лежит в основе технической оптимизации сайта.
