Bingbot

По задачам Bingbot — такой же поисковый робот, как Googlebot или YandexBot: находит адреса по ссылкам и картам сайта, скачивает страницы и передаёт их на обработку. Как и у Google, у него есть рендеринг на основе Chromium, поэтому контент, построенный скриптами, Bingbot в целом видит.

В логах сервера он представляется строкой с подстрокой bingbot/2.0. Подделать User-Agent может кто угодно, поэтому настоящий робот проверяется обратным DNS-запросом: имя хоста должно оканчиваться на search.msn.com, а прямой запрос по этому имени — возвращать тот же IP.

Чем отличается от Googlebot

Главное практическое отличие — Bingbot понимает директиву Crawl-delay в robots.txt. Google её игнорирует, а Bing соблюдает паузу между запросами. Кроме того, в Bing Webmaster Tools можно задать часы, когда робот должен обходить сайт интенсивнее, — например, ночью, когда нагрузка ниже.

Пример: ограничить нагрузку от Bing

User-agent: bingbot
Crawl-delay: 5
Disallow: /search/
Disallow: /*?sort=

User-agent: *
Disallow: /search/

Если для робота есть собственная группа User-agent: bingbot, общие правила из группы * к нему уже не применяются. Поэтому запреты нужно повторить в обеих группах, иначе Bingbot начнёт обходить то, что закрыто для остальных.

Когда стоит заглянуть в логи

На каталогах с фильтрами Bingbot иногда упорно перебирает тысячи комбинаций параметров. Признак — всплеск запросов с его User-Agent к адресам вида ?color=…&size=… и рост нагрузки на PHP. Решение то же, что и для других роботов: закрыть бесполезные комбинации в robots.txt, расставить canonical и не плодить ссылки на них. Полностью запрещать Bingbot ради снижения нагрузки обычно не стоит: вместе с ним сайт выпадает и из сервисов, которые берут данные из индекса Bing.