Деградация ссылок

Английский термин link rot — «гниение ссылок». Явление неизбежно: компании закрываются, сайты переезжают на новые CMS со сменой адресов, статьи удаляют, домены не продлевают. Чем старше сайт, тем больше в его текстах ссылок, которые когда-то работали, а теперь возвращают ошибку или ведут на чужой контент.

Есть и тихая разновидность — дрейф содержимого. Ссылка открывается, но по адресу уже другой материал: устаревшая версия документа, заглушка, а иногда и сайт, который купил брошенный домен. Для читателя это хуже, чем 404, потому что выглядит как рекомендация.

Чем вредит сайту

• Посетитель упирается в ошибку и перестаёт доверять материалу.
• Робот тратит обход на несуществующие адреса — это касается внутренних битых ссылок.
• Входящие ссылки на ваши удалённые страницы перестают приносить пользу, пока их не вернут через восстановление ссылок.

Как проверить

Для больших сайтов удобны краулеры вроде Screaming Frog и плагины проверки ссылок для WordPress. Для быстрой проверки списка адресов хватает скрипта в терминале:

while read -r url; do
  code=$(curl -o /dev/null -s -L -w '%{http_code}' "$url")
  [ "$code" != "200" ] && echo "$code $url"
done < links.txt

Скрипт выводит адреса, которые после всех редиректов не отдают код 200. Какие ошибки бывают и что с ними делать — в статье про ошибку 404 на сайте.

Как замедлить деградацию

Со своей стороны — не ломать адреса: при смене структуры ставить 301-е редиректы со старых URL. В чужие ссылки — регулярно заглядывать: раз в полгода прогонять проверку, заменять мёртвые ссылки на актуальные источники или архивные копии, а бесполезные удалять. Для важных цитат полезно сохранять копию источника заранее, например в веб-архиве.