Защита от парсинга (Парсеров и ботов)

Комплексная защита сайта от парсинга, ботов и автоматического сбора данных: ограничение запросов, обнаружение и блокировка ботов, JS-проверка, гео- и IP-блокировка, защита контента и API, уведомления и наглядный мониторинг. Работает «из коробки», тонко настраивается по каждому сайту.«Защита от парсинга» - это единый модуль для борьбы со скрейпингом, агрессивными ботами и автоматическим съёмом контента и цен с вашего сайта на 1С-Битрикс.Парсеры воруют контент, нагружают сервер и сливают вашу базу товаров и цен конкурентам. Модуль выстраивает многоуровневую защиту на стороне PHP и объединяет в одном месте всё, что обычно приходится собирать из разрозненных решений: ограничение частоты запросов, поведенческий анализ, проверку браузера, гео- и IP-фильтрацию, защиту контента и API, интеграцию с Cloudflare и систему уведомлений.Модуль рассчитан на боевое использование: безопасные значения по умолчанию, мягкие режимы для обкатки без риска заблокировать живых посетителей, корректная работа в кластере и за балансировщиком, минимальное влияние на кэширование и индексацию поисковиками.Основные возможностиОграничение запросов (Rate Limiting)- Лимит запросов по IP за период, хранилище счётчиков - Redis / Memcache / файлы (атомарный подсчёт, корректно в кластере).- При превышении порога - CAPTCHA: стандартная Bitrix, Google reCAPTCHA v3 или Yandex SmartCaptcha.Обнаружение и блокировка ботов- 40+ паттернов вредоносных User-Agent, обнаружение headless-браузеров.- Threat-scoring 0-100: блокировка по совокупности признаков, а не по одному слабому индикатору (меньше ложных срабатываний).- Проверка «хороших» ботов через forward-confirmed reverse DNS (Google, Bing, Yandex, Apple, Baidu, DuckDuckGo, Facebook) - подделку Googlebot не пропустит.- Мягкий режим (только лог) для безопасной обкатки.- Настраиваемые белые/чёрные списки User-Agent.JS-проверка браузера и поведенческий анализ- Фрикционная JS-проверка отсекает примитивных парсеров и автоматизированные браузеры, проверенные поисковики и API не затрагиваются.- Поведенческий сигнал: реальное взаимодействие пользователя подтверждается подписанной cookie, снижая ложные срабатывания.- Анализ «холодных» прямых заходов (режимы: выкл / мониторинг / блокировка).IP-блокировка- Белый и чёрный списки: отдельные IP, подсети CIDR, маски, IPv6.- Автоматическая блокировка IP после N нарушений в час (кластер-консистентно).Гео-блокировка- Блокировка по странам (чёрный/белый список).- Определение страны по цепочке источников: заголовок Cloudflare → заголовки веб-сервера (nginx/apache GeoIP и GeoIP2) → штатный GeoIP 1С-Битрикс (SypexGeo, MaxMind и др.) → «Bitrix\Sale\Location\GeoIp» → PHP-расширение geoip → база MaxMind. Достаточно любого одного источника.Защита контента- 3 уровня защиты, блокировка копирования и контекстного меню, отключаемая плашка «Копирование запрещено».- Honeypot-ловушки для форм, обфускация e-mail и телефонов.Защита API- Ограничение частоты, проверка токена («X-API-Token»), политика CORS, защита по путям.Интеграция с WAF- Синхронизация правил блокировки IP с Cloudflare.Уведомления- E-mail, Telegram, Webhook - с порогами, защитой от спама (cooldown) и повторными попытками.Мониторинг и логи- Дашборд с графиками по часам/дням, топ стран, IP и событий, фильтрами.- Экспорт в CSV и Fail2Ban, логирование в файлы и/или БД, статистика «люди и боты».Многосайтовость- Настройки поведения задаются отдельно для каждого сайта с откатом на глобальные значения. Инфраструктура (ключи капчи, IP-списки, Redis/WAF/уведомления) - общая.Преимущества- Всё в одном модуле - не нужно собирать защиту из нескольких решений.- Безопасные значения по умолчанию и мягкие режимы - можно внедрять без риска заблокировать живых клиентов.- Не мешает SEO - проверенные поисковики проходят все проверки, индексация не страдает.- Готов к нагрузке и кластеру - общие счётчики в Redis/Memcache, защита от спуфинга «X-Forwarded-For», «ленивые» сессии не ломают композитный кэш.- Работает с тем, что уже настроено - подхватывает штатный GeoIP Битрикса, Cloudflare, существующую инфраструктуру.Интерфейсы в админкеРаздел «Сервисы → Защита от парсинга».Раздел «Настройки → Настройки продукта → Настройки модулей → Защита от парсинга».Неправильная настройка может привести к потере доступа к сайтуМодуль предназначен для блокировки нежелательного трафика. Слишком агрессивные или ошибочные настройки могут заблокировать реальных посетителей, а в отдельных случаях - затруднить доступ к самому сайту. Примеры рискованных конфигураций:- Слишком низкий лимит запросов (rate limit) - блокирует обычных пользователей и легитимные интеграции;- Гео-блокировка в режиме «белый список» с не теми странами или с включённой блокировкой при неопределённой стране - может закрыть сайт для всех посетителей;- Добавление в чёрный список IP/подсетей, через которые ходят ваши клиенты, CDN, платёжные шлюзы или интеграции;- Включение жёстких режимов (блокировка ботов, блокировка прямых заходов) без предварительной обкатки;- Ошибки в списке «доверенных прокси» за балансировщиком, из-за чего весь трафик считается идущим с одного IP.Важно: по умолчанию запросы из CLI/cron и от авторизованных администраторов не проверяются - это снижает риск полной блокировки доступа к административной панели. Тем не менее публичная часть сайта при ошибочных правилах может стать недоступной для посетителей, а неверная серверная конфигурация (прокси, кэш, права доступа) - усугубить последствия.Обязательно делайте резервные копииПеред установкой модуля, а также перед любыми изменениями его настроек обязательно создавайте резервную копию сайта и базы данных.Резервная копия должна позволять полностью восстановить:- Файлы сайта (включая каталог модуля и настройки);- Базу данных (таблицы настроек «b_option», журналы модуля и т.д.).Убедитесь, что у вас есть проверенный способ восстановления и доступ к серверу/хостингу в обход сайта (SSH, файловый менеджер хостинга, панель управления) - на случай, если потребуется быстро отключить модуль или откатить изменения.Рекомендации по безопасному внедрению1. Сделайте резервную копию.2. Включайте механизмы постепенно, начиная с мягких режимов: блокировку ботов - в режиме «только лог», анализ прямых заходов - в режиме «мониторинг».3. Несколько дней наблюдайте за Дашбордом: оцените, кого модуль заблокировал бы, и нет ли ложных срабатываний.4. Только убедившись в корректности, переключайте механизмы в режим блокировки.5. Заранее внесите в белые списки доверенные IP (офис, мониторинг, интеграции, платёжные шлюзы) и нужные подсети.6. За балансировщиком корректно заполните «Доверенные прокси».7. Знайте, как быстро отключить модуль: глобальный выключатель в настройках или удаление/переименование каталога модуля на сервере.Экстренное отключениеЕсли сайт стал недоступен из-за настроек модуля:- Отключите модуль глобальным переключателем в настройках (если доступ в админку есть);- Либо на сервере переименуйте/удалите каталог модуля и при необходимости снимите регистрацию модуля / восстановите сайт из резервной копии.

Защита от парсинга (Парсеров и ботов)

Купить: 1 000 руб.

Попробовать (30 дней)

от Kommutator.net

Купить продление

Другие решения разработчика

Виджет для обратной связи 1 000 руб.

Автоиндексация IndexNow 1 900 руб.

Видеовиджеты 1 000 руб.

Просмотр 3D-моделей (AR, дополненная реальность, шоурум) 7 900 руб.

SMS-провайдеры (СМС уведомления, 80+ сервисов) 1 000 руб. 1

QR-коды 1 000 руб.

Интерактивное вращение 360° 1 900 руб.

Уведомления в MAX (МАКС) 1 000 руб.

Бегущая строка в шапке 1 200 руб.

Уведомления в Telegram 1 000 руб.

Отзывы с Яндекс.Карт (Яндекс Бизнес) 1 000 руб.

Объявления в шапке 1 000 руб.

Защита контента (От копирования) 1 000 руб.

Управление cookie и согласиями 1 000 руб.

UTM и короткие ссылки 1 000 руб.

Промежуточные редиректы 1 000 руб.

Канонические URL (Страницы Canonical) 1 000 руб.

Доступ к сайту по IP 1 000 руб.

Кнопки для виджета Битрикс24 1 000 руб.

Редиректы и мониторинг битых ссылок (301, 302, 307, 308) 1 000 руб.

еще 12 решений