Что изменилось: обновлено 19 сентября 2026: добавлены пошаговый порядок действий, разбор пограничных случаев и раздел «Чего не делать».
Типичная ситуация: сайт закрыт SSL, настроен WAF, все галочки стоят. Конкуренты всё равно звонят потенциальным клиентам раньше, чем те оставляют заявку. В аналитике это обычный «отказ», виновник незаметен.
Причина: WAF защищает от одной угрозы, а конкурент заходит через другую.
Три разных угрозы - три разных инструмента
Чтобы не перепутать инструменты, нужно разделить угрозы.
Взлом - несанкционированный доступ к закрытым ресурсам: базам данных, административным панелям, файлам. Для этого нужна уязвимость в коде или обход авторизации. В России квалифицируется по ст. 272 УК РФ.
DDoS - перегрузка сервера запросами до отказа в обслуживании. Цель: положить сайт. Проявляется сразу: сайт недоступен, метрики красные.
Парсинг - автоматический сбор данных с публичных страниц. Цель: контакты посетителей, номера сотрудников, структура компании. Парсер запрашивает те же страницы, что и обычный браузер. Сервер отдаёт данные, потому что видит корректный HTTP-запрос: с его точки зрения угрозы нет.
| Взлом | DDoS | Парсинг | |
|---|---|---|---|
| Цель | Закрытые данные сервера | Недоступность сайта | Данные на странице |
| Видимость для сервера | Аномальные ошибки | Явная перегрузка | Обычный трафик |
| Метод | Уязвимость, SQL-инъекция | Перегрузка запросами | Легитимный GET-запрос |
| Закрывает | WAF, патчи, авторизация | Anti-DDoS, CDN | Специализированная защита |
| Правовой статус | Ст. 272 УК РФ | Закон о вредоносных программах | Серая зона 152-ФЗ |
Вывод прямой: WAF создан под взлом. Anti-DDoS - под перегрузку. Ни один из них не проектировался под задачу «отличить живого посетителя от парсера».
Почему WAF пропускает парсинг
WAF работает по сигнатурам: ищет SQL-инъекции в параметрах, XSS-теги в заголовках, паттерны известных атак. Запрос парсера не содержит ни одного из этих признаков: это чистый GET к публичной странице.
Производители WAF знают об этой границе. Многие добавляют базовые средства детекции: проверка User-Agent, анализ частоты запросов, сигнатуры известных краулеров (Scrapy, Python-requests). Но у этих функций есть жёсткий потолок.
Современный парсер строится на Puppeteer или Playwright - headless-браузерах на движке Chrome. Они выполняют JavaScript неотличимо от настоящего браузера, отдают корректный User-Agent и заголовки, имитируют паузы между запросами (3–7 секунд), используют ротацию IP через пул жилых прокси.
Жилые прокси (residential proxies) - IP-адреса домашних пользователей, которые участвуют в прокси-сети через установленное ПО. Такие адреса предоставляют коммерческие сервисы: Bright Data, Oxylabs. С точки зрения вашего сервера это обычные посетители из Москвы, Казани или Екатеринбурга. Заблокировать их по IP значит заблокировать часть реальной аудитории.
Посмотреть, как закрыть периметр
Что проверяет профессиональный антибот
Коммерческие антибот-решения - Cloudflare Bot Management, DataDome, PerimeterX (сейчас HUMAN) - анализируют поведенческие сигналы, которые WAF не видит в принципе.
- Fingerprint браузера: Canvas, WebGL, AudioContext, список шрифтов генерируют уникальный слепок среды. Headless-браузер имеет характерный fingerprint, отличный от обычного Chrome.
- Движения мыши: живой пользователь двигает курсор нелинейными кривыми; бот - прямыми векторами или не двигает вовсе.
- Тайминг взаимодействий: живой человек читает страницу 15–120 секунд; парсер переходит дальше через 0,1–2 секунды даже с искусственными задержками.
- История сессии: новая сессия без cookies, без истории посещений, без сохранённых данных характерна для ботов.
Когда система срабатывает, посетитель видит: CAPTCHA-экран (reCAPTCHA, hCAPTCHA), страницу JavaScript-проверки браузера или 403 Access Denied.
Профессиональный парсер умеет обходить reCAPTCHA v2 через сторонние сервисы решения капч (2captcha, anti-captcha). Поведенческий анализ сложнее, но не непреодолим: это гонка вооружений.
Главное ограничение антибота: он блокирует запросы к вашему сайту в момент их поступления. Если данные уже были собраны раньше, или парсятся из открытых справочников, а не с вашего сайта, антибот не поможет. Телефоны сотрудников из 2ГИС он тоже не закроет.
Что конкурент реально делает с вашими данными
Четыре риска, которые работают прямо сейчас в B2B.
Риск 1: перехват прогретого трафика. Посетитель зашёл на сайт, изучил предложение, ушёл «подумать». Система сбора данных идентифицировала его в момент визита. Конкурент позвонил первым, и в вашей аналитике это просто «отказ» без объяснимой причины.
Риск 2: сбор оргструктуры по телефонам. Номера менеджеров, руководителей, специалистов видны на сайте, в справочниках (2ГИС, Яндекс.Бизнес), в деловых сетях. По этим номерам парсер восстанавливает структуру компании. Результат: переманивание людей, прямые звонки от конкурентов, спам.
Риск 3: данные об исходящих звонках. Через незащищённые каналы конкурент может узнать, кому вы звоните. Он заходит к вашим потенциальным клиентам раньше, чем вы закрываете сделку.
Риск 4: рекламный бюджет на чужие продажи. Каждый переход на сайт оплачен вами. Если контакт посетителя перехвачен до оформления заявки - вы оплатили лид, который достался конкуренту.
Смежная тема: как номера сотрудников попадают к конкурентам.
Пошаговый порядок действий при подозрении на перехват
Шаг 1. Проверьте аналитику на косвенные сигналы. Трафик есть, конверсия падает без очевидных причин. Конкуренты звонят вашим лидам раньше вас. Менеджеры получают звонки с предложениями от конкурентов. Это не стопроцентные доказательства, но повод для проверки.
Шаг 2. Составьте список объектов под угрозой. Какие домены компании публичны? Какие номера сотрудников видны в открытых источниках: на сайте, в справочниках, в деловых соцсетях? Это исходные данные.
Шаг 3. Запросите бесплатную проверку данных в StopParsing. Передайте список сайтов и телефонов, получите отчёт о том, что сейчас доступно для систем сбора. Без обязательств.
Шаг 4. Определите приоритет. Трафик сайта важнее или номера сотрудников? Это определит, какие каналы закрывать в первую очередь.
Шаг 5. Закройте каналы и настройте мониторинг. Ваши домены и номера вносятся под защиту в собственные и партнёрские источники сбора данных. После этого мониторинг отслеживает новые векторы угрозы, добавляет новые объекты при расширении компании.
Пограничные случаи: когда стандартные инструменты всё же помогают
Не всё однозначно. Бывают ситуации, когда стандартные решения частично работают.
Против примитивного краулера на одном IP rate-limiting работает: если один адрес делает 50+ запросов в минуту, его блокируют порогом. Против парсинга через тысячи жилых прокси это не работает: каждый адрес делает 1–3 запроса, аномалии нет.
robots.txt нужен для управления индексацией добросовестными поисковиками: Googlebot, Яндекс.Бот. Конкурентные парсеры его игнорируют. robots.txt не имеет принудительного механизма, это просто текстовый файл.
CAPTCHA частично работает против автоматической регистрации и массового спама форм. Для защиты от сбора открытых данных не помогает: парсер читает страницу, а не заполняет форму.
WAF обязателен, если есть риск SQL-инъекций, XSS или SSRF. Но это другая задача и она не пересекается с защитой данных от парсинга.
Чего не делать
Не полагайтесь на robots.txt как на защиту. Конкурентные парсеры его читают и игнорируют: это соглашение с добросовестными ботами, не запрет.
Не блокируйте только по User-Agent. Scrapy и Python-requests меняют сигнатуру за пять минут. Такая блокировка сработает один раз и перестанет работать.
Не смешивайте инструменты. Ставить WAF «от парсинга» - всё равно что лечить ангину мазью от ожогов. WAF защищает от взлома; для данных нужна защита данных.
Не ждите очевидного инцидента. Перехват происходит незаметно. К моменту, когда становится ясно, что данные уходят, конкурент уже наладил контакт с вашими лидами.
Не считайте HTTPS защитой от парсинга. HTTPS шифрует канал между сервером и браузером. Парсер получает уже расшифрованные данные страницы: шифрование канала не скрывает контент.
Законность парсинга: серая зона, а не запрет
Сбор публичной информации о компаниях (название, адрес, вид деятельности) легален. Идентификация конкретных людей, сбор персональных данных без согласия, использование в коммерческих целях - зона 152-ФЗ.
На практике преследовать парсера сложно: доказать умысел, установить источник, пройти инстанции - месяцы без гарантий. Проще закрыть доступ к данным, чем судиться.
StopParsing не охотится за парсерами: задача другая - сделать ваши данные недоступными для систем сбора. «Никто не уведёт то, что не смог собрать». Сервис работает строго в рамках 152-ФЗ и берёт под защиту только ваши объекты: сайты и контакты, которые принадлежат вам. Гарантий «полной защиты» нет: риск снижается ощутимо, но не исчезает абсолютно.
Хотите увидеть, что сейчас открыто для систем сбора - передайте список сайтов и телефонов, получите конкретный отчёт. Проверка бесплатная, без обязательств.
Источники
- Федеральный закон 152-ФЗ «О персональных данных»
- Статья 272 УК РФ «Неправомерный доступ к компьютерной информации»
- OWASP Web Application Firewall Evaluation Criteria (публично доступный документ)
- Документация Puppeteer (pptr.dev) и Playwright (playwright.dev)
StopParsing - часть сервисов LEADLIFE. Другие инструменты работы с трафиком и данными - на LEADLIFE.