6 признаков в Метрике, что ваш трафик уже снимают конкуренты
Есть неудобный вопрос, который редко звучит на планёрках. Вот он: из тех посетителей, которые за последний месяц зашли на ваш сайт, никак не отреагировали и ушли - сколько из них к этому времени уже получили звонок от конкурента?
Иногда - никто: все ушли сами. Иногда - несколько десятков человек, которые конкурент уже обзвонил. А иногда системы сбора снимают ваш трафик каждую ночь уже несколько месяцев - и вы об этом не знаете, потому что в Метрике это ни на что не похоже.
По данным Imperva, в 2023 году почти половина всего интернет-трафика - 49,6% - приходила от ботов и автоматических систем. Треть из них - «плохие» боты: парсеры, скрейперы, системы сбора данных. Ваш сайт точно в этой статистике.
Показываю, как распознать чужую систему в своей аналитике - по 6 конкретным признакам.
Каждую неделю разбираем, как работает перехват данных в B2B и как защититься. Напишите нам на stopparsing.ru, если хотите разобраться в своей ситуации.
Зачем конкуренту ваш трафик - и как он его снимает?
Коротко: конкурент использует системы, которые обходят ваш сайт по расписанию и собирают данные о посетителях. Это не взлом - это сбор открытых данных, который выглядит как обычный просмотр страниц.
Когда потенциальный клиент заходит на ваш сайт и изучает услуги или цены - он оставляет след. Не только в вашей аналитике, но и в других местах: в DNS-записях, в браузерном кэше, в профильных базах данных поведенческих сигналов.
Системы перехвата конкурентов делают три вещи:
- Регулярно обходят ваш сайт и фиксируют, что там происходит.
- Сопоставляют эти данные с поведенческими базами - и определяют, какие компании или профили стоят за трафиком.
- Передают контакт в отдел продаж конкурента - иногда раньше, чем посетитель успевает оставить заявку у вас.
В итоге вы платите за рекламный трафик, а конкурент снимает сливки с тех, кто уже к вам пришёл. Метрика этого не показывает напрямую. Но косвенные признаки - есть.
Признак 1: прямой трафик растёт, а вы ничего не запускали
Коротко: резкий рост «прямых визитов» без маркетинговой активности - первый признак автоматизированного обхода.
В Яндекс.Метрике «прямые заходы» - это визиты без источника. Так система фиксирует тех, кто ввёл адрес в браузере напрямую, пришёл из закладки или - что важно для нас - зашёл через систему, которая не передаёт реферер.
Большинство парсеров и систем сбора данных не передают информацию об источнике. С точки зрения Метрики - они выглядят как «прямые заходы».
Где смотреть: «Источники» -> «Сводка», фильтр по периоду. Сравните текущий месяц с прошлым. Если «прямой» трафик вырос на 20% и более без вашей офлайн-активности - это повод копать глубже.
Дополнительный признак: прямые визиты приходят «пакетами». Откройте «Посетители» и посмотрите на временную метку сессий с прямым источником. У людей они разбросаны хаотично. У автоматических систем - несколько сессий за 1-2 минуты подряд, потом пауза, снова несколько.
Признак 2: часть сессий длится ровно 0 секунд - почему?
Коротко: нулевое время на сайте - признак системы, которая загружает страницу, забирает данные и уходит, не дожидаясь полной загрузки JS.
Яндекс.Метрика считает время сессии как разницу между первым и последним зафиксированным событием на странице. Если JavaScript-счётчик не успевает зарегистрировать хотя бы два события - время равно нулю, а сессия засчитывается как «отказ».
Большинство систем парсинга работают в «безголовом» режиме: они запрашивают HTML-код страницы, но не выполняют JavaScript или прерывают загрузку после получения нужных данных. Метрика видит факт захода - но не видит ни одного действия.
Где смотреть: «Отчёты» -> «Источники» -> «Прямые заходы». Добавьте столбец «Время на сайте» и «Отказы». Если среди прямых визитов есть группа с 100% отказами и временем 00:00:00 - и она появилась относительно недавно - это аномалия.
Нормальный показатель «отказов» для B2B-сайта - 30-55%. Если среди прямого трафика отказы выше 80% при нулевом времени - это уже не поведение людей.
Признак 3: ночью на сайте кипит «жизнь» - хотя клиенты спят
Коротко: автоматические системы работают ночью, когда трафик минимален. Пики активности в 2-5 утра на B2B-сайте - нетипичны для людей.
Ваши клиенты - B2B-компании, которые работают в рабочее время. Трафик должен резко падать к 21:00. К полуночи - практически нуль.
Если в Метрике в разбивке по часам вы видите устойчивую активность в ночное время (2:00-6:00) - особенно если она регулярная (не разовая аномалия) - это признак автоматического обхода по расписанию.
Где смотреть: «Посещаемость» -> «По часам». Выберите диапазон 2-4 недели. Посмотрите на строки 23:00-6:00. Если ночной трафик стабильно составляет 15% и более от дневного - копайте дальше.
Дополнительно: сравните источники ночного трафика с дневным. Часто ночью доля «прямых заходов» непропорционально высока по сравнению с дневной картиной.
Хотите разобраться, что именно происходит с вашим трафиком ночью - и нет ли там посторонних систем? Бесплатный аудит периметра сделает это за вас: stopparsing.ru
Признак 4: один посетитель смотрит 10 страниц за 60 секунд
Коротко: аномальная глубина просмотра при минимальном времени - так ведёт себя автоматическая система, а не человек.
Заинтересованный посетитель-человек просматривает 3-5 страниц за 5-10 минут. Он читает, листает вниз, возможно возвращается назад. Есть паузы, есть нелинейность.
Автоматическая система обходит страницы линейно: главная, о компании, услуги, каждая подстраница услуг, команда, контакты - в строгой последовательности, со скоростью 3-5 секунд на страницу. Глубина просмотра 10-15 страниц при времени визита 45-90 секунд - это физически невозможно для человека, который читает.
Где смотреть: в «Вебвизоре» - если он подключён. Откройте записи визитов с большой глубиной просмотра и малым временем. У реального человека в Вебвизоре мышь двигается, есть остановки, неравномерная прокрутка. У бота - движений нет или они механические, переходы почти мгновенные.
Если Вебвизор не подключён: «Отчёты» -> «Поведение» -> «Глубина просмотра». Сегментируйте по прямому трафику и посмотрите распределение. Группа с глубиной 8+ страниц и временем визита до 2 минут - аномалия.
Признак 5: слишком много «одинаковых» посетителей с одним браузером
Коротко: реальные пользователи приходят с разными устройствами и версиями браузеров. Однородность - признак автоматизации.
Когда 50 реальных людей заходят на сайт - они используют Chrome 120, Chrome 121, Firefox, Safari, мобильный Chrome, разные версии Edge. Разброс разрешений экрана: 1920x1080, 1366x768, 390x844 (мобильный), 2560x1440. Разные ОС.
Системы парсинга часто используют одну и ту же связку: конкретная версия Chromium, фиксированное разрешение, один User-Agent. Потому что настраивать имитацию разнообразия сложно, а в большинстве случаев не нужно.
Где смотреть: «Отчёты» -> «Технологии» -> «Браузеры» и «Разрешения экрана». Если среди новых пользователей за последние 2-4 недели 60-80% приходят с одинаковым разрешением экрана или одной версией браузера - это не случайность.
Дополнительный признак: почти все такие пользователи - «новые». Многие системы парсинга работают без куки или в режиме инкогнито, поэтому Метрика видит каждый их заход как «нового пользователя».
Признак 6: трафик из источников, которых у вас нет
Коротко: неизвестные рефереры или трафик от доменов, с которыми вы не работали - признак прокси или промежуточного слоя.
В норме вы знаете все свои источники трафика: Яндекс, Google, Директ, ваши партнёры, конкретные площадки. Если в «Источниках» появляется незнакомый домен, который вы не размещали и не упоминали - это повод разобраться.
Некоторые системы сбора данных работают через промежуточный слой (прокси), который передаёт свой адрес как реферер. В итоге вы видите в Метрике: «пришли с [незнакомый-домен.ru]».
Где смотреть: «Источники» -> «Сайты». Отфильтруйте по периоду последних 2-4 недель. Любой реферер, который вы не узнаёте - проверьте: это ваш партнёр, рекламная площадка или что-то незнакомое?
Дополнительный признак: незнакомый реферер даёт трафик регулярно (не разово) и с высоким процентом «отказов» при нулевом времени. Это не случайный переход - это систематический процесс.
Как отличить парсер от обычного бота или рекламного фрода?
Коротко: главное отличие - парсер конкурента целенаправленно интересуется коммерческими страницами и приходит по расписанию.
| Признак | SEO-бот (Google, Яндекс) | Рекламный фрод | Парсер конкурента |
|---|---|---|---|
| Время суток | Равномерно, круглосуточно | Случайное | Ночные и ранние пики |
| Скорость обхода | Медленная (1-3 стр/мин) | Случайная | Высокая (5-15 стр/мин) |
| Какие страницы | Все, по sitemap | Случайные лендинги | Цены, команда, контакты |
| Поведение | Нет JS-событий | Клики без чтения | Нет взаимодействий |
| User-Agent | Открытый (Googlebot, Yandex) | Изменённый | Обычный браузер |
| Частота | Регулярная, предсказуемая | Разовые всплески | Регулярная, по расписанию |
| Куки | Не принимает (технический) | Принимает для имитации | Часто не принимает |
Ключевое: парсер конкурента интересуется конкретными страницами с бизнес-информацией - ценами, контактами команды, описанием услуг. SEO-бот обходит всё подряд по sitemap. Рекламный фрод кликает только на рекламу.
Если вы видите регулярный обход именно коммерческих страниц с признаками из списка выше - это не Googlebot.
Подробнее о том, чем парсинг отличается от обычных угроз веб-безопасности, разобрали в отдельной статье: Защита от парсинга vs обычная веб-безопасность. О том, как парсинг соотносится с требованиями закона и почему это работает в правовом поле - в разборе Парсинг сайтов и 152-ФЗ: что законно.
Есть ещё один нюанс: иногда «отказ» в аналитике выглядит как неудачный лендинг, а на деле - это перехваченный посетитель. Как их различить, разобрали тут: Почему «отказ» в аналитике может оказаться перехватом.
Что делать, если признаки нашлись?
Коротко: самостоятельно по Метрике можно поставить диагноз - но не закрыть канал. Для закрытия нужен аудит периметра.
Если из шести признаков вы нашли два и более - это достаточный повод для аудита. Без паники, без немедленной смены всего подряд. Одно конкретное действие: разобраться, что именно происходит.
Три шага, которые можно сделать прямо сейчас:
Зайдите в «Метрику» -> «Посетители» -> «Новые» и отфильтруйте прямой трафик за последние 30 дней. Посмотрите, есть ли там группы с нулевым временем и 100% отказами. Если есть - сохраните скриншот.
Откройте «Вебвизор» (если подключён) и найдите записи с глубиной просмотра 8+ страниц при времени до 2 минут. Просмотрите 3-5 из них. Если в них нет движения мыши и нет остановок - перед вами автоматизированная система.
Если признаки подтвердились - следующий шаг не «купить ещё один плагин», а закрыть сам канал перехвата. Сайт и телефоны сотрудников должны перестать быть доступными для систем сбора данных.
Именно это делает StopParsing: вносит ваши домены и номера в защиту от парсинга - через наши и партнёрские источники данных. Конкурентам становится намного сложнее снять ваш трафик. Не «абсолютная защита» - её не бывает - но ощутимое снижение риска.
Начните с бесплатного аудита периметра: передайте список ваших сайтов и телефонов сотрудников, и получите картину того, что сейчас доступно системам сбора. Стоимость - по результатам аудита.
Записаться на аудит периметра - stopparsing.ru
Источники
- Imperva Bad Bot Report 2024 - imperva.com/resources/resource-library/reports/2024-bad-bot-report/
- Cloudflare Bot Management Documentation - developers.cloudflare.com/bots/
- Akamai Bot Manager Documentation - techdocs.akamai.com/bot-manager/docs
- Яндекс.Справка: Время на сайте - yandex.ru/support/metrica/reports/visits-duration.html
- F5 2024 Application Strategy Report (раздел bot traffic)
- Данные о сервисе StopParsing - stopparsing.ru