Бот-трафик (Invalid Traffic): что это и как его обнаружить

Боты — часть трафика любого сайта.

Хорошие боты. К ним относятся роботы поисковых систем: Googlebot, Яндекс-бот, Bingbot. Они сканируют сайты, чтобы формировать поисковую выдачу. В последние годы к ним добавились боты нейросетей: они собирают информацию с сайтов для ответов ИИ. У ChatGPT это OAI-SearchBot, у Perplexity — PerplexityBot, у Claude — Claude-SearchBot.

К той же категории относятся боты соцсетей и мессенджеров. Например, когда пользователь в сообщении отправляет ссылку на сайт, робот площадки переходит по ней, чтобы показывать получателю превью страницы. Оно включает заголовок, изображение и краткое описание.

Распознавание хороших ботов. Хороший бот при заходе на сайт сообщает свой идентификатор (user-agent), поэтому его легко узнать.

Активность хороших ботов называют фоновой роботностью. Бороться с ней не нужно, но при расчете конверсии ее важно отделять от остального трафика, например фильтром в «Яндекс Метрике». Антифрод «Яндекс Директа» (система, которая отсеивает недействительные клики) тоже распознает хороших ботов, поэтому рекламодатель не платит за их клики.

Плохие боты. В рекламе они чаще всего кликают по объявлениям и накручивают посещаемость сайта. Такие клики и показы списывают бюджет, но не приносят заявок. Реже их используют для задач вне рекламы: например, чтобы собирать цены конкурентов или проверять, активна ли еще краденая банковская карта.

Кликфрод. Еще один вид мошенничества — это скликивание рекламы живыми людьми. Такие задачи публикуют на биржах заданий. Выявить такой трафик сложно, потому что он выглядит как переходы из браузера обычного пользователя.

С 2022 года рекламодателей на рынке стало меньше. При этом бюджеты оставшихся продолжают расти, что искусственно разгоняет спрос и цену клика. Если в этом трафике есть доля фрода, за него в итоге платит рекламодатель.

Отдельный случай — устаревшая техника скликивания конкурентами. Примерно до 2021 года ее применяли массово: вводили в поиск самые дорогие высокочастотные запросы в своей нише и кликали по объявлениям в рабочее время, чтобы за день израсходовать чужой небольшой локальный бюджет. Признаки такой атаки — концентрация кликов в рабочие часы, узкая география, отказы около 100% и повторяющиеся подсети, то есть диапазоны IP-адресов. Сейчас она встречается реже, но в узких нишах может работать до сих пор.

Недействительный трафик — одна из причин, почему рекламный канал выглядит неэффективным в отчетах. Например, в «Яндекс Метрике» у канала много кликов, высокий процент отказов и нет заявок.

1. Сформировать отчеты «Роботы» и «Вебвизор» в «Яндекс Метрике». Базовый источник данных — отчет «Роботы» в «Яндекс Метрике». Он показывает долю визитов роботов и их названия. Тревожный сигнал — резкий рост этой доли относительно обычного уровня. Например, роботный трафик в обычных условиях держится на уровне 5–10%, а потом вырастает в несколько раз.

«Вебвизор» записывает сессии на сайте, и по записям проще отличить настоящего пользователя от бота или исполнителя платного задания. Сложнее всего распознать SIVT — переходы, которые маскируются под обычных посетителей. Выявить их помогает анализ поведения.

Обычный человек задерживается на интересной ему информации, одни страницы быстро пролистывает, к другим возвращается. Боты и исполнители заданий ведут себя иначе: через одно и то же время после захода на сайт кликают по кнопке, не дочитывают страницу, даже если нужная информация внизу. Если десяток таких сессий выглядит как «под копирку», — это повод присмотреться к источнику переходов.

2. Искать поведенческие аномалии и паттерны. Трафик стоит разбить по времени суток. Если накрутка организована как оплачиваемые задания, в статистике будут заметны всплески, например в часы, когда на бирже публикуют новое задание.

Еще один сигнал — много переходов из одного региона при отказах около 100% и полном отсутствии заявок. Это типичные признаки ботов или скликивания, а не просто «холодного» трафика — людей, которые пока не готовы покупать.

Распространенная ошибка — списывать на фрод низкую конверсию сайта. Часто дело в технической проблеме:

Прежде чем разбираться с площадкой, нужно проверить настройку аналитики и посадочную страницу и только после этого делать выводы о доле недействительного трафика.

У крупных площадок есть встроенные антифрод-системы. Например, антифрод «Яндекс Директа» работает в несколько этапов:

Если у рекламодателя есть подозрение на фрод, он может подать площадке заявку на компенсацию. Для этого он готовит доказательную базу: срезы по времени, географии, устройствам, IP-адресам. Площадка рассматривает заявку в течение двух-четырех недель. Итоговая компенсация может покрывать лишь часть заявленной суммы, а методику расчета площадка не раскрывает.

Эксперимент агентства MOAB. В 2023 году агентство проверило, работает ли скликивание конкурентов на практике. Оно заказало атаку на рекламную кампанию в Директе у 11 «ботоводов» и разместило задание на трех биржах для поиска подрядчиков.

Целью атаки стал сайт клиента MOAB. Каждому подрядчику поставили задачу кликать по 10–15 ключевым словам. В течение шести недель специалисты агентства сравнивали число «действительных» и «недействительных» кликов по кампании до и после начала накрутки.

Эксперимент обошелся агентству в 57 300 ₽. Антифрод «Яндекс Директа» выявил большинство ботов, а клики живых исполнителей засчитал частично. При этом MOAB подчеркивает, что с финансовой точки зрения скликивание оказалось нерентабельным.

Платные антифрод-сервисы. Они выявляют IP-адреса, которые считают подозрительными, и добавляют их в отдельный список. Этот список подключают к рекламному кабинету, и площадка больше не показывает рекламу этим адресам.

Минус — ложные срабатывания: сервис может случайно заблокировать настоящих пользователей.

Большинство антифрод-сервисов предлагает пробный период, и за это время можно оценить их работу. Есть и режим «только мониторинг»: в нем видно, что именно сервис считает подозрительным.

Платные сервисы стоит подключать при большом бюджете: если экономия на заблокированных переходах меньше стоимости подписки, сервис себя не окупит. Малому и среднему бизнесу обычно хватает встроенных инструментов рекламного кабинета.