Бот-трафик (Invalid Traffic): что это и как его обнаружить

Боты — часть трафика любого сайта.

Хорошие боты. К ним относятся роботы поисковых систем: Googlebot, Яндекс-бот, Bingbot. Их назначение — сканировать сайты для формирования поисковой выдачи. В последние несколько лет к ним добавились еще и краулеры нейросетей. Они сканируют сайты, чтобы использовать полученную информацию в ответах ИИ. У ChatGPT это OAI-SearchBot, у Perplexity — PerplexityBot, у Claude —
Claude-SearchBot.

К той же категории относятся боты соцсетей и мессенджеров. Например, когда пользователь в сообщении отправляет ссылку на сайт, робот площадки переходит по ней, чтобы показывать получателю превью страницы. Оно включает заголовок, изображение и краткое описание.

Распознавание хороших ботов. У каждого бота свой идентификатор (user-agent), который он сообщает при заходе на сайт, чтобы его можно было легко узнать.

Активность хороших ботов — это так называемая фоновая роботность. Бороться с ней не нужно, но важно отделять ее от остального трафика. Например, при расчете конверсии использовать фильтр в «Яндекс Метрике». Кроме того, антифрод «Яндекс Директа» распознает таких ботов, поэтому их клики не попадают в биллинг.

Плохие боты. В рекламе они чаще всего кликают по объявлениям и накручивают посещаемость сайта. Такой трафик становится источником ложных кликов и показов, которые списывают бюджет, но не приносят лидов. Реже таких ботов используют для других задач, не связанных с рекламой, например, для парсинга цен конкурентов или проверки, активна ли еще краденая банковская карта.

Кликфрод. Еще один вид мошенничества — это скликивание рекламы живыми людьми. Задачи на скликивание размещают на биржах заданий. Выявить такой трафик сложно из-за того, что он выглядит как переходы из браузера обычного пользователя.

С 2022 года бизнесов на рынке стало меньше. При этом бюджеты, которые заливают оставшиеся рекламодатели, продолжают расти, что искусственно разгоняет спрос и цену клика. Если в этом трафике есть доля фрода, за него в итоге платит рекламодатель.

Отдельная история — устаревшая техника скликивания конкурентами. Несколько лет назад конкуренты нередко вбивали в поиск самые дорогие высокочастотные запросы в своей нише и кликали по объявлениям в рабочее время, чтобы выбить небольшой локальный бюджет за один день. Признаки такого паттерна — концентрация кликов в рабочие часы, узкая география, отказы около 100% и повторяющиеся подсети. Эта техника массово применялась примерно до 2021 года. Сейчас встречается заметно реже, хотя не исключено, что в отдельных узких нишах она все еще жива.

Недействительный трафик — одна из причин, почему рекламный канал выглядит неэффективным в отчетах. Например, в «Яндекс Метрике» у канала много кликов, высокий процент отказов и нет заявок.

1. Сформировать отчеты «Роботы» и «Вебвизор» в «Яндекс Метрике». Базовый источник данных на этот счет — отчет «Роботы» в «Яндекс Метрике». Он показывает долю обращений от автоматических систем и их названия. Его стоит проверять, если эта доля резко выросла относительно обычного уровня. Например, роботный трафик в обычных условиях держится на уровне 5–10%, а потом резко увеличивается в несколько раз.

Отдельно можно смотреть «Вебвизор» — запись сессий, которая помогает визуально отличить реального пользователя от бота или человека, выполняющего задание за деньги. Сложнее всего распознать переходы, которые маскируются под обычных посетителей сайта. Выявить это помогает анализ поведения.

Обычный человек, заходя на сайт, задерживается на интересной ему информации, одни страницы быстро пролистывает, к другим возвращается. SIVT-трафик ведет себя иначе: после захода на сайт через одно и то же время кликает по кнопке, не дочитывает страницу, хотя нужная информация находится внизу экрана. Если десяток таких сессий выглядит как «под копирку» — это повод присмотреться к источнику переходов.

2. Искать поведенческие аномалии и паттерны. Полезный прием: сегментировать трафик по времени суток. Если накрутка организована как оплачиваемые задания, в статистике будут заметны всплески в определенные периоды. Например, когда на бирже публикуется новое задание.

Стоит также смотреть на аномалии по географии. Это может быть концентрация переходов из определенного региона, показатель отказов, близкий к 100%, и полное отсутствие заявок. Все это классические признаки ботов или скликивания, а не просто «холодного» трафика.

Распространенная ошибка — списывать на фрод низкую конверсию сайта. Зачастую дело не во фроде, а в технической проблеме. Причиной может быть слетевшая цель в аналитике, сломанная форма заявки, неработающая мобильная версия или посадочная страница с низкой конверсией. Поэтому прежде чем разбираться с площадкой, стоит проверить свою сторону: настройку аналитики и посадочную страницу. И только после этого делать выводы о доле недействительного трафика.

У крупных площадок есть встроенные антифрод-системы. Например, антифрод «Яндекс Директа» работает в несколько этапов:

На практике это выглядит так. Если есть подозрение на фрод, рекламодатель готовит доказательную базу: срезы по времени, гео, устройствам, IP-адресам. Площадка рассматривает заявку в течение двух-четырех недель. Итоговая компенсация может покрывать лишь часть заявленной суммы, а сама методология оценки площадкой не раскрывается.

Эксперимент агентства МОАВ. В 2023 году оно проверило, работает ли скликивание конкурентов на практике. Агентство заказало атаку на рекламную кампанию в Директе у 11 «ботоводов» и разместило задание на трех биржах для поиска подрядчиков. Целью атаки стал сайт клиента MOAB. Каждому подрядчику поставили задачу кликать по 10–15 ключевым словам. В течение шести недель специалисты агентства сравнивали число «действительных» и «недействительных» кликов по кампании до и после начала накрутки.

Эксперимент обошелся агентству в 57 300 ₽. Антифрод «Яндекса» выявил большинство ботов. Клики, сделанные людьми, были засчитаны частично. Однако MOAB отдельно подчеркивает, что с финансовой точки зрения скликивание оказалось нерентабельным.

Платные антифрод-сервисы.  Они выявляют IP-адреса, которые считают подозрительными, и добавляют их в отдельный список. Этот список подключают к рекламному кабинету, и этим IP-адресам реклама больше не показывается.

Минусы — возможные ложные срабатывания, когда фильтр случайно блокирует настоящих пользователей.

Большинство антифрод-сервисов предлагает пробный период, чтобы можно было оценить их работу. Также есть режим «только мониторинг», позволяющий выяснить, что именно сервис считает подозрительным.

Важно понимать, что подключать сторонние решения имеет смысл при большом бюджете. Если экономия от заблокированных мусорных переходов меньше стоимости подписки, то сервис себя не окупает. В целом для малого и среднего бизнеса обычно хватает встроенных инструментов рекламного кабинета.