Учебные материалы
14 октября 2021

Как понять, что директ-маркетинг недостаточно эффективен. Советы экспертов и практика измерения «Vprok.ru Перекрёстка», Holodilnik.ru, Mybox

Не нам учить собственников и топ-менеджеров считать деньги. Но при работе с клиентами (а у нас их 553) мы часто сталкиваемся с двумя проблемами при измерении эффективности директ-маркетинга:

  • не зафиксированы метрики;
  • используются неправильные метрики.

Пример неправильной метрики: если выбрать open rate в качестве KPI, то дело закончится кликбейтными заголовками, но выручка от канала расти не будет.

Если вы раньше не сталкивались с темой измерения эффективности директ-маркетинга, вам будет полезно прочитать наш разбор. Он состоит из теоретической и практической части. Материал позволит понять, на какие метрики стоит смотреть в первую очередь и какие подходы к измерению взять на вооружение.

Своим опытом поделились:

  • директор по маркетингу «Vprok.ru Перекрёсток»,
  • заместитель директора по электронной коммерции Holodilnik.ru,
  • руководитель отдела целевого маркетинга Mybox,
  • управляющий партнер Coffee Analytics,
  • руководитель отдела CRM-маркетинга агентства Profitator (Kokoc Group),
  • head of CRM агентства Out of Cloud,
  • руководитель направления CRM агентства ZV.Digital,
  • ведущие аналитик и менеджер Mindbox.

Теория: как измерять эффективность директ-маркетинга

Для большинства компаний показатель эффективности директ-маркетинга — выручка с прямых коммуникаций, ведь именно на заработанные деньги бизнес обычно ориентируется при распределении бюджета по каналам. Однако бывают исключения.

Так, если компания зарабатывает на обучающих курсах, и письмо отправляется после каждого просмотренного видео с предложением изучить другие материалы уже купленного курса, тогда цель — не деньги, а удобство пользователей, их возвращаемость на платформу и так далее. В этом материале мы не будем говорить о случаях, когда директ-маркетинг выполняет сервисную функцию и сосредоточимся на измерении его эффективности с точки зрения денег.

Одна из распространенных ошибок тут — ориентироваться на второстепенные метрики: долю открытий (open rate), кликов (click rate), отписок, прирост базы. Как рассказывает руководитель отдела CRM-маркетинга агентства Profitator (Kokoc Group) Юлия Сомова-Гольцвирт, примерно один из трех новых клиентов считает критерием успеха высокий open rate, который на самом деле не показывает, выполняет ли директ-маркетинг задачу заработать деньги.

Сами по себе опосредованные метрики полезны, но только на тактическом уровне: позволяют в динамике оценить работу email-маркетолога и выявить неэффективные письма. К сожалению, они ничего не говорят о заработанных деньгах.

И даже более верхнеуровневая метрика — доля канала в общей выручке — может вырасти не из-за усилий email-маркетолога, а из-за снижения бюджета в других каналах.

Ниже расскажем о двух подходах, которые помогают объективно оценить эффективность директ-маркетинга: выручке по модели атрибуции и разнице с контрольной группой. Смотреть на изменения лучше в динамике, чтобы сравнивать метрики год к году.

Выручка по модели атрибуции

Модель атрибуции — это набор правил, присваивающих заслугу в конверсии тому или иному каналу. Позволяет оценить общий доход по каналу и доход с одного отправленного сообщения. Полезно, кстати, смотреть не только на абсолютный показатель выручки, но и на долю канала от общей выручки: вместе эти два показателя дадут более полную картину изменений.

Полученные данные по выручке помогают рассчитать ROI, возврат на инвестиции. Это метрика более высокого уровня, которая позволяет:

  • понять, насколько эффективно работает канал — теряет ли компания на нем деньги или зарабатывает;
  • сравнить разные каналы между собой и перераспределить бюджет в пользу более эффективных.

Last click — cамая распространенная модель атрибуции. Отдает 100% ценности конверсии последнему по времени каналу взаимодействия. Несмотря на популярность last click, у этой модели, помимо достоинств, есть ряд недостатков.

мнение

Плюсы атрибуции по last click:

  • Стандартный алгоритм расчета. Доступен в Google Analytics и «Яндекс.Метрике».
  • Возможность сравнивать каналы между собой. Скорее всего, компания измеряет по last click и другие маркетинговые инструменты, например платную рекламу.
  • Возможность оценивать себя относительно рынка: атрибуцию по last click использует большинство компаний.

Минусы атрибуции по last click:

  • Часто показатели некорректные. На самом деле на заказ влияет вся цепочка каналов, с которыми клиент взаимодействовал, но записан будет только последний.
  • В офлайне last click для директ-маркетинга неприменим: бизнес не может собрать системные данные. Невозможно достоверно узнать, что клиент, который получил письмо, ранее видел рекламу или пост в соцсетях, то есть получается, что покупка каждого получившего рассылку клиента записывается на счет директ-маркетинга.
  • Проблема с чистотой данных. Google Analytics, например, не учитывает возвраты и отмены, а для сферы одежды и обуви они обычно значимы. Правда, в отчетности Mindbox этого минуса нет: метрика учитывает возвраты и отмены.
Юлия Туркина

Юлия Туркина, ведущий аналитик Mindbox

Проблема с чистотой данных не решена во многих компаниях.

мнение

По моему опыту, 99% компаний, которые используют Google Analytics или «Яндекс.Метрику», смотрят на факт оформления заказа. Все, что происходит с заказом в дальнейшем, эти системы не учитывают. У Google Analytics есть функция настройки отмен, но это нетривиальная задача, которая требует участия разработчика.

Евгений Дьяченко

Евгений Дьяченко, ведущий менеджер Mindbox

Digital-маркетолог Delivio Ольга Гехт как раз относится к тем специалистам, кому удалось правильно настроить отслеживание заказов после оформления.

мнение клиента

Когда я работала в агентстве, мы настраивали частичные возвраты и полные отмены для e-commerce, где изменение заказов оказывает существенное влияние на общий доход. Причины возвратов и отмен могут быть разными, самые популярные: нет на складе, человек передумал, нашел дешевле. Если в отчетах не сходится реальная выручка и выручка по Google Analytics, проблема может быть как раз в возвратах и отменах.

Технически учет возвратов и отмен реализуется так: при смене статуса заказа в CRM-системе в Google Analytics отправляется http-запрос с помощью Measurement Protocol. Если команда уже работает с GA и MP, то настройка занимает один день, плюс время на отладку и тестирование, всего неделя. Требуются два специалиста: разработчик и тестировщик.

Без донастройки доход оказывается сильно завышенным, на 10–15%. Правильные цифры помогают более точно посчитать ROMI (возврат инвестиций в маркетинг) и ROAS (рентабельность инвестиций на рекламу) по каналам и проводить дальнейшую оптимизацию маркетинговых действий.

Дополнительная опция — расчет доли возвратов по источникам трафика, что помогает скорректировать рекламную стратегию и найти причины слишком большой доли возвратов в конкретных каналах.

Одна сложность — к сожалению, отмены и возвраты не передаются в Google Ads, а значит, не учитываются в автоматических стратегиях ставок.

Ольга Гехт

Ольга Гехт, digital-маркетолог Delivio

First click. По нашему опыту, более редкая модель атрибуции. Возможно, потому что бизнесу важнее понимать, какой канал привел к покупке, чем знать, как клиент познакомился с компанией. Эта модель отдает 100% ценности конверсии первому по времени каналу взаимодействия. Проблемы аналогичны тем, что мы описали для last click.

Распределенная атрибуция решает часть проблем last и first click, присваивая веса разным каналам в определенной пропорции. Пример: человек сначала увидел контекстную рекламу, затем зашел в социальные сети и увидел рекламу там, на следующий день кликнул по ссылке в письме и купил товар. Вес можно распределить равномерно на все каналы или в разных пропорциях распределить между первым, последним и промежуточными взаимодействиями. Это более честная атрибуция, но проблема в том, что нет правильного ответа, какой вес присваивать каждому каналу.

Еще один вариант распределенной атрибуции — проставлять веса не вручную, а использовать алгоритмы на машинном обучении. Правда, у рынка пока нет значительного опыта в их применении.

Вторая проблема — весь маркетинг должен перейти на новую модель, иначе каналы нельзя будет сравнивать между собой. Сложность в том, что всем нужно договориться, в то время как каждая команда будет перетягивать вес на ту позицию в цепочке взаимодействий, где более значим ее канал.

Наконец, распределенная атрибуция не решает проблему измерения офлайна: как и last click, и first click она показывает картину только в онлайне.

Руководитель направления CRM агентства ZV.Digital Тамара Машницкая и вовсе считает, что для измерения эффективности директ-маркетинга не нужны сложные модели атрибуции — достаточно last click.

мнение

Для большинства компаний email — условно бесплатный канал, и доказывать его эффективность с помощью сложных моделей атрибуции на машинном обучении просто нет смысла. Распределенная атрибуция нужна, когда задача канала — привлечь много новых клиентов за счет большого охвата, а результат виден только спустя несколько месяцев.

Что касается SMS и других платных каналов, то они обычно используются для краткосрочных акций — last click позволяет оценить их вклад прямо здесь и сейчас. При работе с каскадными рассылками, когда платные каналы используются, только если не удалось достучаться до клиента с помощью бесплатных, сложные модели атрибуции тоже не нужны: эффективность SMS в каскаде по умолчанию выше просто рассылок по всей базе.

Тамара Машницкая

Тамара Машницкая, руководитель направления CRM агентства ZV.Digital

Таким образом, даже распределенная атрибуция и алгоритмы на машинном обучении не позволяют измерять эффективность директ-маркетинга со 100% достоверностью. Повысить точность оценки поможет использование контрольной группы.

Разница с контрольной группой

Суть метода в том, что часть клиентов (обычно 5–10%) исключается из коммуникаций и их поведение сравнивается с основной группой. Если статистически значимая разница есть и она в пользу рассылок, это означает, что рассылки действительно работают. В противном случае можно сделать вывод, что коммуникации никак не влияют на поведение клиентов и они совершили бы покупку и без напоминания.

мнение

Контрольная группа — самый честный способ измерения, но минусы у него тоже есть:

  1. Необходим аналитик в штате, чтобы правильно поставить эксперимент, разделить людей на группы и зафиксировать результат по итогам.
  2. Если у компании сильно скачет средний чек, например она продает и носки, и пальто, нужно очень много данных, чтобы получить статистически достоверный результат.
  3. Часть клиентов исключается из коммуникации, а это недополученная прибыль.
Юлия Туркина

Юлия Туркина, ведущий аналитик Mindbox

Влияние частоты покупок на измерение по last click и с контрольной группой

Last click. Если после клика по рассылке клиент успеет совершить несколько покупок за период атрибуции, то все они привяжутся к email-каналу и не будут считаться самостоятельными. Поэтому важно правильно настроить период измерения. Так, если компания продает продукты питания, период атрибуции по last click должен быть коротким, не больше нескольких недель. Противоположный пример — туристические путевки. Тут, наоборот, период измерения растягивается на несколько месяцев, потому что клиент долго принимает решение о покупке.

Контрольная группа. Чем дольше период нахождения в контрольной группе, тем лучше: вы успеете накопить больше данных — измерения будут точнее. Это общее правило вне зависимости от индустрии.

С другой стороны, бизнес заинтересован в получении быстрого результата — важно найти баланс. Хорошая рекомендация: клиент находится в контрольной группе в течение среднего для индустрии времени покупки. Если меньше — есть вероятность, что он успеет выйти из контрольной группы и начать получать рассылки до окончания жизненного цикла. То есть прямые коммуникации все-таки повлияют на принятие решения о покупке и выводы по итогам теста придется делать с учетом этого эффекта.

Соответственно, у компаний с высокой частотой покупок (несколько раз в месяц) результаты накапливаются быстрее — есть возможность сократить пребывание клиентов в контрольной группе.

Что дальше: доход на одно письмо, средний доход от пользователя за период, общая прибыль от клиента

Измерение выручки — только начало пути. Если компания научилась правильно это делать, перед ней открывается множество возможностей для измерения эффективности директ-маркетинга на разном уровне. Ниже приведем несколько примеров.

Доход с одного отправленного сообщения. По словам Юлии Сомовой-Гольцвирт из агентства Profitator, доход с одного отправленного сообщения важен для понимания качества коммуникаций: насколько точно сегментирована база и выбран подходящий посыл.

Идея в том, чтобы отправлять как можно меньше коммуникаций и при этом зарабатывать как можно больше денег. Однако есть нюанс: нужно смотреть на усредненный показатель, а не доходность каждой рассылки. Например, у контентных рассылок может вовсе не быть конверсий в заказ, но они позволяют поддерживать связь с клиентами.

Средний доход от пользователя за период (ARPU). Довольно простая и дешевая в измерении метрика. Как рассказывает head of CRM агентства Out of Cloud Мария Артемьева, для большинства клиентов самый удобный показатель — ARPU на активного подписчика в год. Он считается как количество заказов, атрибутированное к директ-каналам и умноженное на средний чек.

Вклад в ценность клиента. LTV (customer lifetime value) — это общая прибыль, которую компания получит от клиента на всем протяжении взаимодействия с ним. Оценка эффективности директ-маркетинга на основе его вклада в LTV клиента — полезная верхнеуровневая метрика, но рассчитать ее быстро не получится.

мнение

Чтобы оценить вклад директ-маркетинга в LTV клиента, для начала нужно оцифровать данные по всем источникам трафика и с помощью модели машинного обучения определить факторы максимального влияния, в том числе маркетинг. Это задача, требующая привлечения либо специалистов по data science, либо аналитического агентства.

В результате компания получает прогноз LTV клиента в декомпозиции по всем каналам с уровнем их вклада, то есть веса, включая, конечно, директ-коммуникации. Это снова делает модель на машинном обучении на основе прошлых данных.

Задача выглядит нетривиальной, но, по нашим опросам, уже более 25% крупного бизнеса используют именно машинное обучение, открывающее такие возможности.

Андрей Муратов

Андрей Муратов, управляющий партнер Coffee Analytics

Практика: как «Vprok.ru Перекрёсток», Holodilnik.ru и Mybox измеряют эффективность директ-маркетинга

«Vprok.ru Перекрёсток»: доля CRM в выручке и инкрементальный доход (контрольная группа)

мнение клиента

У нас два основных KPI. Первый — доля CRM в выручке. Эта метрика показывает значимость канала и объем заказов, который через него приходит. Это комплексный показатель: так мы отслеживаем и долю выручки по подписчикам, и эффективность коммуникаций, и сэкономленные деньги за счет платных каналов (в частности, на перформанс), которыми мы в отсутствие CRM вынуждены были бы привлекать клиентов.

Второй KPI — это инкрементальный доход, когда мы сравниваем выручку от клиентов, не получающих CRM-коммуникации, с выручкой от тех, кто их получает. Это так называемся глобальная контрольная группа, она составляет до 5%.

Важный момент: закреплять в KPI команды нужно только те показатели, которые влияют на P&L компании. Иначе условный open rate будет расти за счет кликбейтных заголовков, но на выручку от CRM это никак не повлияет.

Денис Марфутин

Денис Марфутин, директор по маркетингу «Vprok.ru Перекрёсток»

KPI нужны «Vprok.ru Перекрёстку» не просто для оценки работы сотрудников, но и для решений об изменении тактики. Так, в 2020 году доля CRM в выручке оставалась стабильной — не росла. Чтобы переломить ситуацию, увеличили частоту коммуникаций и сделали сообщения еще более персонализированными.

Помимо двух основных KPI, во «Vprok.ru Перекрёстке» также считают ROI для платных CRM-каналов. В первую очередь это SMS, где при расчете учитывается стоимость сообщения и затраты на промокод. Если ROI оказывается меньше ожидаемого, команда CRM-маркетинга работает над его повышением: пытается уместить текст SMS в одно сообщение (SMS тарифицируется по знакам) или меняет размер промокода. Причем речь может идти как об уменьшении размера скидки, так и об увеличении — для повышения привлекательности.

Holodilnik.ru: выручка по атрибуции last click и промокоды

мнение клиента

Мы оцениваем эффективность директ-маркетинга на двух уровнях: с помощью UTM-меток по атрибуции last click и промокодов. Используем очень простые промокоды, которые легко запомнить, например «HOLOD10» для скидки в 10%. Этот способ показывает более правдивый результат, чем last click: пользователи не всегда переходят в приложение через push-уведомления, плюс один клиент может использовать несколько устройств, и данные не всегда «склеиваются» корректно.

Распределять затраты по каналам стараемся пропорционально их отдаче. Правда, у email есть особенность: на него нужно тратить не много, а эффективно. Нет уверенности, что увеличение количества отправок принесет больше денег, а не отписок.

Чтобы повышать эффективность emal-канала, мы «проваливаемся» вглубь сегментов. Например, есть люди, которые за последний месяц интересовались крупной бытовой техникой, ничего не купили и продолжают открывать письма. С таким сегментом мы прицельно работаем, повышая его конверсию в заказ.

Диана Смолякова

Диана Смолякова, заместитель директора по электронной коммерции Holodilnik.ru

Mybox: конверсия, выручка по атрибуции last click и доля в общей выручке

Когда в Mybox только автоматизировали директ-маркетинг, то ориентировались на долю отписок. Важно было понять, как клиенты отреагируют на увеличение количества писем. Сейчас на долю отписок уже не смотрят — используют более верхнеуровневые метрики.

мнение

До недавнего времени мы ориентировались только на два основных показателя: конверсию и выручку по атрибуции last click. С июля к ним добавился третий — доля директ-маркетинга в общей выручке. Мы достаточно разогнались, чтобы выделить директ в отдельную строку.

Конверсию и выручку смотрим и в разрезе канала, и в разрезе типа писем (акционные или триггерные), и в разрезе каждого письма по сегментам. В акционных рассылках нам особенно важно опускаться до уровня каждого письма: это позволяет понять, насколько предложение интересно тому или иному сегменту, стоит ли его повторять или транслировать другим похожим сегментам.

Лилия Ситникова

Лилия Ситникова, руководитель отдела целевого маркетинга Mybox

Памятка: 2 способа измерить эффективность директ-маркетинга

Два основных подхода:

1. Выручка по модели атрибуции.
Модель атрибуции — это набор правил, присваивающих заслугу в конверсии тому или иному каналу. Самая распространенная модель — по последнему касанию (last click), но возможна также распределенная. Она сложнее из-за того, что нужно определить вклад каждого этапа взаимодействия, зато дает более честные результаты.

2. Разница с контрольной группой.
Предполагает исключение части клиентов из коммуникаций. Если статистически значимая разница между основной и контрольной группами есть и она в пользу рассылок, значит, рассылки действительно работают.