На какие метрики директ-маркетинга стоит смотреть в первую очередь и какие подходы к измерению взять на вооружение.
14 октября 2021
Как понять, что директ-маркетинг недостаточно эффективен. Советы экспертов и практика измерения «Vprok.ru Перекрёстка», Holodilnik.ru, Mybox
Как понять, что директ-маркетинг недостаточно эффективен. Советы экспертов и практика измерения «Vprok.ru Перекрёстка», Holodilnik.ru, Mybox
Не нам учить собственников и топ-менеджеров считать деньги. Но при работе с клиентами (а у нас их 553) мы часто сталкиваемся с двумя проблемами при измерении эффективности директ-маркетинга:
- не зафиксированы метрики;
- используются неправильные метрики.
Пример неправильной метрики: если выбрать open rate в качестве KPI, то дело закончится кликбейтными заголовками, но выручка от канала расти не будет.
Если вы раньше не сталкивались с темой измерения эффективности директ-маркетинга, вам будет полезно прочитать наш разбор. Он состоит из теоретической и практической части. Материал позволит понять, на какие метрики стоит смотреть в первую очередь и какие подходы к измерению взять на вооружение.
Своим опытом поделились:
- директор по маркетингу «Vprok.ru Перекрёсток»,
- заместитель директора по электронной коммерции Holodilnik.ru,
- руководитель отдела целевого маркетинга Mybox,
- управляющий партнер Coffee Analytics,
- руководитель отдела CRM-маркетинга агентства Profitator (Kokoc Group),
- head of CRM агентства Out of Cloud,
- руководитель направления CRM агентства ZV.Digital,
- ведущие аналитик и менеджер Mindbox.
Теория: как измерять эффективность директ-маркетинга
Для большинства компаний показатель эффективности директ-маркетинга — выручка с прямых коммуникаций, ведь именно на заработанные деньги бизнес обычно ориентируется при распределении бюджета по каналам. Однако бывают исключения.
Так, если компания зарабатывает на обучающих курсах, и письмо отправляется после каждого просмотренного видео с предложением изучить другие материалы уже купленного курса, тогда цель — не деньги, а удобство пользователей, их возвращаемость на платформу и так далее. В этом материале мы не будем говорить о случаях, когда директ-маркетинг выполняет сервисную функцию и сосредоточимся на измерении его эффективности с точки зрения денег.
Одна из распространенных ошибок тут — ориентироваться на второстепенные метрики: долю открытий (open rate), кликов (click rate), отписок, прирост базы. Как рассказывает руководитель отдела CRM-маркетинга агентства Profitator (Kokoc Group) Юлия Сомова-Гольцвирт, примерно один из трех новых клиентов считает критерием успеха высокий open rate, который на самом деле не показывает, выполняет ли директ-маркетинг задачу заработать деньги.
Сами по себе опосредованные метрики полезны, но только на тактическом уровне: позволяют в динамике оценить работу email-маркетолога и выявить неэффективные письма. К сожалению, они ничего не говорят о заработанных деньгах.
И даже более верхнеуровневая метрика — доля канала в общей выручке — может вырасти не из-за усилий email-маркетолога, а из-за снижения бюджета в других каналах.
См. также:
Как улучшать маркетинг на основе данных
Ниже расскажем о двух подходах, которые помогают объективно оценить эффективность директ-маркетинга: выручке по модели атрибуции и разнице с контрольной группой. Смотреть на изменения лучше в динамике, чтобы сравнивать метрики год к году.
Выручка по модели атрибуции
Модель атрибуции — это набор правил, присваивающих заслугу в конверсии тому или иному каналу. Позволяет оценить общий доход по каналу и доход с одного отправленного сообщения. Полезно, кстати, смотреть не только на абсолютный показатель выручки, но и на долю канала от общей выручки: вместе эти два показателя дадут более полную картину изменений.
Полученные данные по выручке помогают рассчитать ROI, возврат на инвестиции. Это метрика более высокого уровня, которая позволяет:
- понять, насколько эффективно работает канал — теряет ли компания на нем деньги или зарабатывает;
- сравнить разные каналы между собой и перераспределить бюджет в пользу более эффективных.
Last click — cамая распространенная модель атрибуции. Отдает 100% ценности конверсии последнему по времени каналу взаимодействия. Несмотря на популярность last click, у этой модели, помимо достоинств, есть ряд недостатков.
Плюсы атрибуции по last click
- Стандартный алгоритм расчета. Доступен в Google Analytics и «Яндекс.Метрике».
- Возможность сравнивать каналы между собой. Скорее всего, компания измеряет по last click и другие маркетинговые инструменты, например платную рекламу.
- Возможность оценивать себя относительно рынка: атрибуцию по last click использует большинство компаний.
Минусы атрибуции по last click:
- Часто показатели некорректные. На самом деле на заказ влияет вся цепочка каналов, с которыми клиент взаимодействовал, но записан будет только последний.
- В офлайне last click для директ-маркетинга неприменим: бизнес не может собрать системные данные. Невозможно достоверно узнать, что клиент, который получил письмо, ранее видел рекламу или пост в соцсетях, то есть получается, что покупка каждого получившего рассылку клиента записывается на счет директ-маркетинга.
- Проблема с чистотой данных. Google Analytics, например, не учитывает возвраты и отмены, а для сферы одежды и обуви они обычно значимы. Правда, в отчетности Mindbox этого минуса нет: метрика учитывает возвраты и отмены.
Проблема с чистотой данных не решена во многих компаниях.
По моему опыту, 99% компаний, которые используют Google Analytics или «Яндекс.Метрику», смотрят на факт оформления заказа. Все, что происходит с заказом в дальнейшем, эти системы не учитывают. У Google Analytics есть функция настройки отмен, но это нетривиальная задача, которая требует участия разработчика.
Digital-маркетолог Delivio Ольга Гехт как раз относится к тем специалистам, кому удалось правильно настроить отслеживание заказов после оформления.
Когда я работала в агентстве, мы настраивали частичные возвраты и полные отмены для e-commerce, где изменение заказов оказывает существенное влияние на общий доход. Причины возвратов и отмен могут быть разными, самые популярные: нет на складе, человек передумал, нашел дешевле. Если в отчетах не сходится реальная выручка и выручка по Google Analytics, проблема может быть как раз в возвратах и отменах.
Технически учет возвратов и отмен реализуется так: при смене статуса заказа в CRM-системе в Google Analytics отправляется http-запрос с помощью Measurement Protocol. Если команда уже работает с GA и MP, то настройка занимает один день, плюс время на отладку и тестирование, всего неделя. Требуются два специалиста: разработчик и тестировщик.
Без донастройки доход оказывается сильно завышенным, на 10–15%. Правильные цифры помогают более точно посчитать ROMI (возврат инвестиций в маркетинг) и ROAS (рентабельность инвестиций на рекламу) по каналам и проводить дальнейшую оптимизацию маркетинговых действий.
Дополнительная опция — расчет доли возвратов по источникам трафика, что помогает скорректировать рекламную стратегию и найти причины слишком большой доли возвратов в конкретных каналах.
Одна сложность — к сожалению, отмены и возвраты не передаются в Google Ads, а значит, не учитываются в автоматических стратегиях ставок.
First click. По нашему опыту, более редкая модель атрибуции. Возможно, потому что бизнесу важнее понимать, какой канал привел к покупке, чем знать, как клиент познакомился с компанией. Эта модель отдает 100% ценности конверсии первому по времени каналу взаимодействия. Проблемы аналогичны тем, что мы описали для last click.
Распределенная атрибуция решает часть проблем last и first click, присваивая веса разным каналам в определенной пропорции. Пример: человек сначала увидел контекстную рекламу, затем зашел в социальные сети и увидел рекламу там, на следующий день кликнул по ссылке в письме и купил товар. Вес можно распределить равномерно на все каналы или в разных пропорциях распределить между первым, последним и промежуточными взаимодействиями. Это более честная атрибуция, но проблема в том, что нет правильного ответа, какой вес присваивать каждому каналу.
Еще один вариант распределенной атрибуции — проставлять веса не вручную, а использовать алгоритмы на машинном обучении. Правда, у рынка пока нет значительного опыта в их применении.
Вторая проблема — весь маркетинг должен перейти на новую модель, иначе каналы нельзя будет сравнивать между собой. Сложность в том, что всем нужно договориться, в то время как каждая команда будет перетягивать вес на ту позицию в цепочке взаимодействий, где более значим ее канал.
Наконец, распределенная атрибуция не решает проблему измерения офлайна: как и last click, и first click она показывает картину только в онлайне.
Руководитель направления CRM агентства ZV.Digital Тамара Машницкая и вовсе считает, что для измерения эффективности директ-маркетинга не нужны сложные модели атрибуции — достаточно last click.
Для большинства компаний email — условно бесплатный канал, и доказывать его эффективность с помощью сложных моделей атрибуции на машинном обучении просто нет смысла. Распределенная атрибуция нужна, когда задача канала — привлечь много новых клиентов за счет большого охвата, а результат виден только спустя несколько месяцев.
Что касается SMS и других платных каналов, то они обычно используются для краткосрочных акций — last click позволяет оценить их вклад прямо здесь и сейчас. При работе с каскадными рассылками, когда платные каналы используются, только если не удалось достучаться до клиента с помощью бесплатных, сложные модели атрибуции тоже не нужны: эффективность SMS в каскаде по умолчанию выше просто рассылок по всей базе.
Таким образом, даже распределенная атрибуция и алгоритмы на машинном обучении не позволяют измерять эффективность директ-маркетинга со 100% достоверностью. Повысить точность оценки поможет использование контрольной группы.
Разница с контрольной группой
Суть метода в том, что часть клиентов (обычно 5–10%) исключается из коммуникаций и их поведение сравнивается с основной группой. Если статистически значимая разница есть и она в пользу рассылок, это означает, что рассылки действительно работают. В противном случае можно сделать вывод, что коммуникации никак не влияют на поведение клиентов и они совершили бы покупку и без напоминания.
Контрольная группа — самый честный способ измерения, но минусы у него тоже есть
- Необходим аналитик в штате, чтобы правильно поставить эксперимент, разделить людей на группы и зафиксировать результат по итогам.
- Если у компании сильно скачет средний чек, например она продает и носки, и пальто, нужно очень много данных, чтобы получить статистически достоверный результат.
- Часть клиентов исключается из коммуникации, а это недополученная прибыль.
Влияние частоты покупок на измерение по last click и с контрольной группой
Last click. Если после клика по рассылке клиент успеет совершить несколько покупок за период атрибуции, то все они привяжутся к email-каналу и не будут считаться самостоятельными. Поэтому важно правильно настроить период измерения. Так, если компания продает продукты питания, период атрибуции по last click должен быть коротким, не больше нескольких недель. Противоположный пример — туристические путевки. Тут, наоборот, период измерения растягивается на несколько месяцев, потому что клиент долго принимает решение о покупке.
Контрольная группа. Чем дольше период нахождения в контрольной группе, тем лучше: вы успеете накопить больше данных — измерения будут точнее. Это общее правило вне зависимости от индустрии.
С другой стороны, бизнес заинтересован в получении быстрого результата — важно найти баланс. Хорошая рекомендация: клиент находится в контрольной группе в течение среднего для индустрии времени покупки. Если меньше — есть вероятность, что он успеет выйти из контрольной группы и начать получать рассылки до окончания жизненного цикла. То есть прямые коммуникации все-таки повлияют на принятие решения о покупке и выводы по итогам теста придется делать с учетом этого эффекта.
Соответственно, у компаний с высокой частотой покупок (несколько раз в месяц) результаты накапливаются быстрее — есть возможность сократить пребывание клиентов в контрольной группе.
Что дальше: доход на одно письмо, средний доход от пользователя за период, общая прибыль от клиента
Измерение выручки — только начало пути. Если компания научилась правильно это делать, перед ней открывается множество возможностей для измерения эффективности директ-маркетинга на разном уровне. Ниже приведем несколько примеров.
Доход с одного отправленного сообщения. По словам Юлии Сомовой-Гольцвирт из агентства Profitator, доход с одного отправленного сообщения важен для понимания качества коммуникаций: насколько точно сегментирована база и выбран подходящий посыл.
Идея в том, чтобы отправлять как можно меньше коммуникаций и при этом зарабатывать как можно больше денег. Однако есть нюанс: нужно смотреть на усредненный показатель, а не доходность каждой рассылки. Например, у контентных рассылок может вовсе не быть конверсий в заказ, но они позволяют поддерживать связь с клиентами.
Средний доход от пользователя за период (ARPU). Довольно простая и дешевая в измерении метрика. Как рассказывает head of CRM агентства Out of Cloud Мария Артемьева, для большинства клиентов самый удобный показатель — ARPU на активного подписчика в год. Он считается как количество заказов, атрибутированное к директ-каналам и умноженное на средний чек.
Вклад в ценность клиента. LTV (customer lifetime value) — это общая прибыль, которую компания получит от клиента на всем протяжении взаимодействия с ним. Оценка эффективности директ-маркетинга на основе его вклада в LTV клиента — полезная верхнеуровневая метрика, но рассчитать ее быстро не получится.
Чтобы оценить вклад директ-маркетинга в LTV клиента, для начала нужно оцифровать данные по всем источникам трафика и с помощью модели машинного обучения определить факторы максимального влияния, в том числе маркетинг. Это задача, требующая привлечения либо специалистов по data science, либо аналитического агентства.
В результате компания получает прогноз LTV клиента в декомпозиции по всем каналам с уровнем их вклада, то есть веса, включая, конечно, директ-коммуникации. Это снова делает модель на машинном обучении на основе прошлых данных.
Задача выглядит нетривиальной, но, по нашим опросам, уже более 25% крупного бизнеса используют именно машинное обучение, открывающее такие возможности.
Практика: как «Vprok.ru Перекрёсток», Holodilnik.ru и Mybox измеряют эффективность директ-маркетинга
«Vprok.ru Перекрёсток»: доля CRM в выручке и инкрементальный доход (контрольная группа)
У нас два основных KPI. Первый — доля CRM в выручке. Эта метрика показывает значимость канала и объем заказов, который через него приходит. Это комплексный показатель: так мы отслеживаем и долю выручки по подписчикам, и эффективность коммуникаций, и сэкономленные деньги за счет платных каналов (в частности, на перформанс), которыми мы в отсутствие CRM вынуждены были бы привлекать клиентов.
Второй KPI — это инкрементальный доход, когда мы сравниваем выручку от клиентов, не получающих CRM-коммуникации, с выручкой от тех, кто их получает. Это так называемся глобальная контрольная группа, она составляет до 5%.
Важный момент: закреплять в KPI команды нужно только те показатели, которые влияют на P&L компании. Иначе условный open rate будет расти за счет кликбейтных заголовков, но на выручку от CRM это никак не повлияет.
KPI нужны «Vprok.ru Перекрёстку» не просто для оценки работы сотрудников, но и для решений об изменении тактики. Так, в 2020 году доля CRM в выручке оставалась стабильной — не росла. Чтобы переломить ситуацию, увеличили частоту коммуникаций и сделали сообщения еще более персонализированными.
Помимо двух основных KPI, во «Vprok.ru Перекрёстке» также считают ROI для платных CRM-каналов. В первую очередь это SMS, где при расчете учитывается стоимость сообщения и затраты на промокод. Если ROI оказывается меньше ожидаемого, команда CRM-маркетинга работает над его повышением: пытается уместить текст SMS в одно сообщение (SMS тарифицируется по знакам) или меняет размер промокода. Причем речь может идти как об уменьшении размера скидки, так и об увеличении — для повышения привлекательности.
Holodilnik.ru: выручка по атрибуции last click и промокоды
Мы оцениваем эффективность директ-маркетинга на двух уровнях: с помощью UTM-меток по атрибуции last click и промокодов. Используем очень простые промокоды, которые легко запомнить, например «HOLOD10» для скидки в 10%. Этот способ показывает более правдивый результат, чем last click: пользователи не всегда переходят в приложение через push-уведомления, плюс один клиент может использовать несколько устройств, и данные не всегда «склеиваются» корректно.
Распределять затраты по каналам стараемся пропорционально их отдаче. Правда, у email есть особенность: на него нужно тратить не много, а эффективно. Нет уверенности, что увеличение количества отправок принесет больше денег, а не отписок.
Чтобы повышать эффективность emal-канала, мы «проваливаемся» вглубь сегментов. Например, есть люди, которые за последний месяц интересовались крупной бытовой техникой, ничего не купили и продолжают открывать письма. С таким сегментом мы прицельно работаем, повышая его конверсию в заказ.
Mybox: конверсия, выручка по атрибуции last click и доля в общей выручке
Когда в Mybox только автоматизировали директ-маркетинг, то ориентировались на долю отписок. Важно было понять, как клиенты отреагируют на увеличение количества писем. Сейчас на долю отписок уже не смотрят — используют более верхнеуровневые метрики.
До недавнего времени мы ориентировались только на два основных показателя: конверсию и выручку по атрибуции last click. С июля к ним добавился третий — доля директ-маркетинга в общей выручке. Мы достаточно разогнались, чтобы выделить директ в отдельную строку.
Конверсию и выручку смотрим и в разрезе канала, и в разрезе типа писем (акционные или триггерные), и в разрезе каждого письма по сегментам. В акционных рассылках нам особенно важно опускаться до уровня каждого письма: это позволяет понять, насколько предложение интересно тому или иному сегменту, стоит ли его повторять или транслировать другим похожим сегментам.
Памятка: 2 способа измерить эффективность директ-маркетинга
Два основных подхода:
1. Выручка по модели атрибуции.
Модель атрибуции — это набор правил, присваивающих заслугу в конверсии тому или иному каналу. Самая распространенная модель — по последнему касанию (last click), но возможна также распределенная. Она сложнее из-за того, что нужно определить вклад каждого этапа взаимодействия, зато дает более честные результаты.
Модель атрибуции — это набор правил, присваивающих заслугу в конверсии тому или иному каналу. Самая распространенная модель — по последнему касанию (last click), но возможна также распределенная. Она сложнее из-за того, что нужно определить вклад каждого этапа взаимодействия, зато дает более честные результаты.
2. Разница с контрольной группой.
Предполагает исключение части клиентов из коммуникаций. Если статистически значимая разница между основной и контрольной группами есть и она в пользу рассылок, значит, рассылки действительно работают.
Предполагает исключение части клиентов из коммуникаций. Если статистически значимая разница между основной и контрольной группами есть и она в пользу рассылок, значит, рассылки действительно работают.
