Контрольная группа: как измерять эффективность маркетинга

Контрольная группа: как измерять эффективность маркетинга

Контрольная группа в маркетинге — это способ измерения эффективности рекламных активностей. Например, SMS-рассылки или персональной акции. В статье расскажем, как правильно провести тестирование и оценить эффективность маркетинга с помощью контрольной группы с примерами реальных тестов от таких компаний, как «Ароматный мир» и Mario Berlucci.

Содержание

Что такое контрольная группа?

Контрольная группа — это группа клиентов, которая не участвует в маркетинговых коммуникациях. Относительно этой группы измеряется реальный эффект коммуникаций: вполне возможно, что если мы не будем слать рассылки, клиент все равно совершит целевое действие. Изначально контрольная группа использовалась в научных исследованиях, а в какой‑то момент стала применяться и в маркетинге.
Самый частый случай — измерение количества покупок и выручки основной группы относительно контрольной:
Что такое контрольная группа
Показатели, относительно которых ведется измерение, могут быть разными:
  • Количество покупок
  • Средний чек
  • Заявка
  • Переход на сайт
  • Просмотр фильма
  • Подписка на сервис и т. д.

Почему метод атрибуции last click не всегда отражает действительность и как помогает контрольная группа

Самый популярный способ оценки эффективности маркетинга в онлайне — метод атрибуции last click, то есть когда продажа атрибутируется к последнему каналу, с которым взаимодействовал клиент. Этот метод прост в использовании, но у него есть недостаток, который лучше пояснить на примере.
Представим себе сценарий: клиент регистрируется на сайте, мы отправляем ему welcome‑цепочку, клиент кликает в письме и позже совершает покупку. Системы аналитики покажут нам, что клиент совершил атрибутированную к welcome‑письму покупку — и присвоит заслугу за эту выручку email‑каналу.
Однако вполне вероятно, что клиент, который самостоятельно прошел регистрацию на сайте, итак собирался совершить покупку. Какую роль в его решении играет welcome‑письмо? Это можно выяснить, если провести тест с контрольной группой. Часть клиентов получила бы письмо, а другая — нет. Если фон продаж в этих группах отличается, значит, welcome‑письмо действительно влияет на решение о покупке.

Глобальная и локальная контрольная группа

Есть два подхода в тестировании маркетинговых коммуникаций с помощью контрольной группы: глобальное и локальное измерение.
Глобальная контрольная группа не получает никаких коммуникаций вообще, кроме транзакционных сообщений. Ни писем, ни SMS, ни пушей — в самом качественном тестировании эта группа также исключается из показов контекстной рекламы. Тестирование с глобальной контрольной группой поможет понять, насколько в целом маркетинг помогает клиентам принимать решение о покупке. Так измерили эффективность маркетологи обувного бренда Mario Berlucci.
Пример графика средней выручки с клиента (ARPU) в сравнении основной и контрольной групп
Локальная контрольная группа не получает только определенные рассылки — так мы можем выяснить влияние конкретной коммуникации на совершение целевого действия.

Пример двух экспериментов с контрольной группой

Например, у компании «Ароматный мир» была гипотеза: дополнительное письмо с напоминанием о заказе, который клиент сделал в интернет‑магазине, но еще не выкупил, поможет увеличить процент выкупленных заказов. Для проверки гипотезы провели тестирование с локальной контрольной группой — но гипотеза не подтвердилась. Получившие письмо клиенты не стали выкупать заказы чаще, чем участники контрольной группы.
Пример механики, которую маркетологи «Ароматного мира» тестировали с помощью локальной контрольной группы
Пример механики, которую маркетологи «Ароматного мира» тестировали с помощью локальной контрольной группы
Потом маркетологи решили проверить ту же гипотезу, но в канале SMS. Гипотеза сработала — дополнительные уведомления по SMS увеличили процент выкупленных заказов на 3%.
«Ароматный мир» тестировал сообщение с контрольной группой и зафиксировал значимую разницу в проценте выкупов
«Ароматный мир» тестировал сообщение с контрольной группой и зафиксировал значимую разницу в проценте выкупов
Можно ли в процессы маркетинга внедрять сразу глобальную и локальную контрольную группу? Да, можно. В этом случае часть клиентов не будет участвовать в коммуникациях вообще, а из оставшейся базы вы сможете выделять локальные контрольные группы для тестирования отдельных механик.
Например, на рисунке маркетологи тестируют коммуникации с помощью глобальной контрольной группы и дополнительно проверяют эффективность отдельных писем

Как измерить персональные акции с помощью контрольной группы?

С помощью контрольной группы можно измерить не только рассылки, но и персональные акции в онлайне и офлайне. Так можно убедиться, что персональная скидка или промокод помогают клиенту принять решение о покупке и увеличивают выручку.
Механика проведения теста очень похожая: выделяем сегмент клиентов, которым мы хотим дать персональную скидку, — например, это клиенты, которые давно не совершали покупку. Среди этих клиентов мы выделяем часть — и исключаем ее из выдачи промокодов и рассылки про этот промокод.
После того как рассылка с промокодами прошла, наблюдаем за экспериментом и измеряем разницу в покупках, среднем чеке между клиентами, получившими персональное предложение и не получившими его.
Возможный итог тестирования: если мы дарим клиентам промокоды на скидку, они не начинают покупать активнее, но при этом их средний чек становится ниже.

Как вычислить объем контрольной группы?

Чтобы провести эксперимент корректно, нужно выделить аудиторию, достаточную для тестирования. Чтобы рассчитать нужное количество людей в эксперименте, можно воспользоваться калькулятором АБ‑тестирования.
С помощью калькулятора можно рассчитать объем выборки, который покажет статистически значимый результат в АБ‑тестировании при выбранных показателях измерения.
Стоит упомянуть, что на слишком маленькой выборке провести качественное тестирование с локальной контрольной группой не получится — будет недостаточная статистическая значимость. Это может быть проблемой для некоторых небольших проектов с маленькой базой — чтобы набрать нужный объем выборки, потребуется много времени.

Как контрольная группа настраивается в Mindbox?

В Mindbox можно настроить глобальную и локальные контрольные группы.

Глобальная контрольная группа в Mindbox

В настройках глобальной контрольной группы можно выбрать конкретный сегмент клиентов — это полезно, если вам нужно исключить каких‑то пользователей из ограничения коммуникаций. Например, сотрудников компании. Есть настройки размера выборки, которая попадет в контрольную группу каждый месяц (и максимально допустимого размера), а также длительности нахождения в контрольной группе.
Например, в настройке ниже в контрольную группу будут попадать 5% базы, но не более 100 000 человек, и обновление контрольной группы будет происходить раз в два месяца:
Глобальная контрольная группа
Для клиентов, которые попадают в базу, действует случайное распределение: 5% из новичков в базе попадут сразу в контрольную группу

Локальная контрольная группа в Mindbox

Локальную контрольную группу можно настроить в любом канале, доступном в Mindbox:
  • Email
  • SMS
  • Viber
  • Вебпуш
  • Мобильный пуш
Запустить тест можно в массовой и триггерной рассылках. Также в любом канале можно запустить локальную контрольную группу вместе с АБ‑тестом: таким образом вы сможете сразу протестировать и разные варианты коммуникации, и сравнить эффект относительно контрольной группы.
Локальная контрольная группа
Для примера, в одной массовой рассылке решили протестировать сразу четыре варианта писем вместе с контрольной группой. Показатель по целевому действию в контрольной группе — 0,1% против 1–1,2% в основной группе:
Скриншот отчета по рассылке с АБ-тестом и контрольной группой в Mindbox

Коротко: что нужно помнить о контрольных группах

  1. Глобальная контрольная группа — показывает эффективность маркетинговых коммуникаций в целом.
  2. Локальная контрольная группа — показывает эффективность конкретной механики.
  3. С помощью контрольных групп можно измерить не только рассылки, но и, например, персональные акции в офлайне.
  4. Рассчитать необходимый объем выборки для тестирования можно с помощью калькулятора.
  5. В CDP Mindbox можно через интерфейс настроить глобальную и локальные контрольные группы.

Истории успеха бизнеса с контрольными группами