Учебные материалы
14 июля 2021

Контрольная группа: как измерять эффективность маркетинга

Контрольная группа в маркетинге — это способ измерения эффективности рекламных активностей. Например, SMS-рассылки или персональной акции. В статье расскажем, как правильно провести тестирование и оценить эффективность маркетинга с помощью контрольной группы с примерами реальных тестов от таких компаний, как «Ароматный мир» и Mario Berlucci.

Содержание

Что такое контрольная группа?

Контрольная группа — это группа клиентов, которая не участвует в маркетинговых коммуникациях. Относительно этой группы измеряется реальный эффект коммуникаций: вполне возможно, что если мы не будем слать рассылки, клиент все равно совершит целевое действие. Изначально контрольная группа использовалась в научных исследованиях, а в какой‑то момент стала применяться и в маркетинге.

Самый частый случай — измерение количества покупок и выручки основной группы относительно контрольной:

Что такое контрольная группа

Показатели, относительно которых ведется измерение, могут быть разными:

  • Количество покупок
  • Средний чек
  • Заявка
  • Переход на сайт
  • Просмотр фильма
  • Подписка на сервис и т. д.

Почему метод атрибуции last click не всегда отражает действительность и как помогает контрольная группа

Самый популярный способ оценки эффективности маркетинга в онлайне — метод атрибуции last click, то есть когда продажа атрибутируется к последнему каналу, с которым взаимодействовал клиент. Этот метод прост в использовании, но у него есть недостаток, который лучше пояснить на примере.

Представим себе сценарий: клиент регистрируется на сайте, мы отправляем ему welcome‑цепочку, клиент кликает в письме и позже совершает покупку. Системы аналитики покажут нам, что клиент совершил атрибутированную к welcome‑письму покупку — и присвоит заслугу за эту выручку email‑каналу.

Однако вполне вероятно, что клиент, который самостоятельно прошел регистрацию на сайте, итак собирался совершить покупку. Какую роль в его решении играет welcome‑письмо? Это можно выяснить, если провести тест с контрольной группой. Часть клиентов получила бы письмо, а другая — нет. Если фон продаж в этих группах отличается, значит, welcome‑письмо действительно влияет на решение о покупке.

Глобальная и локальная контрольная группа

Есть два подхода в тестировании маркетинговых коммуникаций с помощью контрольной группы: глобальное и локальное измерение.

Глобальная контрольная группа не получает никаких коммуникаций вообще, кроме транзакционных сообщений. Ни писем, ни SMS, ни пушей — в самом качественном тестировании эта группа также исключается из показов контекстной рекламы. Тестирование с глобальной контрольной группой поможет понять, насколько в целом маркетинг помогает клиентам принимать решение о покупке. Так измерили эффективность маркетологи обувного бренда Mario Berlucci.

Пример графика средней выручки с клиента (ARPU) в сравнении основной и контрольной групп
Пример графика средней выручки с клиента (ARPU) в сравнении основной и контрольной групп из истории успеха Mario Berlucci

Локальная контрольная группа не получает только определенные рассылки — так мы можем выяснить влияние конкретной коммуникации на совершение целевого действия.

Пример двух экспериментов с контрольной группой

Например, у компании «Ароматный мир» была гипотеза: дополнительное письмо с напоминанием о заказе, который клиент сделал в интернет‑магазине, но еще не выкупил, поможет увеличить процент выкупленных заказов. Для проверки гипотезы провели тестирование с локальной контрольной группой — но гипотеза не подтвердилась. Получившие письмо клиенты не стали выкупать заказы чаще, чем участники контрольной группы.

Пример механики, которую маркетологи «Ароматного мира» тестировали с помощью локальной контрольной группы
Пример механики, которую маркетологи «Ароматного мира» тестировали с помощью локальной контрольной группы

Потом маркетологи решили проверить ту же гипотезу, но в канале SMS. Гипотеза сработала — дополнительные уведомления по SMS увеличили процент выкупленных заказов на 3%.

«Ароматный мир» тестировал сообщение с контрольной группой и зафиксировал значимую разницу в проценте выкупов
«Ароматный мир» тестировал сообщение с контрольной группой и зафиксировал значимую разницу в проценте выкупов

Можно ли в процессы маркетинга внедрять сразу глобальную и локальную контрольную группу? Да, можно. В этом случае часть клиентов не будет участвовать в коммуникациях вообще, а из оставшейся базы вы сможете выделять локальные контрольные группы для тестирования отдельных механик.

Например, на рисунке маркетологи тестируют коммуникации с помощью глобальной контрольной группы и дополнительно проверяют эффективность отдельных писем
Например, на рисунке маркетологи тестируют коммуникации с помощью глобальной контрольной группы и дополнительно проверяют эффективность отдельных писем — welcome‑письма и реактивации по заказам

Как измерить персональные акции с помощью контрольной группы?

С помощью контрольной группы можно измерить не только рассылки, но и персональные акции в онлайне и офлайне. Так можно убедиться, что персональная скидка или промокод помогают клиенту принять решение о покупке и увеличивают выручку.

Механика проведения теста очень похожая: выделяем сегмент клиентов, которым мы хотим дать персональную скидку, — например, это клиенты, которые давно не совершали покупку. Среди этих клиентов мы выделяем часть — и исключаем ее из выдачи промокодов и рассылки про этот промокод.

После того как рассылка с промокодами прошла, наблюдаем за экспериментом и измеряем разницу в покупках, среднем чеке между клиентами, получившими персональное предложение и не получившими его.

Возможный итог тестирования: если мы дарим клиентам промокоды на скидку, они не начинают покупать активнее, но при этом их средний чек становится ниже.

Еще больше информации про измерение офлайн‑акций можно прочитать в статье «Как посчитать и повысить эффективность офлайн‑акций: методы, кейсы, ошибки».

Как вычислить объем контрольной группы?

Чтобы провести эксперимент корректно, нужно выделить аудиторию, достаточную для тестирования. Чтобы рассчитать нужное количество людей в эксперименте, можно воспользоваться калькулятором АБ‑тестирования.

С помощью калькулятора можно рассчитать объем выборки, который покажет статистически значимый результат в АБ‑тестировании при выбранных показателях измерения.

Стоит упомянуть, что на слишком маленькой выборке провести качественное тестирование с локальной контрольной группой не получится — будет недостаточная статистическая значимость. Это может быть проблемой для некоторых небольших проектов с маленькой базой — чтобы набрать нужный объем выборки, потребуется много времени.

Как контрольная группа настраивается в Mindbox?

В Mindbox можно настроить глобальную и локальные контрольные группы.

Глобальная контрольная группа в Mindbox

В настройках глобальной контрольной группы можно выбрать конкретный сегмент клиентов — это полезно, если вам нужно исключить каких‑то пользователей из ограничения коммуникаций. Например, сотрудников компании. Есть настройки размера выборки, которая попадет в контрольную группу каждый месяц (и максимально допустимого размера), а также длительности нахождения в контрольной группе.

Например, в настройке ниже в контрольную группу будут попадать 5% базы, но не более 100 000 человек, и обновление контрольной группы будет происходить раз в два месяца:

Глобальная контрольная группа

Для клиентов, которые попадают в базу, действует случайное распределение: 5% из новичков в базе попадут сразу в контрольную группу

Локальная контрольная группа в Mindbox

Локальную контрольную группу можно настроить в любом канале, доступном в Mindbox:

  • Email
  • SMS
  • Viber
  • Вебпуш
  • Мобильный пуш

Запустить тест можно в массовой и триггерной рассылках. Также в любом канале можно запустить локальную контрольную группу вместе с АБ‑тестом: таким образом вы сможете сразу протестировать и разные варианты коммуникации, и сравнить эффект относительно контрольной группы.

Локальная контрольная группа

Для примера, в одной массовой рассылке решили протестировать сразу четыре варианта писем вместе с контрольной группой. Показатель по целевому действию в контрольной группе — 0,1% против 1–1,2% в основной группе:

Скриншот отчета по рассылке с АБ-тестом и контрольной группой в Mindbox

Скриншот отчета по рассылке с АБ‑тестом и контрольной группой в Mindbox

Коротко: что нужно помнить о контрольных группах

  1. Глобальная контрольная группа — показывает эффективность маркетинговых коммуникаций в целом.
  2. Локальная контрольная группа — показывает эффективность конкретной механики.
  3. С помощью контрольных групп можно измерить не только рассылки, но и, например, персональные акции в офлайне.
  4. Рассчитать необходимый объем выборки для тестирования можно с помощью калькулятора.
  5. В CDP Mindbox можно через интерфейс настроить глобальную и локальные контрольные группы.

Истории успеха бизнеса с контрольными группами