Рассказываем, как настроить контрольную группу и корректно рассчитать объем выборки.
14 июля 2021
Контрольная группа: как измерять эффективность маркетинга
Контрольная группа в маркетинге — это способ измерения эффективности рекламных активностей. Например, SMS-рассылки или персональной акции. В статье расскажем, как правильно провести тестирование и оценить эффективность маркетинга с помощью контрольной группы с примерами реальных тестов от таких компаний, как «Ароматный мир» и Mario Berlucci.
Содержание
- Что такое контрольная группа?
- Почему метод атрибуции last click не всегда отражает действительность и как помогает контрольная группа
- Глобальная и локальная контрольная группа
- Пример двух экспериментов с контрольной группой
- Как измерить персональные акции с помощью контрольной группы?
- Как вычислить объем контрольной группы?
- Как контрольная группа настраивается в Mindbox?
- Коротко: что нужно помнить о контрольных группах
- Истории успеха бизнеса с контрольными группами
Что такое контрольная группа?
Контрольная группа — это группа клиентов, которая не участвует в маркетинговых коммуникациях. Относительно этой группы измеряется реальный эффект коммуникаций: вполне возможно, что если мы не будем слать рассылки, клиент все равно совершит целевое действие. Изначально контрольная группа использовалась в научных исследованиях, а в какой‑то момент стала применяться и в маркетинге.
Самый частый случай — измерение количества покупок и выручки основной группы относительно контрольной:
Показатели, относительно которых ведется измерение, могут быть разными:
- Количество покупок
- Средний чек
- Заявка
- Переход на сайт
- Просмотр фильма
- Подписка на сервис и т. д.
Почему метод атрибуции last click не всегда отражает действительность и как помогает контрольная группа
Самый популярный способ оценки эффективности маркетинга в онлайне — метод атрибуции last click, то есть когда продажа атрибутируется к последнему каналу, с которым взаимодействовал клиент. Этот метод прост в использовании, но у него есть недостаток, который лучше пояснить на примере.
Представим себе сценарий: клиент регистрируется на сайте, мы отправляем ему welcome‑цепочку, клиент кликает в письме и позже совершает покупку. Системы аналитики покажут нам, что клиент совершил атрибутированную к welcome‑письму покупку — и присвоит заслугу за эту выручку email‑каналу.
Однако вполне вероятно, что клиент, который самостоятельно прошел регистрацию на сайте, итак собирался совершить покупку. Какую роль в его решении играет welcome‑письмо? Это можно выяснить, если провести тест с контрольной группой. Часть клиентов получила бы письмо, а другая — нет. Если фон продаж в этих группах отличается, значит, welcome‑письмо действительно влияет на решение о покупке.
Глобальная и локальная контрольная группа
Есть два подхода в тестировании маркетинговых коммуникаций с помощью контрольной группы: глобальное и локальное измерение.
Глобальная контрольная группа не получает никаких коммуникаций вообще, кроме транзакционных сообщений. Ни писем, ни SMS, ни пушей — в самом качественном тестировании эта группа также исключается из показов контекстной рекламы. Тестирование с глобальной контрольной группой поможет понять, насколько в целом маркетинг помогает клиентам принимать решение о покупке. Так измерили эффективность маркетологи обувного бренда Mario Berlucci.
Пример графика средней выручки с клиента (ARPU) в сравнении основной и контрольной групп из истории успеха Mario Berlucci
Локальная контрольная группа не получает только определенные рассылки — так мы можем выяснить влияние конкретной коммуникации на совершение целевого действия.
Пример двух экспериментов с контрольной группой
Например, у компании «Ароматный мир» была гипотеза: дополнительное письмо с напоминанием о заказе, который клиент сделал в интернет‑магазине, но еще не выкупил, поможет увеличить процент выкупленных заказов. Для проверки гипотезы провели тестирование с локальной контрольной группой — но гипотеза не подтвердилась. Получившие письмо клиенты не стали выкупать заказы чаще, чем участники контрольной группы.
Пример механики, которую маркетологи «Ароматного мира» тестировали с помощью локальной контрольной группы
Потом маркетологи решили проверить ту же гипотезу, но в канале SMS. Гипотеза сработала — дополнительные уведомления по SMS увеличили процент выкупленных заказов на 3%.
«Ароматный мир» тестировал сообщение с контрольной группой и зафиксировал значимую разницу в проценте выкупов
Можно ли в процессы маркетинга внедрять сразу глобальную и локальную контрольную группу? Да, можно. В этом случае часть клиентов не будет участвовать в коммуникациях вообще, а из оставшейся базы вы сможете выделять локальные контрольные группы для тестирования отдельных механик.
Например, на рисунке маркетологи тестируют коммуникации с помощью глобальной контрольной группы и дополнительно проверяют эффективность отдельных писем — welcome‑письма и реактивации по заказам
Как измерить персональные акции с помощью контрольной группы?
С помощью контрольной группы можно измерить не только рассылки, но и персональные акции в онлайне и офлайне. Так можно убедиться, что персональная скидка или промокод помогают клиенту принять решение о покупке и увеличивают выручку.
Механика проведения теста очень похожая: выделяем сегмент клиентов, которым мы хотим дать персональную скидку, — например, это клиенты, которые давно не совершали покупку. Среди этих клиентов мы выделяем часть — и исключаем ее из выдачи промокодов и рассылки про этот промокод.
После того как рассылка с промокодами прошла, наблюдаем за экспериментом и измеряем разницу в покупках, среднем чеке между клиентами, получившими персональное предложение и не получившими его.
Возможный итог тестирования: если мы дарим клиентам промокоды на скидку, они не начинают покупать активнее, но при этом их средний чек становится ниже.
Еще больше информации про измерение офлайн‑акций можно прочитать в статье «Как посчитать и повысить эффективность офлайн‑акций: методы, кейсы, ошибки».
Как вычислить объем контрольной группы?
Чтобы провести эксперимент корректно, нужно выделить аудиторию, достаточную для тестирования. Чтобы рассчитать нужное количество людей в эксперименте, можно воспользоваться калькулятором АБ‑тестирования.
С помощью калькулятора можно рассчитать объем выборки, который покажет статистически значимый результат в АБ‑тестировании при выбранных показателях измерения.
Стоит упомянуть, что на слишком маленькой выборке провести качественное тестирование с локальной контрольной группой не получится — будет недостаточная статистическая значимость. Это может быть проблемой для некоторых небольших проектов с маленькой базой — чтобы набрать нужный объем выборки, потребуется много времени.
Как контрольная группа настраивается в Mindbox?
В Mindbox можно настроить глобальную и локальные контрольные группы.
Глобальная контрольная группа в Mindbox
В настройках глобальной контрольной группы можно выбрать конкретный сегмент клиентов — это полезно, если вам нужно исключить каких‑то пользователей из ограничения коммуникаций. Например, сотрудников компании. Есть настройки размера выборки, которая попадет в контрольную группу каждый месяц (и максимально допустимого размера), а также длительности нахождения в контрольной группе.
Например, в настройке ниже в контрольную группу будут попадать 5% базы, но не более 100 000 человек, и обновление контрольной группы будет происходить раз в два месяца:
Для клиентов, которые попадают в базу, действует случайное распределение: 5% из новичков в базе попадут сразу в контрольную группу
Локальная контрольная группа в Mindbox
Локальную контрольную группу можно настроить в любом канале, доступном в Mindbox:
- SMS
- Viber
- Вебпуш
- Мобильный пуш
Запустить тест можно в массовой и триггерной рассылках. Также в любом канале можно запустить локальную контрольную группу вместе с АБ‑тестом: таким образом вы сможете сразу протестировать и разные варианты коммуникации, и сравнить эффект относительно контрольной группы.
Для примера, в одной массовой рассылке решили протестировать сразу четыре варианта писем вместе с контрольной группой. Показатель по целевому действию в контрольной группе — 0,1% против 1–1,2% в основной группе:
Скриншот отчета по рассылке с АБ‑тестом и контрольной группой в Mindbox
Коротко: что нужно помнить о контрольных группах
- Глобальная контрольная группа — показывает эффективность маркетинговых коммуникаций в целом.
- Локальная контрольная группа — показывает эффективность конкретной механики.
- С помощью контрольных групп можно измерить не только рассылки, но и, например, персональные акции в офлайне.
- Рассчитать необходимый объем выборки для тестирования можно с помощью калькулятора.
- В CDP Mindbox можно через интерфейс настроить глобальную и локальные контрольные группы.
