Сервис «Мамба» искал способ тестировать гипотезы в CRM. Mindbox позволил быстро проводить тесты с контрольной группой и масштабировать рассылки, показавшие инкрементальную выручку. Рассказывает CRM lead Виктор Волков.
Сервис знакомств «Мамба» построил систему проверки CRM-гипотез. Прирост выручки от рассылок — 89,18%
Мамба — сервис знакомств, объединяющий самостоятельные сайты и разделы крупных порталов. Основной источник дохода — платная подписка. Принадлежит VK, основан в 2003 году
Масштаб бизнеса.
60 млн анкет в России
Задача
Получать инкрементальную выручку от рассылок
Решение
Использовать Mindbox для быстрого тестирования гипотезПостроить систему аналитики рассылок на базе полученных данных
Результат
До 2 дней проходит от проработки идеи до запуска теста+89,18% — прирост выручки от рассылок относительно контрольной группы +28,25% — прирост количества платежей от рассылок относительно контрольной группы
ИТ.
Бэкенд, сайт и приложения для iOS и Android собственной разработки, база данных ClickHouse, платформа автоматизации маркетинга Mindbox
Срок.
10 месяцев
9 ноября 2023
До 2022 года CRM-маркетингом в «Мамбе» никто централизовано не занимался: рассылок было много, но эффект от них не измеряли. Чтобы понять, что коммуникации действительно работают и приносят компании деньги, решили тестировать их с контрольной группой.
Инкрементальная выручка — это разница между выручкой от тестовой и контрольной групп
Чтобы не выделять для тестирования гипотез отдельную команду разработчиков, решили подключить внешний инструмент — им стал Mindbox. С его помощью улучшают старые письма и проверяют новые. Рассылки, показавшие положительную инкрементальную выручку, масштабируют: переводят на бэкенд и включают для всех подходящих пользователей.
CRM lead «Мамбы» Виктор Волков рассказал:
- Почему в компании не верят атрибуции last click и ориентируются на инкремент;
- Как выглядит процесс проверки гипотез и почему не стоит включать в тест всю подходящую выборку;
- Как универсальный дашборд упростил оценку результатов и помогает вовремя заметить риск потерять деньги.
Также в материале примеры проверенных гипотез — удачных и нет.
Система проверки CRM-гипотез — результаты
-
до дней от проработки идеи до запуска теста -
+ 28,25% прирост количества платежей от рассылок относительно контрольной группы -
+ 89,18% прирост выручки от рассылок относительно контрольной группы
Данные из ClickHouse за 10 месяцев, учитываются инкрементальные значения относительно контрольной группы
Как изменился CRM-маркетинг «Мамбы»
До построения системы
После
Не было возможности измерить эффект от рассылок
Внедрена система аналитики рассылок с измерением инкрементальных показателей
Отправлялись только базовые механики по CJM: получение личного сообщения, лайк и так далее
Есть бэклог идей для рассылок — гипотезы приоритизируются исходя из потенциального эффекта и сложности разработки
AB-тесты проводились крайне редко — в компании не было культуры проверки гипотез
Перед внедрением любой рассылки тестируем ее с контрольной группой
Рассылки заводились через разработчиков — это занимало до двух недель
Рассылки для проверки гипотез заводятся силами CRM — это занимает до двух дней с учетом согласований и тестирования
Почему решили тестировать коммуникации с контрольной группой
Наша главная задача — повысить выручку сервиса. В основном «Мамба» зарабатывает на платной подписке: VIP-статус среди прочего позволяет посмотреть, кто тебя лайкнул и был на твоей странице. Есть и дополнительные услуги, например поднятие анкеты в поиске. Рассылки могут повлиять на выручку сервиса несколькими способами: увеличить конверсию бесплатных пользователей в платных, повысить средний чек или количество платежей.
Поскольку AB-тестов раньше не было, у нас нет данных о том, как пользователи реагируют на те или иные сообщения от сервиса знакомств, какие креативы эффективнее. Чтобы понять, что рассылки действительно работают и приносят нам деньги, решили тестировать коммуникации с контрольной группой. Для оценки смотрим на инкрементальные метрики, в первую очередь инкрементальную выручку.
Инкрементальная выручка — это разница между выручкой от тестовой и контрольной групп. То есть сумма, которую вы дополнительно заработали благодаря запуску рассылки. Максимально упрощая: если контрольная группа без рассылки заработала 100 рублей, а тестовая с рассылкой 150 рублей, то инкрементальная выручка — 50 рублей.
Считаем, что инкремент — наиболее честный способ измерения эффективности
Инкремент — наш главный ориентир: считаем его наиболее честным способом измерения эффективности. Кроме выручки, инкрементальные значения рассчитываем по трем показателям:
- количество реактивированных пользователей, то есть совершивших хотя бы одну сессию;
- количество плательщиков, то есть пользователей, совершивших хотя бы один платеж;
- количество платежей.
На атрибуцию по last click не ориентируемся: даже если пользователь совершил покупку после перехода из письма или пуша, это не значит, что он не сделал бы этого без рассылки.
Как выбирали инструмент для тестирования CRM-гипотез и интегрировались с ним
Для тестирования гипотез без стороннего сервиса пришлось бы выделить команду разработчиков
Почему понадобился отдельный инструмент для тестирования гипотез. Для отправки писем, мобильных пушей и сообщений в чатах используем бэкенд. Но тестировать гипотезы через него мы не могли: для заведения каждого теста понадобилась бы помощь разработки. Если бы мы хотели поставить тестирование гипотез через бэкенд на поток, пришлось бы выделить отдельную команду разработчиков. Поэтому нам понадобился внешний инструмент — им стал Mindbox.
Почему выбрали Mindbox. За выбор решения отвечали команды продуктологов и маркетологов. Mindbox выбрали потому, что это популярная платформа, которая умеет работать с большими клиентскими базами. У нас 60 млн пользователей в России — мы не собирались загружать их всех и переводить рассылки на платформу полностью. При такой базе полноценное использование Mindbox обходилось бы нам слишком дорого.
Но при этом держали в голове, что проект по тестированию гипотез будет масштабироваться. Сейчас работаем только с российскими пользователями, зарегистрировавшимся на нашем сайте и в приложении, но в перспективе готовы тестировать рассылки на зарубежных пользователях.
Помимо этого, смотрели на удобство и скорость запуска сценариев, возможность настраивать каскадные рассылки и использовать вебхуки. Они нужны, например, чтобы тестировать гипотезы в чатах «Мамбы»: сегменты собираются в Mindbox, а сообщения отправляются через вебхуки.
Окончательное решение приняли еще до моего прихода в компанию, но я не возражал: на прошлом месте работы исследовал рынок платформ автоматизации маркетинга и тоже остановился на Mindbox.
Как интегрировались с Mindbox. По условиям договора у нас был месяц на интеграцию — в этот период не начисляется абонентская плата. Изначально планировалось, что интеграцию проведут без меня, а я сразу начну запускать рассылки. Но ресурса разработки не было — когда я пришел в «Мамбу», бесплатный период как раз истек, а интеграция еще не была готова. И хорошо, что так получилось по-другому. Не имеет смысла проводить интеграцию, пока ты не понимаешь хотя бы примерно, какие механики будут работать: от этого зависит, какие клиентские данные и события нужно передавать в Mindbox.
Продукт Mindbox
CDP — Платформа клиентских данных
Я выделил данные, которые нужно было передать в Mindbox в первую очередь: подтверждение анкеты, действия во время сессии и покупку подписки. Отдельно нужно было понять, как логика нашего CJM соотносится с логикой платформы, заточенной под e-commerce. Например, в Mindbox есть два статуса заказа — создан и доставлен, а у нас, понятное дело, нет никакой доставки, поэтому этот статус не используем.
-
2
мес. заняла интеграция с Mindbox
Чтобы сразу начать тестировать гипотезы, не стали дожидаться окончания интеграции и вручную загрузили в Mindbox несколько миллионов пользователей — на передачу данных ушли примерно сутки. Непосредственно интеграция с платформой заняла 2 месяца и состояла из трех этапов:
1. Интеграция единой базы анкет — месяц.
Две недели ушло на изучение документации и подготовку и две — непосредственно на интеграцию и тестирование. Интегрироваться нужно было с единой базой, где хранятся все анкеты: сайт и мобильное приложение — это просто интерфейс. С нашей стороны за интеграцию отвечали я и один разработчик.
2. Интеграция мобильных приложений — две недели.
Интегрировали мобильные приложения на iOS и Android, чтобы отправлять мобильные пуши. Затем занялись тестированием и отладкой багов (неверно передавались статусы).
3. Настройка экспорта данных — две недели.
Настроили экспорт данных из Mindbox в нашу базу данных, чтобы построить дашборды. По API выгружаем открытия, клики, отписки, недоставки и другие действия, связанные с рассылками. Поскольку в формуле расчета инкрементальной выручки нужно указать размер тестовой группы, передаем также действия неотправки рассылок с причиной «Клиент в контрольной группе рассылки».
Как устроена система проверки CRM-гипотез
Все начинается с бэклога гипотез, который я веду в YouTrack. Добавляю гипотезы по вдохновению, в том числе после изучения дашборда. Каждую гипотезу оформляю как отдельную задачу.
Приоритизация гипотез — это баланс между верой в то, что гипотеза сработает, и сложностью разработки: учитываю необходимость доработать интеграцию с Mindbox, например передавать в платформу какое-то дополнительное действие клиента.
Никогда не тестирую гипотезу на всех подходящих клиентах: если она не подтвердится, мы рискуем сильно просесть по бизнес-метрикам. Действую следующим образом:
- Беру ограниченную выборку, достаточную для получения статистически достоверного результата.
- Исключаю из выборки клиентов, которые видели старый вариант рассылки, — метрики могут улучшиться просто из-за эффекта новизны.
- Из выборки 30–50% включаю в контрольную группу
Использование контрольной группы позволяет достоверно оценить эффект от рассылки, в том числе рассчитать важнейший бизнес-показатель — инкрементальную выручку, то есть определить, какие конверсии стали результатом маркетинговых усилий, а какие произошли бы органически.
Иногда, если я не очень верю в то, что гипотеза сработает, но проверить реакцию пользователей все равно хочется, тестирую гипотезу в несколько этапов: от совсем небольшой выборки к большему сегменту.
Если хочу улучшить уже существующую рассылку, то отключаю ее отправку из бэкенда, чтобы клиент не получил два одинаковых сообщения.
Понятно, что при успешной гипотезе мы недополучим деньги от контрольной группы, но изначальная цель теста — не заработать деньги, а найти работающую механику. Зарабатывать будем уже после того, как масштабируем механику.
Чтобы упростить оценку результатов, с помощью аналитика настроили универсальный дашборд в ClickHouse. Он показывает инкрементальные метрики по тестовым группам. Все действия с рассылками передаются из Mindbox несколько раз в сутки по API. Для этого было достаточно один раз настроить экспорты из Mindbox — для этого привлекли бэкенд-разработчика и тестировщика.
Дашборд показывает показывает инкрементальные метрики по тестовым группам в абсолютном и относительном значении
Анализирую дашборд почти каждый день — это позволяет вовремя остановить тест, если рассылка негативно сказывается на инкрементальной выручке. Промежуточные результаты нельзя интерпретировать, пока не достигнута статистическая значимость. Однако мониторинг теста позволяет проконтролировать влияние на выручку, чтобы цена проверки гипотезы не оказалась слишком высокой.
При достижении статистической значимости могу продолжить тест, если хочу посмотреть динамику на бóльшем периоде. Чем больше период тестирования, тем выше достоверность и больше доверия к результату.
Смотрю в основном на относительные значения. Абсолютные значения не очень показательны: AB-тесты проводятся на ограниченной выборке. Зная относительный прирост, можно экстраполировать его на всю выборку и понять, сколько мы заработаем в перспективе. Доверять результатам экстраполяции на 100% нельзя, но для примерного понимания этого вполне достаточно.
После окончательного подтверждения гипотезы рассылка переносится в наш бэкенд, где включается триггер на всех клиентов, подпадающих под его условия. Если клиент уже получал аналогичное письмо из Mindbox, то не заметит разницы: дизайн рассылок, которые отправляются из Mindbox и из нашего бэкенда, практически не отличается.
Примеры проверенных гипотез — удачных и неудачных
Продукт Mindbox Рассылки
Расскажу про проверку гипотез на сегменте оттока, то есть тех, кто давно не заходил на «Мамбу». Размер контрольной группы — 30–50% в зависимости от размера сегмента. Ориентировались на прирост выручки и реактивации, то есть новой сессии у пользователя.
Пуш «Отношения это…»
Гипотеза. Если использовать креатив с типичными романтическими сценариями, то это поможет реактивировать отток через положительные эмоции, связанные с «Мамбой».
В пуше для реактивации оттока использовали типичные романтические сценарии
Результат: гипотеза подтвердилась. Статическая достоверность — 95%.
Прирост реактивации относительно контрольной группы
Мужчины
+307,81%
Женщины
+346,2%
Прирост выручки относительно контрольной группы
Мужчины
+5,63%
Женщины
+7,26%
Выводы и планы. Несмотря на то, что в тексте нет конкретного призыва к действию и рекламы платных услуг, даже косвенной, получили значительный прирост выручки. Планируем дальше тестировать креативы с похожими привлекательными образами и яркими эмоциями.
Пуш «Пока тебя не было»
Гипотеза. Если рассказать пользователям, которые раньше были активными, но ушли, о том, что на «Мамбе» появились новые лица, это вернет мотивацию заходить на сервис.
По прошлому опыту знаем, что пользователи хорошо реагируют на упоминание противоположного пола — по возможности используем это
Результат: гипотеза подтвердилась. Статическая достоверность — 95%.
Прирост реактивации относительно контрольной группы
Мужчины
+2,26%
Женщины
+1,92%
Прирост выручки относительно контрольной группы
Мужчины
+69,22%
Женщины
+70,73%
Выводы и планы. Пуш выглядит сервисным, без креатива. Вероятно, поэтому конверсия в реактивацию намного меньше, чем у креативного пуша «Отношения это…». Однако выручка тут значительно выше. Объясняем это тем, что нам действительно удалось решить одну из болей аудитории — примелькавшиеся лица. Планируем протестировать пуш в триггерных рассылках — описанные результаты получили при массовой отправке.
Пуш «Давай по порядку?»
Гипотеза. Если дать пользователям пошаговую инструкцию: зайти на «Мамбу», начать листать и лайкать анкеты, вступать в диалоги, переписываться и встречаться, это поможет им понять, как правильно пользоваться сервисом, — число сессий должно вырасти.
По сути пуш представляет из себя инструкцию по пользованию сайтом знакомств
Результат: гипотеза не подтвердилась. Статическая достоверность — 95%.
Падение реактивации относительно контрольной группы
Мужчины
−19,31%
Женщины
−22,04%
Падение выручки относительно контрольной группы
Мужчины
−37,88%
Женщины
−84,32%
Выводы и планы. Гипотеза не подтвердилась, поэтому вместо финала про любовь попробуем протестировать другие варианты: подачу про серьезные отношения — семью; абстрактную подачу — счастье.
У пользователей могут быть разные цели знакомства: создание семьи, секс без обязательств и так далее. Возможно, поэтому «любовь» не просто не привлекла, а наоборот оттолкнула пользователей. Отсюда идея протестировать разные посылы и понять, повлияет ли это на результат.
Пуш «Знакомься в будни»
Гипотеза. Если напомнить пользователям о популярном паттерне поведения на «Мамбе»: активно знакомиться и переписываться по будням, а встречаться в выходные, это поможет реактивировать отток.
Пуш «Знакомься в будни» напоминает о популярном паттерне поведения на «Мамбе»
Результат: гипотеза подтвердилась. Статическая достоверность — 95%.
Прирост реактивации относительно контрольной группы
Мужчины
+2,02%
Женщины
+2,48%
Прирост выручки относительно контрольной группы
Мужчины
+114,91%
Женщины
+69,29%
Выводы. Вопреки ожиданиям мы не очень сильно выросли в реактивации, но значительно — по выручке, хотя и не призывали напрямую к покупкам. Планируем протестировать пуш в триггерных рассылках — описанные результаты получили при массовой отправке.
Что планируем дальше
Продолжить тестирование гипотез. Бэклог идей постоянно пополняется — это работа на годы вперед. В перспективе хотим подключить к тестированию пользователей из других стран.
Расширить дашборд. Помимо четырех уже представленных метрик (выручка, среднее количество сессий на одного пользователя, количество пользователей, совершивших хотя бы один платеж, и количество платежей) хотим добавить более специфические показатели, в том числе конверсию в начало переписки, успешную переписку, загрузку фотографий. Это позволит детализировать CJM и проверять больше гипотез, например о глубине диалога: поймем, что именно на нее влияет.
Планируем отдельно отслеживать эффективность каскадных рассылок — передача данных по API уже настроена.
Генерировать персональные промокоды для клиентов, чтобы мотивировать их на покупку или продление подписки. Сейчас используем общие промокоды, действующие определенный срок, — всегда есть риск, что они утекут в интернет и мы недополучим прибыль. Пока изучаем, как именно будем генерировать промокоды — на своей стороне и передавать их в Mindbox по вебхуку или сразу на стороне платформы.
P. S. В этой истории мы рассказывали о наших продуктах CDP — Платформа клиентских данных и Рассылки. Узнайте о продуктах подробнее на их страницах или в разговоре с консультантом.
