Почти все изменения в коммуникациях «Фитмост» проверяет через AB-тесты. С их помощью бизнес измеряет влияние не только на прокси-метрики (open rate, click rate), но и на продуктовые — например, конверсию в покупку на сайте и retention
28 августа 2023
«Дерзкие» темы писем, WhatsApp и рассылки про Кристиана Бэйла. «Фитмост» делится подборкой АB-тестов в коммуникациях
Почти все изменения в коммуникациях «Фитмост» проверяет через AB-тесты. С их помощью бизнес измеряет влияние не только на прокси-метрики (open rate, click rate), но и на продуктовые, например конверсию в покупку на сайте и retention.
В материале CPO «Фитмост» Ульяна Исаенко расскажет, как команда тестирует целые триггерные цепочки и измеряет эффект контентных коммуникаций. А также поделится примерами AB-тестов — успешных и не очень:
— помогают ли баллы вернуть клиентов из оттока;
— увеличивает ли сообщение в WhatsApp конверсию в реактивацию;
— как упоминание вида спорта в пушах влияет на click rate;
— как снижение цены на подписку влияет на конверсию в покупку у разных сегментов;
— мотивирует ли «дерзкая» тема письма кликнуть на него;
— что работает лучше: скидки или упоминание любимого занятия.
Мы считаем, что, чем больше тестов, тем лучше. Мы не самая большая компания, и у нас нет многомиллионной базы пользователей — поэтому эффективность особенно важна. У нас есть несколько отделов: отдел бренда, привлечения и CRM. У каждого — своя таблица с гипотезами, которые регулярно тестируют. Отдел бренда обновляет гипотезы примерно раз в квартал, отдел привлечения — раз в месяц, а CRM-специалисты встречаются раз в неделю, поскольку тестируют много точечных гипотез. Все это помогает нам держать руку на пульсе и понимать, какие посылы и механики лучше работают для нашей аудитории.
Что проверяем через AB-тесты в CRM
CRM влияет на те же метрики, что и продуктовые изменения. Поэтому все нововведения в коммуникациях проверяем с помощью AB-тестов и принимаем решения на основе данных.
Например, AB-тесты помогают выяснить:
- Как коммуникации влияют на выручку и прокси-метрики — через сравнение с контрольной группой.
- Какой канал отправки лучше работает в цепочке. Например, повысит ли конверсию использование WhatsApp в цепочке реактивации.
- Какая формулировка темы письма, пуша, сообщения эффективнее. Отправляем несколько разных и сравниваем.
- Какой контент лучше конвертирует клиента в целевое действие внутри продукта. Например, что лучше рассказать на странице в приложении, на которую ведет пуш.
Какие коммуникации отправляет «Фитмост»
Мы делим коммуникации на два типа:
- Продуктовые. К ним относим все сервисные и продающие коммуникации, связанные с действиями пользователей в сервисе.
- Контентные. Массовые коммуникации, которые создают дополнительную ценность продукта и увеличивают лояльность клиентов (истории успеха, полезные советы, коллаборации).
Рассылка из активационной цепочки. Чтобы мотивировать зарегистрированных пользователей купить абонемент, им дают промокод на 15%-ную скидку
Пример контентной рассылки. Это истории успеха, советы по занятиям или правильному питанию. Их задача — увеличивать вовлеченность клиентов
За эти коммуникации отвечают разные специалисты. Один — из отдела продукта, другой — из отдела контента. У этих сотрудников разная специализация. Продуктовый CRM-специалист умеет программировать, анализировать базы данных и настраивать интеграцию с Mindbox. А контентный — это креативный специалист, который работает со смыслами и может сделать интересную историю.
Продуктовый CRM больше работает на метрики продукта (активация, конверсия в первую покупку, retention, LTV), а контент-специалисты повышают вовлеченность (ее измеряем по прокси-метрикам вроде open rate, click rate). AB-тесты проводим и в продуктовых, и в контентных рассылках.
Какие AB-тесты проводим
Тесты в продуктовых коммуникациях. В них измеряем влияние коммуникаций на конкретную метрику, например конверсию в бронирование или в первую покупку. Тестируем как разовые запуски, так и целые триггерные цепочки. Тесты в цепочках всегда длятся дольше. Это связано с тем, что сами цепочки отправляются неделями и выборка набирается постепенно. Если видим, что проводить тест на всю цепочку слишком долго, тестируем механику на разовом запуске и внедряем в цепочку.
Тесты в контентных коммуникациях. Тут смотрим, как коммуникации влияют на прокси-метрики — преимущественно open rate. Тестируем темы писем, сообщения в мобильных пушах. Контент внутри письма почти не тестируем — для этого нужна команда редакторов, которые могли бы параллельно готовить несколько вариантов текстов письма для одного и того же сегмента. У нас контентом занимается один специалист, и его ресурсов недостаточно.
Сейчас планируем измерить глобальное влияние контентных коммуникаций на бизнес-метрики: конверсии, retention, выручку. Для этого выделим глобальную контрольную группу, которой не будем отправлять контентные коммуникации в течение нескольких месяцев — до полугода (триггеры оставим те же). Затем посмотрим, как метрики контрольной группы будут отличаться от метрик тех, кто получал коммуникации.
Как проводим тесты и считаем достоверность
Аудитория. Главным образом AB-тесты проводим на сегменте неактивированных пользователей и оттоке. С активными пользователями мы уже научились работать — отправляем им рассылки об открытии новых студий и залов или о разных видах спорта. Показатели устраивают, и AB-тесты на этот сегмент запускаем нечасто.
Сейчас делаем упор на том, чтобы конвертировать в покупки большую базу неактивированных лидов (это 50% от базы), а также возвращать тех, кто перестал пользоваться нашими услугами.
Расчет выборки. Для расчета тестов используем калькулятор Mindbox. Он помогает подсчитать размер выборки с учетом метрики, на которую мы хотим повлиять.
При выборе прироста, который хотим увидеть, ориентируемся на средние конверсии и их рост. Тесты — это всегда торг между тем, насколько точную разницу ты хочешь увидеть, какую выборку готов вовлечь (чтобы не выжечь ее лишними коммуникациями) и сколько времени ждать. Вероятность того, что обнаруженная разница — не случайность, а действительно закономерность, должна быть близкой к 100%. Статистически значимый результат получается, когда эта вероятность больше 95%.
Механика тестов. Темы писем или формулировки пушей тестируем прямо внутри Mindbox. А если нужно измерить еще и продуктовые метрики, то присваиваем тестовым и контрольным группам метки внутри Mindbox, а по окончании теста вытягиваем данные из платформы и сопоставляем с нашей самописной базой данных. В Mindbox можем посмотреть конверсию в заказ и выручку. На своей стороне отслеживаем конверсии более детально, на каждом шагу клиента, например:
- конверсию в первую покупку абонемента,
- конверсию в повторные покупки абонемента,
- конверсию в бронирование занятий по абонементу.
АB-тест 1. Начислили баллы, чтобы увеличить активации и реактивации
Гипотеза. Если начислим бесплатные баллы неактивированным клиентам и оттоку, то получим прирост в активациях и реактивациях — то есть люди купят занятия. С помощью этого теста хотели понять, стоит ли внедрять новый триггер в цепочки активации и реактивации.
Целевые метрики. Конверсия в первую покупку и awake rate.
Awake rate считаем так:
Как тестировали. Есть два способа проверить эффективность триггера:
- Сразу добавить его в цепочку и следить за метрикой. В таком случае статистически значимый результат получим только через пару месяцев. Дело в том, что на нижних этапах воронки (ближе к оттоку) остается не так много пользователей — этой выборки не хватает, чтобы быстро увидеть результат теста.
- Разово протестировать триггер на крупном сегменте и в случае успеха добавить в цепочку. Это позволяет подстраховаться — мы уже знаем, что триггер влияет на поведение пользователей. После этого можем спокойно наблюдать за ним внутри триггерной цепочки, пока не увидим статистически значимый результат.
В данном случае мы пошли по второму сценарию. Размер выборки определяли учитывая текущие конверсии в активацию и реактивацию и желаемый прирост. Также прописали несколько сценариев теста — хотели подсчитать, сколько мы потеряем при самом неудачном раскладе: если все сходят на бесплатное занятие по баллам, а потом не совершат покупку.
Группа
Неактивированные пользователи
Отток
Тестовая группа
20 тысяч
10 тысяч
Контрольная группа
20 тысяч
10 тысяч
Тестовой группе начислили 15 баллов на 10 дней и отправили письма и пуши. 15 баллов — это примерно 1300 рублей. Этой суммы хватит, чтобы сходить на одно-два занятия. Затем в течение этих 10 дней через день отправляли клиентам напоминания о том, что на их счету есть баллы.
Пуш про начисление баллов
Пуш-напоминание о том, что надо потратить баллы
Письмо про начисление баллов клиентам в оттоке
Результаты
Группа
Конверсия в первую покупку
Awake rate
Тестовая группа
X
3Y
Контрольная группа
X
Y
Точные конверсии не указываем по просьбе «Фитмост». Достоверность теста — 95%
-
в 3раза начисление баллов увеличило конверсию в возвращение оттока
Тест на awake rate показал статистически значимый результат: начисление баллов подняло конверсию в возвращение клиентов почти в три раза. На сегмент неактивированных эта механика не сработала. Сделали вывод, что баллы работают для тех, кто уже понимает ценность продукта. Сейчас используем эту механику в регулярных коммуникациях с сегментом оттока.
АB-тест 2. Добавили WhatsApp в цепочку, чтобы увеличить конверсии
Гипотеза. Чтобы возвращать отток, мы начисляли баллы и сообщали об этом в email и пушах. Предположили, что, если продублируем коммуникацию в WhatsApp, это даст прирост конверсии.
Целевая метрика. Конверсия в покупку.
Как тестировали. И тестовой, и контрольной группам начислили по 15 баллов на 10 дней. Сначала отправили сообщение о начислении, а потом в течение 10 дней напоминали о них в разных каналах. В тестовой группе использовали WhatsApp, а в контрольной — нет. На 10-й день отправили также оффер с 15%-ной скидкой на подписку — также для тестовой группы продублировали в WhatsApp.
Группа
Выборка
Тестовая группа
2 тысячи
Контрольная группа
3,3 тысячи
Размер групп определяли по текущим конверсиям в реактивацию и желаемому приросту
Результаты
-
0,1%разница в конверсии между контрольной и тестовой группой. Точные цифры по конверсиям не указываем по просьбе «Фитмост». Достоверность теста — 95%
Разница между показателями оказалась статистически незначимой. Соответственно, сделать вывод о влиянии WhatsApp на конверсии не можем, но решили не использовать канал для механик с начислением баллов. Получается слишком дорого: сама механика съедает маржу, а коммуникации в WhatsApp обходятся до 10 рублей — втрое дороже SMS.
АB-тест 3. Упоминали вид спорта в пуше, чтобы увеличить click rate
Гипотеза. Если упомянуть в пуше вид спорта, которым занимается клиент, он с большей вероятностью кликнет на это сообщение.
Сегмент. Клиенты в оттоке, которые посетили только одно занятие не позднее чем три месяца назад.
Целевая метрика. Сlick rate.
Как тестировали. Делали массовую отправку пушей через Mindbox. Тестовая группа получала пуш с видом спорта, а контрольная — без.
Группа
Выборка
Тестовая группа
1,3 тысячи
Контрольная группа
1,3 тысячи
Пуш с упоминанием вида занятия
Пуш с приглашением на повторное занятие, без упоминания вида занятия
Результаты
Группа
Click rate
Конверсия в заказ
Тестовая группа
4,3%
3X
Контрольная группа
2,4%
X
Точные цифры по конверсии в заказ не указываем по просьбе «Фитмост». Достоверность теста — 95%
-
в 3раза увеличивает конверсию в заказ
пуш с упоминанием вида занятия
Встроили пуш с упоминанием вида занятия в коммуникационную цепочку, в которую пользователи попадают после посещения первого занятия. Ее цель — мотивировать их на второе бронирование. Сейчас ждем, когда пуш покажет статистически значимый результат в цепочке.
АB-тест 4. Уменьшили цену на подписку, чтобы увеличить конверсию в покупку
Гипотеза. Чем ниже цена на подписку, тем охотнее ее будут покупать.
Сегмент. Неактивированные пользователи.
Целевая метрика. Конверсия в покупку. Хотели увеличить конверсию на 0,8% и более. Такой показатель выбрали исходя из того, сколько хотим ждать, какую выборку готовы на это отдать и какой результат увидеть.
Как тестировали. Делали массовую отправку пуша через Mindbox.
Группа
Выборка
Тестовая группа
4,5 тысячи
Контрольная группа
4,5 тысячи
В тесте конкурировали две цены на подписку: 1500 рублей и 2000 рублей
Результаты
Группа
Конверсия в покупку
Тестовая группа
X
Контрольная группа
X
На результатах теста поняли, что для неактивированных пользователей более высокая скидка не поднимает конверсию в покупку — эти пользователи малоактивны. Мы предположили, что их необходимо дополнительно прогревать. Сейчас перестроили тактику на активный прогрев с помощью контентных коммуникаций.
Неактивированных пользователей «Фитмост» прогревает при помощи контентных рассылок. Например, серии массовых писем про Кристиана Бэйла
Другой пример прогревающих контентных рассылок: серия писем про страхи перед массажем
АB-тест 5. Пробовали «дерзкие» темы в письмах, чтобы их чаще открывали
Гипотеза. Если тема будет отличаться тех, которые обычно получает клиент, он с большей вероятностью откроет письмо.
Сегмент. Те, кто не открыл ни одно письмо за последний месяц.
Целевая метрика. Open rate.
Как тестировали. Придумали четыре темы и отправили каждую на 15 тысяч человек. Одна из них была с нестандартным для нас TOV: «Можно с вами познакомиться?». Остальные темы были более строгими. Отправки настраивали в Mindbox.
Результаты. «Необычная» тема выиграла — отправили ее еще на 35 тысяч контактов.
Тема и прехедер
Open rate
Можно с вами познакомиться? 😏
У нас есть идеи, чем заняться →
У нас есть идеи, чем заняться →
5,4%
1 клик 🔮
и вы на массаже →
и вы на массаже →
3%
300 тысяч отзывов в «Фитмост» ❤️🔥
чтобы вы выбрали, чем заняться →
2,7%
Что такое «Фитмост»
и как он упростит вам жизнь →
и как он упростит вам жизнь →
2,7%
Теперь чаще пробуем использовать такие нестандартные заходы в письмах, но они не всегда заходят лучше обычных. Надо следить, чтобы такие темы не становились просто кликбейтом, не связанным с самим письмом. В этом нет смысла — больше людей откроют письмо, но на сайт перейдет столько же.
AB-тест 6. Проверяли, что работает лучше: скидки или упоминание любимого занятия
Гипотеза. На онбординге клиенты могут выбрать интересные им направления, например йогу, бокс или даже массаж. Раньше чтобы довести клиентов до первой покупки, мы отправляли пуши об этих активностях. Но предположили, что пуши о скидках сработают лучше.
Сегмент. Неактивированные пользователи.
Целевая метрика. Click rate.
Как тестировали. Выборка получилась небольшой, так как немногие клиенты отвечают на все вопросы при онбординге. Пуш про скидки отправили 1500 получателям, пуш про занятия по интересам — 250. Тест настраивали внутри сценариев Mindbox — этот функционал подходит для тестирования триггеров сразу внутри цепочки.
Пуш про интересное занятие
Пуш про интересное занятие
Пуш про скидки
Результаты
Коммуникации
Click rate
Пуши про интересное занятие
5%
Пуш про скидки
7%
Достоверность АB-теста составила 95%
Разница в конверсии есть, но результаты статистически незначимые. Сейчас ждем, когда наберется выборка побольше, и повторим эксперимент.
4 совета для запуска AB-теста
- Поймите, зачем вам тест. Важно понимать, что вы будете делать с результатами теста и как применять их на практике. Проводить тест ради теста не имеет смысла.
- Не тестируйте все сразу. Например, вы хотите сравнить эффективность темы письма и еще проверить, как контент внутри письма влияет на click rate и конверсии в заказ. Даже если это одно письмо, проведите два разных теста: один для темы, другой для контента.
- Не тратьте время на тесты, которые фиксируют минимальный прирост. Иногда хочется подтвердить тестом микроскопическое улучшение в десятые доли процентов, но для этого нужна большая выборка и долгий тест (по крайней мере, если у вас не миллионы данных). При этом такое микроулучшение может никак не повлиять на эффективность CRM — чаще всего влияние такой разницы заметно только на очень больших масштабах.
- Валидируйте гипотезы. Для этого обращайтесь к качественным исследованиям, например глубинные интервью, используйте методики приоритизации, например фреймворк приоритизации RICE. Много тестов — это хорошо, но лучше проверять самые сильные гипотезы.
