Команда CRM Synergetic рассказывает о выстроенном процессе регулярного тестирования гипотез, а также делится несколькими AB-тестами: от тем писем до новых каналов.
30 ноября 2023
6 AB-тестов Synergetic для роста open rate, CTR и конверсии в заказ
Synergetic — пример компании со зрелым CRM-маркетингом. В отделе регулярно генерируют и проверяют гипотезы при помощи AB-тестов. Причем бизнес тестирует как небольшие, так и глобальные изменения: от улучшения оффера в письме до внедрения новых каналов.
Собрали 6 AB-тестов с сильными гипотезами для роста open rate, CTR и конверсии в заказ.
Содержание:
Подход к AB-тестам в Synergetic
В маркетинге Synergetic большой поток задач. Чтобы отсеивать гипотезы, оцениваем их по потенциальному влиянию на выручку и сложности внедрения. Для приоритизации используем метод, аналогичный фреймворку RICE, но смотрим только на три параметра:
1. Impact, или влияние. Насколько механика помогает в достижении целей. Оцениваем экспертно по шкале от 0 до 10, опираясь на опыт предыдущих запусков.
2. Effort, или усилия. Сколько человеко-часов потребуется для решения задачи.
3. Confidence, или уверенность. Насколько мы уверены в том, что оценки, выставленные по другим параметрам (impact и effort), совпадут с реальностью. Тоже оцениваем по шкале от 0 до 10, где 0 — абсолютно не уверены, а 10 — абсолютно уверены.
Все получившиеся показатели сопоставляем друг с другом и принимаем решение.
Обязательно тестируем дорогие механики, чтобы понять, стоит ли вкладывать в них деньги. Пример крупного теста, который мы проводили — коннектор для передачи сегментов аудитории из Mindbox в рекламные кабинеты. Хотели понять, помогают ли касания в социальных сетях доводить клиентов до покупки. В итоге тестовая группа показала конверсию на 15% выше, чем контрольная. Поэтому мы стали развивать проект. О самом тесте расскажем ниже.
В CRM стараемся тестировать почти всё: темы и контент рассылок, работу сегментов, персонализацию на сайте, офферы. Самое большое количество AB-тестов настроено в триггерных цепочках: нам важно оставлять наиболее эффективные варианты писем и улучшать применяемые заходы.
Мы стараемся проводить тесты на уровне достоверности в 95%. Но не всегда есть время и достаточный объем данных, чтобы дождаться такого показателя. Время — деньги, и часто оно важнее идеальных результатов. Поэтому, если видим различия при уровне достоверности 90% и выше, берем результаты теста в работу, а затем корректируем по мере того, как тест продолжается.
Тест № 1. Эффективность RFM-сегментации
С помощью теста проверяли эффективность встроенной RFM-сегментации Mindbox.
Гипотеза: RFM-сегменты будут активнее открывать рассылки и кликать на блоки внутри них, чем случайная группа пользователей.
Сегмент. Проверяли на двух сегментах оттока:
- Те, кто покупал один раз за 9–12 месяцев и перестал покупать.
- Клиенты, которые сделали один-два заказа в течение года, при этом последняя покупка была 5–9 месяцев назад.
Это автоматическая сегментация, сделанная алгоритмом Mindbox на данных за год — это значит, что состав сегментов и условия попадания в них постоянно меняются. Для теста сегменты объединили, так как по отдельности они давали маленькую выборку.
Срок: один день.
Метрики теста: open rate, click rate. Выбрали эти метрики, так как проверяли реакцию сегментов на коммуникацию и их интерес к ней по сравнению с общей выборкой.
Тестирование: высылали одинаковый оффер в email двум группам в массовой рассылке — RFM-группе и контрольной группе, куда клиенты подбирались в случайном порядке.
И случайной, и RFM-группе высылали одинаковую рассылку
Результаты: тест показал, что сегментация работает.
Группа
Выборка
Open rate
Click rate
RFM
3351
9,8%
0,4%
Случайная
3299
7,4%
0,2%
Статистическая значимость — 95%
Тест № 2. Лучший заход для письма в сценарии «брошенные действия»
Недавно запустили тест в сценарии «брошенные действия». Проверяли, какое позиционирование лучше сработает на уровне темы и первого блока письма: на этот блок обычно приходится более 50% кликов.
Гипотеза. Решили протестировать два разных захода в одном триггере. Вариант А — с темой «Собрали экопродукты, которые могут вас заинтересовать». В варианте B прямо говорим клиентам, что мы отслеживаем их поведение на сайте: «Мы сохранили экопродукты, которые вы просматривали». Полагали, что люди лучше среагируют на заход В, потому что в нем читается персональный подход и забота.
Сегмент: клиенты, которые просматривали карточку товара на сайте, но не совершили заказ.
Срок: несколько месяцев. Остановили тест вручную, когда набралась нужная статистическая значимость.
Метрики теста: open rate, CTR, конверсия в заказ.
Тестирование: тест настроили внутри сценария на Mindbox.
Вариант А
Вариант В
Результаты: выиграл вариант А («Собрали экопродукты, которые могут вас заинтересовать»). Он оказал влияние на CTR (есть значимые различия на уровне достоверности 95%) и на open rate, но с достоверностью в 90%. Дополнительно смотрели на конверсию в заказ. Для варианта A конверсия в заказ была в два раза выше.
Тема
Выборка
CTR
Open rate
Конверсия в заказ
Вариант А
🍃 Собрали экопродукты, которые могут вас заинтересовать
🍃 Собрали экопродукты, которые могут вас заинтересовать
6037
4,8%
24%
2X
Вариант B
✨ Мы сохранили экопродукты, которые вы просматривали
✨ Мы сохранили экопродукты, которые вы просматривали
6042
3,4%
22,7%
X
По CTR и конверсии в заказ результат зафиксирован при статистической значимости 95%, по open rate — 90%. Точные цифры по конверсии в заказ не указываем по просьбе Synergetic
Вывод: скорей всего, вариант В создает у клиентов ощущение, что бизнес следит за ними. Возможно, они боятся, что им будут писать каждый раз, когда они заходят на сайт. Поэтому более нейтральная и заботливая тема выигрывает.
Тест № 3. Промокоды vs кешбэк
Раз в неделю мы отправляем массовые рекламные рассылки с промокодом или кешбэком. Мы чередуем их друг с другом и даем самые низкие офферы из возможных, чтобы не снижать маржу: промокод на 10%, кешбэк — на 3%.
Гипотеза: рассылка с кешбэком 3% покажет более высокую конверсию в заказ, чем с промокодом 10%. Надеялись, что победит именно кешбэк. Дело в том, что промокод снижает маржу, а кешбэк, наоборот, заставляет человека возвращаться на сайт и покупать снова.
Срок: один день.
Сегмент: клиенты, которые не делали заказов более трех недель.
Метрики теста: open rate, click rate, конверсия в заказ.
Тестирование: отправили две массовые рассылки с двумя разными офферами.
Письмо с промокодом
Письмо с кешбэком
Результат: промокод сработал лучше, чем кешбэк. Тест показал различия между вариантами при статистической значимости в 91%.
Акция
Выборка
Open rate
Click rate
Конверсия
в заказ
в заказ
Промокод
36 670
9,2%
0,4%
1,5X
Кешбэк
36 856
9,1%
0,3%
X
Статистическая значимость — 91%. Точные цифры по конверсии в заказ не указываем по просьбе Synergetic
Вывод: нужно повторить тест, чтобы получить более точный результат. Также хотим протестировать промокод и кешбэк с равным номиналом скидки. А пока, учитывая результаты теста, чаще используем промокоды.
Тест № 4. Лучшая тема для письма с кешбэком
Мы часто используем кешбэк в различных механиках. Например, когда клиент совершает покупку, начисляем ему процент от нее на балльный счет. Потом с этого счета можно оплачивать другие заказы. О начислении сообщаем через email.
Гипотеза. Решили проверить, какая тема для акционной рассылки окажется наиболее эффективной. В одной теме прописали размер кешбэка, а в другой сделали акцент на том, что дарим клиенту бонус. Ожидали, что выиграет тема без упоминания размера кешбэка («Дополнительный кэшбек — выгодные покупки»). Думали, что в ней лучше считывается ценность предложения, а цифра 3%, наоборот, покажется клиенту не такой большой.
Сегмент: случайная выборка.
Ключевая метрика: open rate.
Срок: один день.
Тестирование и результат: тестировали через массовые рассылки Mindbox. Тест не дал статистически значимого результата.
Тема
Выборка
Open rate
Вариант А
🔥 Дополнительный кешбэк — выгодные покупки
🔥 Дополнительный кешбэк — выгодные покупки
1301
19,3%
Вариант B
💫 +3% к основному кешбэку для вас
💫 +3% к основному кешбэку для вас
1271
18,7%
Тест не показал статистически значимого результата
Вывод: нужно продолжить тестировать темы с упоминанием размера кешбэка и без, поскольку пока нет статистически значимого результата. К тому же, как показывает практика, результаты по темам лучше оценивать по итогам нескольких подобных тестов.
Тест № 5. Видео в массовых рассылках
У нас есть YouTube-канал, где мы публикуем контент для наших клиентов: например, обзоры товаров или истории создания продукта. Мы решили добавлять блок с YouTube-видео в массовые рассылки и упоминать об этом в теме писем.
Гипотеза: добавление блока с видео поможет транслировать свою экспертность и повышать вовлеченность подписчиков, также он повысит CTR и open rate, так как мы анонсируем его в теме письма. Но надо проверить, не повлияет ли это негативно на результаты рассылки — ведь мы уводим клиентов с сайта на сторонний ресурс.
Сегмент: все клиенты, попадающие под условия массовой рассылки.
Срок: АВ-тест завершился через 24 часа, но наблюдали за показателями еще месяц после теста.
Метрики теста: CTR, open rate.
Тестирование: запустили две версии рассылки — в одну добавили блок с видео на YouTube-канале и упомянули его в теме письма, а вторая рассылка была без видео.
Вариант А
Вариант B: видео тизерили в первом блоке рассылки
Блок с видео из варианта B в конце рассылки
Результат: через сутки Mindbox определил победителя при статистической значимости 95% — выиграла рассылка с видео.
Кампания
Выборка
CTR
Стандартная рассылка
46 239
X
Рассылка с видео
46 239
X + 0,11 п. п.
Статистическая значимость — 95%. Точные данные по CTR кампании не приводим по просьбе Synergetic
Мы не стали отключать тест и следили за динамикой показателей еще месяц. Мы сравнили трафик с рассылок на сайт с помощью «Яндекс.Метрики». Оказалось, в рассылке с видео было больше трафика в первый день, а вариант без видео принес больше посетителей в последующие дни — в итоге показатели рассылок практически сравнялись.
Также мы дополнительно проверили показатели по конверсии из рассылок по нашим внутренним отчетам атрибуции заказов. В них количество заказов из двух рассылок тоже оказалось одинаковым.
Вывод: добавление видео в рассылки не ухудшает показатели. При этом добавление блоков с видео помогает разнообразить контент рассылок и лучше познакомить клиентов с нашими продуктами. Сейчас планируем повторить тест.
Тест № 6. Рекламные кабинеты в welcome-цепочке
Один из крупных тестов, который мы проводили, был для измерения эффективности рекламы в соцсетях. Хотели понять, стоит ли писать коннектор для передачи сегментов из Mindbox в рекламные кабинеты.
Гипотеза: касания в социальных сетях помогут довести новых клиентов до покупки.
Метрика теста: конверсия в покупку.
Сегмент: новые клиенты, которые только что попали в welcome-цепочку. Аудиторию делили случайно пополам в блоке сценария.
Срок теста: четыре недели.
Тестирование: проводили тест на рекламном кабинете «ВКонтакте». Одной группе отправляли только email-рассылки, а другой отправляли рассылки и показывали рекламные посты во «ВКонтакте». Офферы в email и рекламе были одинаковыми.
Email-рассылка
Пост во «ВКонтакте»
Результат: тестовая группа показала более высокие конверсии, чем контрольная.
Группа
Выборка
Конверсия в заказ
Email
~3500
5,5%
Email + «ВКонтакте»
~3500
6,4%
Статистическая значимость теста теста — 90%
Вывод: решили, что коннектор для рекламных кабинетов нужен.
Планы
Протестировать персонализацию писем. Хотим проверить, как увеличится эффективность рассылок, если добавлять в них обращение к клиенту по имени.
Протестировать сильные офферы для «спящих» клиентов. Хотим протестировать скидку на 1000 и 500 рублей для реактивации клиентов. Ранее тестировали более скромные офферы на 100 рублей, но они не показывают заметного эффекта. Полагаем, что сумма не мотивирует клиентов.
