Кейс Mindbox
2 февраля 2022

12 STOREEZ получает 30% выручки через прямые коммуникации. 6 AB‑тестов с результатами

  • ЗадачиУвеличить долю выручки от прямых коммуникаций
  • Выяснить, почему часть клиентов не читает рассылки
  • РешениеПровели AB-тесты email-рассылок, веб-пушей, попапов, мобильных пушей
  • Запустили опрос неактивных подписчиков
  • Результаты30,43% — доля выручки от прямых коммуникаций в общей выручке
  • УчастникиCRM-маркетолог 12 STOREEZ, менеджер Mindbox
  • СрокМесяц
  • ИТИнтернет-магазин — собственная разработка, бэк-офис — RetailCRM, на кассах — «1C:Розница», платформа автоматизации маркетинга
  • Масштаб бизнеса46 розничных магазинов, ~1 млн клиентов в базе
  • ФишкаОпрос неактивных клиентов, который принес 905 откликов, 207 развернутых ответов и 28 заказов

Одна из самых быстрорастущих российских марок одежды

Мария Весёлкина

Мария Весёлкина, CRM-маркетолог 12 STOREEZ

Как формулировали гипотезы, как рассчитывали достоверность AB-тестов и какие неожиданные выводы сделали — рассказывает CRM-маркетолог 12 STOREEZ Мария Весёлкина.

Зачем запустили много AB-тестов

Мы в 12 STOREEZ используем пять каналов коммуникации: email, мобильные пуши, SMS, веб-пуши, пуш-уведомления OSMI Cards — и одних только новостных рассылок отправляем пять в неделю. Поэтому нагрузка на клиента высокая — в среднем 35 коммуникаций в месяц (включая транзакционные и сервисные).

При этом клиентам даем свободу выбора — на странице рассылок можно выбрать интересующие темы, например новинки, истории или sale. Это помогает сохранять отписки на уровне 0,1% в месяц.

0,1%
отписок в месяц

В августе мы заметили небольшое снижение активности клиентов и выручки от рассылок, поэтому провели аудит рассылок и стали работать над повышением эффективности каждой из них. Для этого запустили шесть AB-тестов. В дальнейшем планируем уходить от массовых рассылок и развивать триггерные цепочки.

Как проводили AB-тесты

Для проведения AB-тестов используем калькулятор достоверности AB-тестирования. Вводим параметры теста (ожидаемый абсолютный прирост, количество вариантов, достоверность, мощность и средний показатель) — и калькулятор выдает количество участников, необходимое для получения информативных результатов. В среднем для тестирования массовых рассылок нам нужно 17 тысяч человек.

Продолжительность тестов зависит от механики, которая проверяется, и того, триггерная это рассылка или массовая. Результаты массовой рассылки оцениваем через 3 часа, триггерной — через 7–14 дней. При тестировании триггерных писем в Mindbox на почту приходит уведомление, когда нужное количество писем отправлено.

Чтобы убедиться в результатах, каждый тест проводим по 5–10 раз.

Какие гипотезы проверяли

Гипотеза 1. Блок рекомендаций в рассылке «Брошенная корзина» снижает конверсию

«Брошенная корзина» отправляется, если клиент добавил товары в корзину и ушел с сайта без покупок. Мы засомневались: нужны ли в письме рекомендации? Не снижается ли конверсия из-за того, что в письме много кнопок?

Брошенная корзина
Вариант 1. Письмо содержит только напоминание о товаре в корзине
Брошенная корзина
Вариант 2. Письмо напоминает о товарах в корзине и предлагает товары, которые заинтересуют покупателя и дополнят образ

Гипотеза не подтвердилась.

Товарные рекомендации не влияют на конверсию в заказ в этом письме:

Вариант письма Конверсия в заказ
Без рекомендаций 0,8%
С рекомендациями 0,9%

Гипотеза 2. Обращение к клиенту по имени в веб-пуше «Брошенный просмотр» повышает click rate

Веб-пуш «Брошенный просмотр» отправляется, если клиент просматривал товар, но не добавил его в корзину и покинул сайт. Мы были уверены, что имя клиента в пуше повысит click rate.

Обращение обезличено
Вариант 1. Обращение обезличено
К клиенту обращаются по имени
Вариант 2. К клиенту обращаются по имени

Гипотеза не подтвердилась.

Использование имени в тексте веб-пушей не влияет на click rate.

Вариант письма Click rate
Без имени 2,3%
С именем 2%

Меня удивило, что использование имени не повлияло на click rate. Это идет вразрез с привычными представлениями. Возможно, такой результат связан с тестированием на веб-пушах, в других каналах ситуация будет другой. В любом случае не стоит полагаться на результаты только одного теста и слепо удалять обращение по имени во всех коммуникациях — нужно провести по несколько тестов в разных каналах.

Гипотеза 3. Смайлики в теме письма повышают open rate

Обычно мы в каждое письмо добавляли смайлики. Было мнение, что смайлики повышают open rate письма. Решили подтвердить это AB-тестированием.

В теме письма — смайлики
Вариант 1. В теме письма — смайлики
Тема письма без смайликов
Вариант 2. Тема письма без смайликов

Гипотеза не подтвердилась.

Письма без смайликов в теме открывают лучше.

Вариант письма Open rate
Со смайликами 11,4%
Без смайликов 12,7%

Возможно, это связано с тем, что многие компании добавляют смайлики в письма, и такие сообщения воспринимаются пользователями как спам. Без смайликов письмо кажется более важным.

Гипотеза 4. Чем короче письмо, тем выше click rate

Мы отправляем клиентам рассылки-лонгриды с образами из продукции бренда. Под каждым образом — описание одежды, с чем ее сочетать и для какого случая она подходит. Решили проверить, стоит ли каждый раз собирать несколько образов или один сработает лучше.

В письме пять комплектов одежды.
Вариант 1. В письме пять комплектов одежды. Клиент нажимает «Выбрать» под фото — открывается текст с разбором комплекта
Письмо с разбором одного образа
Вариант 2. Письмо с разбором одного образа

Гипотеза подтвердилась.

Короткое письмо собрало почти в два раза больше кликов.

Вариант письма Click rate
Лонгрид с пятью образами 0,8%
Короткое письмо с одним образом 1,4%

Гипотеза 5. Чем короче путь до целевого действия в попапе, тем выше конверсия

Новые клиенты видят на сайте попап для сбора email-адресов: мы предлагаем оставить адрес, чтобы получить на него плейлист для утренних пробежек. У одной группы клиентов попросили почту сразу, а второй сначала предложили плейлист и только потом попросили почту. Варианты попапа отличаются только дополнительной кнопкой — текст и картинка одинаковые.

Сразу просим электронную почту
Вариант 1. Сразу просим электронную почту
Сначала предлагаем плейлист
Вариант 2. Сначала предлагаем плейлист, затем просим подписаться на рассылку

Гипотеза не подтвердилась.

Попап с дополнительной кнопкой собрал больше контактов.

Вариант попапа Конверсия в оставленные контакты
С одной кнопкой 0,98%
С двумя кнопками 2,6%

Результат AB-теста стал для меня открытием, и хочется проверить его на других механиках. Обычно на курсах маркетинга говорят, что если от клиента нужно что-то получить, то стоит сразу попросить об этом и перенаправить на сайт или в приложение. Тест показал, что это не всегда так.

Результаты теста можно также связать с тем, что чем более премиальный сегмент, тем больше клиент хочет самостоятельности. Он сам понимает, что ему нужно, и лучше предоставить право выбора.

Гипотеза 6. Фотография товара в мобильном пуше «Теперь в наличии» повышает click rate

Клиент подписывается на товар и, когда продукт поступает в продажу, получает уведомление «Теперь в наличии». Это может быть SMS, email или мобильный пуш. Мы предположили, что покупателю полезно напомнить, как выглядит товар. Для проверки гипотезы отправляли два варианта мобильных пушей с одинаковым текстом.

С фотографией товара
Вариант 1. С фотографией товара
Без фотографии товара
Вариант 2. Без фотографии товара

Гипотеза не подтвердилась.

Клиенты активнее кликают по текстовым мобильным пушам — их click rate на 1,7% выше, чем у пушей с фото.

Мобильное push‑уведомление Click rate
С фото 12,5%
Без фото 14,2%

Результаты AB-тестов

Благодаря AB-тестам выяснили, что:

— Блок с товарными рекомендациями в рассылке «Брошенная корзина» не влияет на конверсию.

— Обращение к клиенту по имени в веб-пушах «Брошенный просмотр» не влияет на click rate.

— Письма без смайликов в теме открывают лучше.

— У коротких писем click rate выше, чем у лонгридов.

— Клиенты активнее делятся почтой, если в попапе несколько кнопок.

— Click rate у текстовых пушей «Теперь в наличии» выше, чем у пушей c фотографией.

Опрос для клиентов, которые перестали открывать письма

Клиентам, которые полгода не открывали наши письма, мы отправили опрос — напрямую спросили, что было не так. В опросе можно было выбрать один из пяти вариантов и оставить к нему текстовый комментарий.

Письмо с опросом
Письмо с опросом получили клиенты, которые не открывали письма 6 месяцев
905
кликов
207
текстовых ответов
28
заказов
Отправлено
83 904
Доставлено
99,1%
Open rate
15,2%
Click rate
4,2%
Отписки
0,7%

Было неожиданно, что клиенты оставили 207 текстовых развернутых ответов — они действительно хотели помочь нашим рассылкам стать лучше. Опрос не ведет на сайт или в приложение, но с его помощью удалось получить 28 заказов с сегмента, который не читал письма полгода.

Триггерная рассылка «Вы уже полгода с нами»

Сейчас готовим к запуску реактивационный триггер «Вы уже полгода с нами».

В этой рассылке рассказываем клиенту, как много сделали вместе: сколько писем прочитано, сколько заказов доставлено, сколько совершено визитов на сайт. На создание этой рассылки нас вдохновили сообщения от «Тинькофф» и «Яндекса» с подведением итогов года.

Рассылка «Вы уже полгода с нами» создана не для увеличения продаж, она работает на повышение лояльности и построение теплых дружеских отношений с клиентами.

Письмо с опросом
Из письма «Вы уже полгода с нами» клиент узнает, сколько прочитал писем, получил заказов и сколько раз зашел на сайт за 6 месяцев

P.S. В этой истории мы рассказывали о наших продуктах «Платформа клиентских данных (CDP)» и «Рассылки». Узнайте о продукте подробнее на его страницах или в разговоре с консультантом.