12 STOREEZ получает 30% выручки через прямые коммуникации. 6 AB‑тестов с результатами

Одна из самых быстрорастущих российских марок одежды

Масштаб бизнеса. 
46 розничных магазинов, ~1 млн клиентов в базе
Автор
Мария Весёлкина,
CRM-маркетолог 12 STOREEZ
Задача
Увеличить долю выручки от прямых коммуникацийВыяснить, почему часть клиентов не читает рассылки
Решение
Провели AB-тесты email-рассылок, веб-пушей, попапов, мобильных пушейЗапустили опрос неактивных подписчиков

ИТ. 

Интернет-магазин — собственная разработка, бэк-офис — RetailCRM, на кассах — «1C:Розница», платформа автоматизации маркетинга
Результат
30,43% — доля выручки от прямых коммуникаций в общей выручке

Срок. 

Месяц
Фишка
Опрос неактивных клиентов, который принес 905 откликов, 207 развернутых ответов и 28 заказов
  • 30,43%
    доля выручки от прямых коммуникаций в общей выручке. Данные из сводного отчета Mindbox, метод атрибуции last click
В среднем клиент получает 35 массовых, триггерных и транзакционных рассылок в месяц. Чтобы повысить их эффективность и увеличить выручку от прямых коммуникаций провели AB-тесты и проверили 6 гипотез:
Как формулировали гипотезы, как рассчитывали достоверность AB-тестов и какие неожиданные выводы сделали — рассказывает CRM-маркетолог 12 STOREEZ Мария Весёлкина.

Зачем запустили много AB-тестов

Мы в 12 STOREEZ используем пять каналов коммуникации: email, мобильные пуши, SMS, веб-пуши, пуш-уведомления OSMI Cards — и одних только новостных рассылок отправляем пять в неделю. Поэтому нагрузка на клиента высокая — в среднем 35 коммуникаций в месяц (включая транзакционные и сервисные).



  • 0,1%
    отписок в месяц
При этом клиентам даем свободу выбора — на странице рассылок можно выбрать интересующие темы, например новинки, истории или sale. Это помогает сохранять отписки на уровне 0,1% в месяц.
В августе мы заметили небольшое снижение активности клиентов и выручки от рассылок, поэтому провели аудит рассылок и стали работать над повышением эффективности каждой из них. Для этого запустили шесть AB-тестов. В дальнейшем планируем уходить от массовых рассылок и развивать триггерные цепочки.

Как проводили AB-тесты

Для проведения AB-тестов используем калькулятор достоверности AB-тестирования. Вводим параметры теста (ожидаемый абсолютный прирост, количество вариантов, достоверность, мощность и средний показатель) — и калькулятор выдает количество участников, необходимое для получения информативных результатов. В среднем для тестирования массовых рассылок нам нужно 17 тысяч человек.

Продолжительность тестов зависит от механики, которая проверяется, и того, триггерная это рассылка или массовая. Результаты массовой рассылки оцениваем через 3 часа, триггерной — через 7–14 дней. При тестировании триггерных писем в Mindbox на почту приходит уведомление, когда нужное количество писем отправлено.

Чтобы убедиться в результатах, каждый тест проводим по 5–10 раз.

Какие гипотезы проверяли

Гипотеза 1. Блок рекомендаций в рассылке «Брошенная корзина» снижает конверсию

«Брошенная корзина» отправляется, если клиент добавил товары в корзину и ушел с сайта без покупок. Мы засомневались: нужны ли в письме рекомендации? Не снижается ли конверсия из-за того, что в письме много кнопок?
Брошенная корзина
Вариант 1. Письмо содержит только напоминание о товаре в корзине
Брошенная корзина
Вариант 2. Письмо напоминает о товарах в корзине и предлагает товары, которые заинтересуют покупателя и дополнят образ

Гипотеза не подтвердилась.

Товарные рекомендации не влияют на конверсию в заказ в этом письме:
Вариант письма
Конверсия в заказ
Без рекомендаций
0,8%
С рекомендациями
0,9%

Гипотеза 2. Обращение к клиенту по имени в веб-пуше «Брошенный просмотр» повышает click rate

Веб-пуш «Брошенный просмотр» отправляется, если клиент просматривал товар, но не добавил его в корзину и покинул сайт. Мы были уверены, что имя клиента в пуше повысит click rate.
Обращение обезличено
Вариант 1. Обращение обезличено
К клиенту обращаются по имени
Вариант 2. К клиенту обращаются по имени

Гипотеза не подтвердилась.

Использование имени в тексте веб-пушей не влияет на click rate.
Вариант письма
Click rate
Без имени
2,3%
С именем
2%
Меня удивило, что использование имени не повлияло на click rate. Это идет вразрез с привычными представлениями. Возможно, такой результат связан с тестированием на веб-пушах, в других каналах ситуация будет другой. В любом случае не стоит полагаться на результаты только одного теста и слепо удалять обращение по имени во всех коммуникациях — нужно провести по несколько тестов в разных каналах.

Гипотеза 3. Смайлики в теме письма повышают open rate

Обычно мы в каждое письмо добавляли смайлики. Было мнение, что смайлики повышают open rate письма. Решили подтвердить это AB-тестированием.
В теме письма — смайлики
Вариант 1. В теме письма — смайлики
Тема письма без смайликов
Вариант 2. Тема письма без смайликов

Гипотеза не подтвердилась.

Письма без смайликов в теме открывают лучше.
Вариант письма
Open rate
Со смайликами
11,4%
Без смайликов
12,7%
Возможно, это связано с тем, что многие компании добавляют смайлики в письма, и такие сообщения воспринимаются пользователями как спам. Без смайликов письмо кажется более важным.

Гипотеза 4. Чем короче письмо, тем выше click rate

Мы отправляем клиентам рассылки-лонгриды с образами из продукции бренда. Под каждым образом — описание одежды, с чем ее сочетать и для какого случая она подходит. Решили проверить, стоит ли каждый раз собирать несколько образов или один сработает лучше.
В письме пять комплектов одежды.
Вариант 1. В письме пять комплектов одежды. Клиент нажимает «Выбрать» под фото — открывается текст с разбором комплекта
Письмо с разбором одного образа
Вариант 2. Письмо с разбором одного образа

Гипотеза подтвердилась.

Короткое письмо собрало почти в два раза больше кликов.
Вариант письма
Click rate
Лонгрид с пятью образами
0,8%
Короткое письмо с одним образом
1,4%

Гипотеза 5. Чем короче путь до целевого действия в попапе, тем выше конверсия

Новые клиенты видят на сайте попап для сбора email-адресов: мы предлагаем оставить адрес, чтобы получить на него плейлист для утренних пробежек. У одной группы клиентов попросили почту сразу, а второй сначала предложили плейлист и только потом попросили почту. Варианты попапа отличаются только дополнительной кнопкой — текст и картинка одинаковые.
Сразу просим электронную почту
Вариант 1. Сразу просим электронную почту
Сначала предлагаем плейлист
Вариант 2. Сначала предлагаем плейлист, затем просим подписаться на рассылку

Гипотеза не подтвердилась.

Попап с дополнительной кнопкой собрал больше контактов.
Вариант попапа
Конверсия в оставленные контакты
С одной кнопкой
0,98%
С двумя кнопками
2,6%
Результат AB-теста стал для меня открытием, и хочется проверить его на других механиках. Обычно на курсах маркетинга говорят, что если от клиента нужно что-то получить, то стоит сразу попросить об этом и перенаправить на сайт или в приложение. Тест показал, что это не всегда так.
Результаты теста можно также связать с тем, что чем более премиальный сегмент, тем больше клиент хочет самостоятельности. Он сам понимает, что ему нужно, и лучше предоставить право выбора.

Гипотеза 6. Фотография товара в мобильном пуше «Теперь в наличии» повышает click rate

Клиент подписывается на товар и, когда продукт поступает в продажу, получает уведомление «Теперь в наличии». Это может быть SMS, email или мобильный пуш. Мы предположили, что покупателю полезно напомнить, как выглядит товар. Для проверки гипотезы отправляли два варианта мобильных пушей с одинаковым текстом.
С фотографией товара
Без фотографии товара
Вариант 1. С фотографией товара
Вариант 2. Без фотографии товара

Гипотеза не подтвердилась.

Клиенты активнее кликают по текстовым мобильным пушам — их click rate на 1,7% выше, чем у пушей с фото.
Мобильное push‑уведомление
Click rate
С фото
12,5%
Без фото
14,2%

Результаты AB-тестов

Благодаря AB-тестам выяснили, что:
— Блок с товарными рекомендациями в рассылке «Брошенная корзина» не влияет на конверсию.
— Обращение к клиенту по имени в веб-пушах «Брошенный просмотр» не влияет на click rate.
— Письма без смайликов в теме открывают лучше.
— У коротких писем click rate выше, чем у лонгридов.
— Клиенты активнее делятся почтой, если в попапе несколько кнопок.
— Click rate у текстовых пушей «Теперь в наличии» выше, чем у пушей c фотографией.

Опрос для клиентов, которые перестали открывать письма

Клиентам, которые полгода не открывали наши письма, мы отправили опрос — напрямую спросили, что было не так. В опросе можно было выбрать один из пяти вариантов и оставить к нему текстовый комментарий.
Письмо с опросом
Письмо с опросом получили клиенты, которые не открывали письма 6 месяцев
  • 905
    кликов
  • 207
    текстовых ответов
  • 28
    заказов
  • Отправлено
    83 904
  • Доставлено
    99,1%
  • Open rate
    15,2%
  • Click rate
    4,2%
  • Отписки
    0,7%
Было неожиданно, что клиенты оставили 207 текстовых развернутых ответов — они действительно хотели помочь нашим рассылкам стать лучше. Опрос не ведет на сайт или в приложение, но с его помощью удалось получить 28 заказов с сегмента, который не читал письма полгода.

Триггерная рассылка «Вы уже полгода с нами»

Сейчас готовим к запуску реактивационный триггер «Вы уже полгода с нами».
В этой рассылке рассказываем клиенту, как много сделали вместе: сколько писем прочитано, сколько заказов доставлено, сколько совершено визитов на сайт. На создание этой рассылки нас вдохновили сообщения от «Тинькофф» и «Яндекса» с подведением итогов года.
Рассылка «Вы уже полгода с нами» создана не для увеличения продаж, она работает на повышение лояльности и построение теплых дружеских отношений с клиентами.
Письмо с опросом
Из письма «Вы уже полгода с нами» клиент узнает, сколько прочитал писем, получил заказов и сколько раз зашел на сайт за 6 месяцев
P.S. В этой истории мы рассказывали о наших продуктах «Платформа клиентских данных (CDP)» и «Рассылки». Узнайте о продукте подробнее на его страницах или в разговоре с консультантом.