Как проходили тесты и почему провал гипотезы приносит пользу — читайте в новой истории в нашем блоге.
Как магазин мебели Divan.ru улучшает показатели email. 4 AB-теста с результатами
Интернет-магазин товаров для дома с 13 офлайн-точками
Задача
Увеличить показатели триггерных email-рассылок с помощью АB-тестов
ИТ.
Интернет-магазин на собственной технологии, бэкофис «1C»
22 июля 2020
2 года назад мы в отдельной публикации рассказали, как Divan.ru запустил в Mindbox 20 триггеров и увеличил выручку email-канала по методу last click в четыре раза
Проверили 4 гипотезы:
- Если увеличить число товаров в письме «Брошенная категория», то процент кликов вырастет.
- Если подставить имя в тему письма, то количество открытий вырастет.
- Если призывать к действию в теме письма, то количество открытий вырастет.
- Если отправлять напоминание о подтверждении почты через шесть часов, а не спустя сутки, доля подтвердивших почту клиентов вырастет.
Гипотеза 1. Если увеличить число товаров в письме «Брошенная категория», то процент кликов вырастет
Письмо из сценария «Брошенная категория» отправляется, если клиент смотрел товарные категории, но не смотрел товары и не добавлял их в корзину. В этом случае отправляется подборка популярных товаров той категории, которую клиент просматривал последней.
Фрагмент письма «Брошенная категория»
Условия и гипотеза
Гипотеза: увеличение числа товаров в письме с 12 до 18 повысит click rate. Предполагалось, что так клиент с бóльшей вероятностью найдет подходящий товар. Настроили два варианта рассылки, в каждой подставили разное количество товаров.
Результат
Гипотеза с треском провалилась :-)
Количество товаров в письме не повлияло ни на конверсию, ни на клики. Кажется, 12 товаров достаточно, чтобы сделать выбор!
Вариант письма
% кликов
Конверсия в заказы по last click
12 товаров в рассылке
5%
0,1%
18 товаров в рассылке
4,9%
0,1%
Гипотеза 2. Если подставить имя в тему письма, то количество открытий вырастет
Фрагмент письма «Брошенный просмотр»
Divan.ru собирает в единую CDP из разных источников данные о клиентах, в том числе имена. Однако персональные обращения в письмах ранее не использовались. Решили проверить, принесет ли пользу подстановка имени.
Условия и гипотеза
Гипотеза: подстановка имени в теме письма сделает рассылку заметнее для читателя в почтовом ящике, что увеличит вероятность открытия. Гипотезу проверяли на двух триггерах: «Брошенный просмотр» и письмо с рекомендациями к следующему заказу. В каждом сценарии было два варианта рассылок: без имени и с ним.
Варианты письма с именем и без имени в теме
Результат
-
+9%открытий писем Divan.ru, если в теме есть имя
Гипотеза подтвердилась.
Письмо «Брошенный просмотр» открывают на ~9% чаще, если в рассылке подставляется обращение по имени. На конверсии в заказы это, впрочем, не сказалось.
Вариант письма
% открытий
Конверсия в заказы по last click
С именем
32,70%
0,3%
Без имени
30,10%
0,3%
В письме с рекомендациями к следующему заказу ситуация похожая, но достоверных результатов со статистической значимостью так и не набралось.
Гипотеза 3. Если призывать к действию в теме письма, то количество открытий вырастет
Фрагмент рассылки о дорогом брошенном просмотре с предложением о рассрочке
Divan.ru и агентство Kokoc создали триггер, который отправляется, если у клиента был брошенный просмотр дорогого товара. В этом письме интернет-магазин рассказывает о возможностях покупки мебели в рассрочку.
Условия и гипотеза
Гипотеза: дополнительный призыв к действию в теме письма привлечет внимание и побудит открыть письмо. Письмо дорогого брошенного просмотра отправляется, если клиент изучил товары со стоимостью выше среднего чека. Было два варианта рассылки — с дополнительным призывом к действию и без:
- Не откладывайте покупки на завтра!
- Возвращайтесь! Не откладывайте покупки на завтра!
Варианты письма с призывом и без призыва в теме
Результат
Гипотеза подтвердилась частично.
Статистически значимой разницы добиться не удалось, но спустя несколько тысяч отправок результаты варианта с призывом к действию немного выше. Забавно, что выросли не только открытия, но и клики — их больше на ~13%.
Извлекли полезный урок: если письмо отправляется редко, лучше не тратить время на проверку небольших гипотез. Польза будет незначительной.
Вариант письма
% открытий
% кликов
Без призыва к действию
29,33%
4,70%
С призывом к действию
30,26%
5,31%
Гипотеза 4. Если отправлять напоминание о подтверждении почты через шесть часов, а не спустя сутки, доля подтвердивших почту клиентов вырастет
Когда клиент подписывается на рассылку, Divan.ru отправляет письмо для подтверждения почтового адреса. Если клиент игнорирует первое письмо, ему отправляется письмо-напоминание.
Письмо с повторной просьбой подтвердить почтовый адрес
Условия и гипотеза
Гипотеза: если отправлять рассылку с напоминанием о подтверждении почты раньше, то подтверждать почту будут на 10–15% чаще. Изначально письмо-напоминание отправлялось спустя сутки. За 24 часа клиент мог забыть, что хотел подписаться на рассылки. Проверили, что будет, если отправлять напоминание спустя 6 часов.
Результат
Гипотеза подтвердилась.
Если отправлять письмо раньше, клиенты чаще вспоминают про то, что надо подписаться на рассылку. Конверсия в заказы тоже оказалась выше. Относительно оригинального варианта кликов больше на ~39,5%, а относительно заказов — на 25%.
Вариант письма
% открытий
Конверсия в заказы
Отправка спустя 6 часов
18%
1%
Отправка спустя сутки
12,9%
0,8%
Из плюсов Mindbox отмечу автоматическую дедубликацию клиентской базы, удобную выгрузку всевозможных отчетов и большое количество настроек AB-тестирования любых метрик с учетом правил статистики.
Нравится, что в рассылках много блоков с динамической и персонализированной информацией: блок рекомендаций, блок похожих товаров, блок с новинками, блок с популярными товарами.
Хотим, чтобы в системе появилась возможность рекомендовать похожие товары с более низкой стоимостью и товары определенной категории с самой низкой ценой.
Выводы по результатам АB-тестов
- Добавление еще шести товаров в письмо, в котором есть уже 12 товаров, не приносит пользы. Возможно, становится даже хуже: от широты ассортимента наступает «паралич выбора».
- Подстановка имени в теме письма увеличивает открытия на ~9%.
- Дополнительный призыв к действию в теме письма может незначительно повысить открытия и клики.
- Отправлять письмо-напоминание о подтверждении почты спустя сутки — вредно. Клиент забывает, что хотел подписаться на рассылку. Лучше отправлять рассылку через шесть часов.
Следующие шаги
В будущем Divan.ru совместно с агентством Profitator планирует улучшить триггерные рассылки, добавив новые динамические блоки: товар недели, актуальные акции, свежий контент из Instagram-аккаунта. Эффективность изменений тоже измерим с помощью АB-тестирований.
Если вам требуется помощь в разработке стратегии email-маркетинга или управлении email-каналом, обращайтесь к нашим партнерам Profitator.
