Как проходили тесты и почему провал гипотезы приносит пользу — читайте в новой истории в нашем блоге.
22 июля 2020
Как магазин мебели Divan.ru улучшает показатели email. 4 AB-теста с результатами
-
КлиентDivan.ru
-
Масштаб120 тысяч клиентов в базе
-
ИТИнтернет-магазин на собственной технологии, бэкофис «1C»
-
ЗадачиУвеличить показатели триггерных email-рассылок с помощью АB-тестов
-
УчастникиHead of Performance Divan.ru, менеджер Mindbox
Интернет-магазин товаров для дома с 13 офлайн-точками
Максим Рыжов, Head of Performance Divan.ru
Проверили 4 гипотезы:
- Если увеличить число товаров в письме «Брошенная категория», то процент кликов вырастет.
- Если подставить имя в тему письма, то количество открытий вырастет.
- Если призывать к действию в теме письма, то количество открытий вырастет.
- Если отправлять напоминание о подтверждении почты через шесть часов, а не спустя сутки, доля подтвердивших почту клиентов вырастет.
Гипотеза 1. Если увеличить число товаров в письме «Брошенная категория», то процент кликов вырастет
Письмо из сценария «Брошенная категория» отправляется, если клиент смотрел товарные категории, но не смотрел товары и не добавлял их в корзину. В этом случае отправляется подборка популярных товаров той категории, которую клиент просматривал последней.
Фрагмент письма «Брошенная категория»
Условия и гипотеза
Гипотеза: увеличение числа товаров в письме с 12 до 18 повысит click rate. Предполагалось, что так клиент с бóльшей вероятностью найдет подходящий товар. Настроили два варианта рассылки, в каждой подставили разное количество товаров.
Результат
Гипотеза с треском провалилась :-)
Количество товаров в письме не повлияло ни на конверсию, ни на клики. Кажется, 12 товаров достаточно, чтобы сделать выбор!
| Вариант письма | % кликов | Конверсия в заказы по last click |
| 12 товаров в рассылке | 5% | 0,1% |
| 18 товаров в рассылке | 4,9% | 0,1% |
Гипотеза 2. Если подставить имя в тему письма, то количество открытий вырастет
Divan.ru собирает в единую CDP из разных источников данные о клиентах, в том числе имена. Однако персональные обращения в письмах ранее не использовались. Решили проверить, принесет ли пользу подстановка имени.
Условия и гипотеза
Гипотеза: подстановка имени в теме письма сделает рассылку заметнее для читателя в почтовом ящике, что увеличит вероятность открытия. Гипотезу проверяли на двух триггерах: «Брошенный просмотр» и письмо с рекомендациями к следующему заказу. В каждом сценарии было два варианта рассылок: без имени и с ним.
Варианты письма с именем и без имени в теме
Результат
Гипотеза подтвердилась.
Письмо «Брошенный просмотр» открывают на ~9% чаще, если в рассылке подставляется обращение по имени. На конверсии в заказы это, впрочем, не сказалось.
| Вариант письма | % открытий | Конверсия в заказы по last click |
| С именем | 32,70% | 0,3% |
| Без имени | 30,10% | 0,3% |
В письме с рекомендациями к следующему заказу ситуация похожая, но достоверных результатов со статистической значимостью так и не набралось.
Гипотеза 3. Если призывать к действию в теме письма, то количество открытий вырастет
Divan.ru и агентство Kokoc создали триггер, который отправляется, если у клиента был брошенный просмотр дорогого товара. В этом письме интернет-магазин рассказывает о возможностях покупки мебели в рассрочку.
Условия и гипотеза
Гипотеза: дополнительный призыв к действию в теме письма привлечет внимание и побудит открыть письмо. Письмо дорогого брошенного просмотра отправляется, если клиент изучил товары со стоимостью выше среднего чека. Было два варианта рассылки — с дополнительным призывом к действию и без:
- Не откладывайте покупки на завтра!
- Возвращайтесь! Не откладывайте покупки на завтра!
Варианты письма с призывом и без призыва в теме
Результат
Гипотеза подтвердилась частично.
Статистически значимой разницы добиться не удалось, но спустя несколько тысяч отправок результаты варианта с призывом к действию немного выше. Забавно, что выросли не только открытия, но и клики — их больше на ~13%.
Извлекли полезный урок: если письмо отправляется редко, лучше не тратить время на проверку небольших гипотез. Польза будет незначительной.
| Вариант письма | % открытий | % кликов |
| Без призыва к действию | 29,33% | 4,70% |
| С призывом к действию | 30,26% | 5,31% |
Гипотеза 4. Если отправлять напоминание о подтверждении почты через шесть часов, а не спустя сутки, доля подтвердивших почту клиентов вырастет
Когда клиент подписывается на рассылку, Divan.ru отправляет письмо для подтверждения почтового адреса. Если клиент игнорирует первое письмо, ему отправляется письмо-напоминание.
Письмо с повторной просьбой подтвердить почтовый адрес
Условия и гипотеза
Гипотеза: если отправлять рассылку с напоминанием о подтверждении почты раньше, то подтверждать почту будут на 10–15% чаще. Изначально письмо-напоминание отправлялось спустя сутки. За 24 часа клиент мог забыть, что хотел подписаться на рассылки. Проверили, что будет, если отправлять напоминание спустя 6 часов.
Результат
Гипотеза подтвердилась.
Если отправлять письмо раньше, клиенты чаще вспоминают про то, что надо подписаться на рассылку. Конверсия в заказы тоже оказалась выше. Относительно оригинального варианта кликов больше на ~39,5%, а относительно заказов — на 25%.
| Вариант письма | % открытий | Конверсия в заказы |
| Отправка спустя 6 часов | 18% | 1% |
| Отправка спустя сутки | 12,9% | 0,8% |
отзыв клиента
Из плюсов Mindbox отмечу автоматическую дедубликацию клиентской базы, удобную выгрузку всевозможных отчетов и большое количество настроек AB-тестирования любых метрик с учетом правил статистики.
Нравится, что в рассылках много блоков с динамической и персонализированной информацией: блок рекомендаций, блок похожих товаров, блок с новинками, блок с популярными товарами.
Хотим, чтобы в системе появилась возможность рекомендовать похожие товары с более низкой стоимостью и товары определенной категории с самой низкой ценой.
Максим Рыжов, Head of Performance Divan.ru
Выводы по результатам АB-тестов
- Добавление еще шести товаров в письмо, в котором есть уже 12 товаров, не приносит пользы. Возможно, становится даже хуже: от широты ассортимента наступает «паралич выбора».
- Подстановка имени в теме письма увеличивает открытия на ~9%.
- Дополнительный призыв к действию в теме письма может незначительно повысить открытия и клики.
- Отправлять письмо-напоминание о подтверждении почты спустя сутки — вредно. Клиент забывает, что хотел подписаться на рассылку. Лучше отправлять рассылку через шесть часов.
Следующие шаги
В будущем Divan.ru совместно с агентством Profitator планирует улучшить триггерные рассылки, добавив новые динамические блоки: товар недели, актуальные акции, свежий контент из Instagram-аккаунта. Эффективность изменений тоже измерим с помощью АB-тестирований.
Если вам требуется помощь в разработке стратегии email-маркетинга или управлении email-каналом, обращайтесь к нашим партнерам Profitator.
