Как «Первый Мебельный» улучшил показатели рассылок до 25% с помощью AB-тестов

Сеть магазинов строит процессы email-коммуникации на нашей платформе, от триггерных сценариев до индивидуальных рассылок. Сделать и запустить десятки автоматических кампаний мало, стратегия рассылок требует постоянного совершенствования и тестирования. Ниже AB-тесты, которые мы провели, и полученные результаты.

«Первый Мебельный» — это федеральная сеть мебельных магазинов в России и интернет-магазин. Сеть работает в Москве, Туле, Рязани, Новомосковске и других регионах. Услугами «Первого Мебельного» воспользовались более 200 тысяч клиентов.

В платформе Mindbox маркетолог интернет-магазина «Первого Мебельного» настроила более десяти автоматических сценариев. Запущенные кампании оптимизировали с помощью AB-тестирования.

Рассказываем, как с помощью AB-тестов улучшили показатели автоматических коммуникаций. В кейсе — результаты четырех тестов со статистически достоверной разницей в результатах:

• Персональные рекомендации Mindbox на основе машинного обучения против ручной подборки в разовой рассылке.
• Подстановка персонального обращения в письме про брошенный просмотр.
• Призыв к действию в теме рассылки для тех, кто не открывает письма.
• Дополнительный call-to-action в письме-реактивации по заказам.

Персональные рекомендации на основе машинного обучения против ручной подборки в разовой рассылке

Определение гипотезы

Автоматические персональные рекомендации на основе машинного обучения будут эффективнее подборки товаров, собранной маркетологом для разовой рекламной рассылки.

Настройки рассылки

Ручная разовая рассылка отправлялась по всей подписанной базе клиентов «Первого Мебельного».

Всего было два варианта:

• С ручной подборкой товаров, составленной маркетологом PM.ru,
• С автоматической подборкой персональных рекомендаций на основе машинного обучения.

Версия рассылки с ручной подборкой товаров

Результаты тестирования

Гипотеза подтвердилась. Различия статистически значимы при доверительной вероятности 95%.

Разница в кликах составила 0,2%, в конверсии в заказы — 0,014%. Таким образом, подстановка персональных рекомендаций увеличивает клики на ~6% и конверсию в заказы на 47%.

Подстановка имени в тему письма

Определение гипотезы

Подстановка имени клиента в теме письма привлечет внимание и увеличит шанс открытия письма.

Настройка рассылки

Для эксперимента взяли рассылку про брошенный просмотр товара — когда клиент смотрит товары на сайте, но не добавляет их в корзину, мы отправляем письмо со списком просмотренных товаров. В тестировании участвовали только те клиенты, у которых было заполнено имя.

Всего было два варианта письма:

• Филипп, здесь всё, что вам понравилось ?
• Здесь всё, что вам понравилось ?

Пример письма «Брошенный просмотр»

Результаты тестирования

Гипотеза подтвердилась. Различия статистически значимы при доверительной вероятности 95%.

Разница в открытиях составила 1,7% относительно доставленных сообщений. Таким образом, подстановка имени увеличивает открытия на ~4%.

Призыв к действию в теме письма-реактивации

Определение гипотезы

Письмо с призывом к действию в теме покажет более высокий open rate.

Настройка рассылки

Если клиент в течение трех месяцев не открывает ручные email-рассылки, срабатывает автоматическая кампания-реактивация. Отправляем письмо с подборкой популярных товаров.

Всего было два варианта письма:

• Возвращайтесь! Вы пропустили много интересного!
• Вы пропустили много интересного!

Пример письма-реактивации по тем, кто не открывает письма

Результаты тестирования

Гипотеза подтвердилась. Различия статистически значимы при доверительной вероятности 95%.

Разница в открытиях составила 0,58% относительно доставленных сообщений. Таким образом, подстановка призыва к действию увеличивает открытия на 25%.

Дополнительный call-to-action в письме-реактивации по заказам

Определение гипотезы

Подстановка кнопки с призывом к действию — использовать промокод и оформить заказ — увеличит количество переходов на сайт.

Настройка рассылки

Если клиент в течение трех месяцев не совершает заказы, срабатывает автоматическая кампания-реактивация. Отправляем ему подборку популярных товаров и промокод на следующий заказ.

Всего было два варианта:

• С кнопкой «Воспользоваться промокодом»
• Без кнопки

Пример письма-реактивации с тестированием call-to-action кнопки

Результаты тестирования

Гипотеза подтвердилась.

Разница в кликах составила 0,26% относительно доставленных сообщений. Таким образом, подстановка призыва к действию увеличивает клики на 20%.