+40% к доходу триггерных рассылок. 8 тестов интернет-магазина «МегаФон» с ML-рекомендациями

Интернет-магазин «МегаФон» продает смартфоны, планшеты и аксессуары к ним, а также тарифные планы оператора «МегаФон». Появился 13 лет назад.
Масштаб бизнеса. 
1,3 млн клиентов в базе 
автор
Михаил Морозов,
руководитель интернет-магазина «МегаФон»
Задача
Увеличить доход CRM
Решение
Обновить триггерные сценарииПротестировать ML-рекомендации в триггерных рассылкахПовысить эффективность других инструментов: улучшить дизайн и темы массовых рассылок, активнее собирать контакты на сайте
Результат
+50% к доходу от всех CRM-каналов (email, попапы, пуши)+16% к доле CRM в общей выручке+50% к доходу от email+40% к доходу от триггерных рассылок3,3% → 4,7% click rate триггерных рассылок

ИТ. 

Самописный сайт, платформа автоматизации маркетинга Mindbox

Срок. 

9 месяцев
В 2023 году интернет-магазин «МегаФон» усилил CRM-маркетинг: добавил новые сценарии, улучшил дизайн и темы массовых рассылок, стал регулярно собирать контакты на сайте.
При этом главные изменения коснулись триггеров. Бизнес не только внедрил новые механики, но и добавил в них ML-рекомендации. Эти алгоритмы самостоятельно анализируют всю историю клиента и находят закономерности между ними. В итоге к сентябрю 2023 года триггеры принесли на 40% больше выручки, чем в 2022 году.
Каждую механику с ML-рекомендациями проверяли с помощью AB-теста: сравнивали ML с другими алгоритмами Mindbox или с письмами без рекомендаций. А также замеряли инкрементальный эффект от механик при помощи тестов с контрольной группой.
В материале — целое исследование того, как рекомендации влияют на эффективность триггеров.

Результаты CRM за 2023 год

  • +50%
    к доходу от всех CRM-каналов (email, попапы, пуши)
  • +50%
    к доходу от email
  • +16% 
    к доле CRM в общей выручке
  • 6,5%
    доля CRM в выручке интернет-магазина

Сравнивались данные за 9 месяцев 2022 и 2023 года с января по сентябрь включительно. Доход измеряется в оформленных заказах (не все оформленные заказы выкупаются клиентами). Источник данных — отчеты Mindbox. Метод атрибуции — last click

  • +40%  
    к доходу от триггерных рассылок
  • 3,3% → 4,7%
    click rate триггерных рассылок

Сравнивались данные за 9 месяцев 2022 и 2023 года с января по сентябрь включительно. Источник данных — отчеты Mindbox. Метод атрибуции — last click

Как устроен прямой маркетинг «МегаФона»

Интернет-магазин — часть большого «МегаФона». Он отвечает за привлечение новых пользователей через онлайн-каналы, а также помогает продавать оборудование и смартфоны абонентам «МегаФона».
Базы магазина и оператора различаются. Основной «МегаФон» коммуницирует с абонентами — им продают услуги сотовой связи. А вот аудитория интернет-магазина больше интересуется мобильным оборудованием.
Различаются и каналы коммуникации. Оператор «МегаФон» использует SMS и мобильные пуши. Команда магазина коммуницирует только с неабонентами и может использовать только их почты — такова политика компании. Их каналы: email, веб-пуши и попапы.
Как выбирали и внедряли CDP. Когда команда интернет-магазина «МегаФон» подключала Mindbox два года назад, им нужен был инструмент, который помогает:
  • отправлять массовые и автоматические рассылки;
  • настраивать гибкие сегменты по географии, покупкам и действиям на сайте;
  • размещать попапы на сайте. Команда «МегаФон» считает их эффективным инструментом для подсказок пользователю;
  • отслеживать эффективность коммуникаций. Нужно было следить за open rate, click rate, конверсией в заказ, выкупаемостью и средним чеком.

Что повлияло на результаты CRM в 2023 году (кроме ML-рекомендаций)

Этот кейс — про ML-рекомендации, но для понимания результатов стоит упомянуть и другие изменения в CRM, которые повлияли на выручку и другие показатели интернет-магазина.
Что изменили в CRM:
  • +60% 
    к числу привлеченных подписчиков
    за 2023 год по сравнению с 2022
Начали активнее собирать контакты на сайте. Главное изменение — стали регулярно использовать на сайте игровые механики «три в ряд» и «колесо Фортуны» — их запускают постоянно, чередуя раз в две недели. Также усилили цепочку DOI — раньше только один раз напоминали клиенту о том, что надо подтвердить согласие на рассылку, а теперь таких напоминаний три.
Картинка
Игровая механика «Три в ряд»
Картинка
Игровая механика «Колесо Фортуны»
  • +20%
    выручка от массовых рассылок за 2023 год по сравнению с 2022
Обновили массовые рассылки. У писем появился новый дизайн и новые блоки, например новинки, обзоры, отзывы и интересные товары с описанием. Также в рассылках стали взаимодействовать с большей базой — каждый месяц отправляют письма с игровыми механиками и контентные рассылки для неабонентов.
Картинка
Рассылка к началу учебного года в старом дизайне
Картинка
Рассылка о закрытой распродаже в новом дизайне
  • +150%
    выручка от попапов
    за 2023 год по сравнению с 2022
Запустили попапы на сайте на регулярной основе. Раньше в попапах предлагали подписаться на веб-пуши и email-рассылки. Теперь же на постоянной основе добавили попапы с закрытой распродажей, товаром дня (механику запускают каждый день), и счастливыми часами (каждые выходные), а также попапы на отдельные товары, например на б/у телефоны. Теперь в планах запустить попап «хочу в подарок» — есть гипотеза, что механика отлично отработает под Новый год.

Зачем подключали ML-рекомендации

ML-рекомендации «МегаФон» подключил в марте 2023 года. До этого в рассылках использовали алгоритм рекомендаций «популярные товары». Он берет список продуктов, с которыми чаще всего взаимодействуют клиенты на сайте, и рекомендует их всем клиентам. За счет добавления ML-рекомендаций рассчитывали увеличить доходность триггерных рассылок. Главной прокси-метрикой был click rate — ожидали, что он значительно возрастет.
В Mindbox есть 14 алгоритмов рекомендаций. Из них к ML-алгоритмам относятся:
«Персональные рекомендации». Предсказывают, какой продукт клиент захочет купить. Для этого анализируют полную историю действий клиента: поведение на сайте, покупки, средний чек, а также клиентов с похожим потребительским поведением.
«Событийные персональные рекомендации». Принцип такой же, как у персональных рекомендаций. Только обычные персональные рекомендации пересчитываются раз в сутки, а событийные — в реальном времени в зависимости от действий клиента.
«Сопутствующие продукты». Алгоритм изучает, какие товары часто приобретают вместе, и на основе данных формирует рекомендации. Например, к телефону Samsung посоветует определенный чехол. Персональная история клиента в данном случае не важна. Алгоритм анализирует, как часто два товара покупали вместе.
«Сопутствующие к списку продуктов». Расширенный вариант алгоритма «сопутствующие продукты» — он подбирает рекомендации не к одному товару, а к списку товаров. Например, если клиент уже купил и телефон Samsung, и чехол к нему, алгоритм дополнительно предложит что-то к этой паре товаров.
Для внедрения ML-рекомендации «МегаФону» не требовалось дополнительных интеграций и участия разработчиков. Все необходимые данные по заказам и клиентам уже передавались в Mindbox. Сам алгоритм настраивается за 5 минут, затем еще пару часов он обучается на данных — и в бой: можно добавлять его в сценарии. С настройкой помогал менеджер клиентского успеха Mindbox.
Рекомендации добавили в механики:
  • брошенный просмотр;
  • брошенная корзина;
  • снижение цены на просмотренный товар;
  • просмотренный товар снова в наличии;
  • реактивационные триггеры.

AB-тест 1. «Брошенный просмотр товара»: «популярные товары» vs персональные рекомендации

Гипотеза. Если в рассылке заменить рекомендации «популярные товары» на персональные ML-рекомендации, пользователи активнее будут переходить в онлайн-магазин.
Ключевая метрика: click rate.
Срок: больше месяца — с 3 февраля по 9 марта 2023 года.
Тест и результаты: выборку поделили примерно пополам. Половине отправляли письмо с «популярными товарами», а другой половине — с персональными рекомендациями.
Статистически значимую разницу в пользу персональных рекомендаций можно увидеть только с вероятностью 80%. Этого недостаточно, чтобы утверждать, что они дают большую эффективность. Сделали вывод, что этот алгоритм механике не подходит и нужно протестировать другой.
Группа
Выборка
Click rate
«Популярные товары»
21 832
6,3%
Персональные рекомендации
22 031
6,6%
Достоверность теста — 80%
Картинка
Проверить результаты теста можно в калькуляторе достоверности AB-тестов Mindbox
Картинка
Рассылка, где в рекомендации выводятся самые популярные товары на сайте. Все контакты получили одинаковое письмо: в рекомендациях iPhone XS и HONOR X8
Картинка
Рассылка с персональными рекомендациями. В блоке «Обратите внимание» каждый клиент получил персональную подборку смартфонов

AB-тест 2. «Брошенный просмотр товара»: «популярные товары» vs «продукты, похожие на просмотренные в последней сессии»

В этот раз «популярные товары» конкурировали с алгоритмом «продукты, похожие на просмотренные в последней сессии». Он рекомендует продукты, похожие на те, что клиент последний раз смотрел на сайте. Например, если он изучал iPhone 12 mini — алгоритм предложит посмотреть похожие модели.
Гипотеза: алгоритм «продукты, похожие на просмотренные в последней сессии» выиграет у рекомендаций «популярные товары», и пользователи будут активнее переходить в онлайн-магазин.
Ключевая метрика: click rate.
Срок: тест был запущен 9 марта 2023 года. Результат зафиксировали через два месяца — 17 мая.
Тест и результаты: гипотеза подтвердилась. «Похожие продукты» выиграли у «популярных товаров» со статистической значимостью 84%. Теперь именно этот тип рекомендаций отправляется в механике «брошенный просмотр».
Группа
Выборка
Click rate
«Популярные товары»
39 102
6%
«Похожие продукты»
38 937
6,3%
Достоверность теста — 84%
Картинка
Рассылка с рекомендациями «популярные товары»
Картинка
Рассылка с рекомендациями «продукты, похожие на просмотренные в последней сессии»

AB-тест 3. «Брошенная корзина»: «популярные товары» vs «сопутствующие к корзине»

Гипотеза: если товарные рекомендации «популярные товары» заменить на рекомендации «сопутствующие к корзине», пользователей заинтересуют товары из рекомендаций, и они будут активнее оформлять заказы на сайте онлайн-магазина.
Ключевая метрика: конверсия в оформление заказа.
Срок: проводили тест почти три месяца — с 6 марта по 24 мая. Письма внутри этой механики отправляются не так часто, поэтому требовалось больше времени, чтобы получить статистически значимый результат.
Тест и результаты: выиграл вариант с рекомендациями «сопутствующие к корзине». Теперь в механике «брошенная корзина» используют его. Средний чек не был ключевой метрикой, но у выигравшего варианта он также оказался значительно выше.
Группа
Выборка
Конверсия
в оформление заказа
Средний чек
«Популярные товары»
9 193
6,5%
21 260 ₽
«Сопутствующие к корзине»
9 088
7%
29 489 ₽
Достоверность теста — 95%
Картинка
Рассылка с рекомендациями «популярные товары»
Картинка
Рассылка с рекомендациями «сопутствующие к корзине»

AB-тест 4. «Снижение цены на просмотренный товар»: без рекомендаций vs персональные рекомендации

До теста «МегаФон» не использовал рекомендации в этой механике. Ее задача — вернуть клиента на сайт за товаром, которым он интересовался ранее, так что в письме уже содержится понятный call to action. Но все же решили попробовать.
Гипотеза: персональные рекомендации увеличат количество переходов на сайт.
Ключевая метрика: click rate.
Срок: тест проводили две недели — с 1 по 16 июня.
Тест и результаты: вариант с рекомендациями дал прирост в click rate на 0,6 п. п. Результат оказался статистически значимым. Теперь все клиенты получают письмо с персональными рекомендациями.
Группа
Выборка
Click rate
Без рекомендаций
19 664
2,3%
С персональными рекомендациями
19 611
2,9%
Достоверность теста — 95%
Картинка
Письмо с персональными ML-рекомендациями
Картинка
Письмо без рекомендаций

AB-тест 5. «Товар снова в наличии»: без рекомендаций vs персональные рекомендации

Гипотеза. После удачного теста в механике «снижение цены на просмотренный продукт» решили подставить рекомендации и в другой триггер, где их раньше не использовали, — «товар снова в наличии».
Ключевая метрика: click rate.
Срок: более двух недель — с 1 по 16 июня.
Тест и результаты: значимой разницы при текущей выборке в click rate не было. 
Группа
Выборка
Click rate
Без рекомендаций
24 828
2%
С персональными рекомендациями
24 671
2,3%
Нет статистически значимой разницы
Предположили, что выбрали не самый подходящий алгоритм рекомендаций, и решили повторить тест с другим алгоритмом. По итогу двух тестов сделали вывод, что в этой механике вообще не стоит добавлять рекомендации. Все-таки ее цель — показать пользователю товар, которым он интересовался ранее, и таким образом вернуть в корзину. Рекомендации в этом случае только размывают внимание клиента.
Картинка
Письмо о товаре в наличии с персональными рекомендациями
Картинка
Письмо о товаре в наличии без рекомендаций

Тест с контрольной группой № 1. «Цена на просмотренный товар снижена»

После AB-тестов в эту механику добавили персональные рекомендации — они показали наибольшую эффективность. Чтобы убедиться, что механика сама по себе дает дополнительный эффект, запустили тест с контрольной группой.
Ключевая метрика: конверсия в оформление заказа.
Механика и срок. AB-тест настраивали через Mindbox. Он длился с 25 сентября по 12 октября. 10% участников попали в контрольную группу, 90% — в тестовую.
Тест и результаты: конверсия в оформление заказа у тестовой группы была выше, чем у контрольной группы.
Группа
Выборка
Конверсия в оформление заказа
Тестовая
15 080
1,2%
Контрольная
1 739
0,7%
Достоверность теста — 95%

Тест с контрольной группой № 2. «Просмотренный товар появился в наличии»

В эту механику в результате тестов добавили персональные рекомендации — они показали наибольшую эффективность. Раньше рекомендаций в механике не было. Тест с контрольной группой нужен, чтобы проверить эффективность механики.
Ключевая метрика: конверсия в оформление заказа.
Механика и срок. AB-тест настраивали в сценарии в Mindbox. Тестирование идет с 12 октября и, скорее всего, продлится до Нового года.
Тест и результаты. Тестирование еще идет — нужно набрать достоверность. Но по предварительным результатам видим, что конверсия в оформление заказа у тестовой группы выше. Средний чек не был ключевой метрикой теста, но он тоже значительно выше у тестовой группы.
Группа
Выборка
Конверсия в оформление заказа
Средний чек
Тестовая
6 903
0,4%
45 378 ₽
Контрольная
784
0,26%
8 370 ₽
Тест еще идет, чтобы набрать статистическую значимость
P. S. В этой истории мы рассказывали о наших продуктах Рассылки и ML-рекомендации. Узнайте о продуктах подробнее на их страницах или в разговоре с консультантом.