В материале — целое исследование того, как рекомендации влияют на эффективность триггеров.
+40% к доходу триггерных рассылок. 8 тестов интернет-магазина «МегаФон» с ML-рекомендациями
Интернет-магазин «МегаФон» продает смартфоны, планшеты и аксессуары к ним, а также тарифные планы оператора «МегаФон». Появился 13 лет назад.
Масштаб бизнеса.
1,3 млн клиентов в базе
Задача
Увеличить доход CRM
Решение
Обновить триггерные сценарииПротестировать ML-рекомендации в триггерных рассылкахПовысить эффективность других инструментов: улучшить дизайн и темы массовых рассылок, активнее собирать контакты на сайте
Результат
+50% к доходу от всех CRM-каналов (email, попапы, пуши)+16% к доле CRM в общей выручке+50% к доходу от email+40% к доходу от триггерных рассылок3,3% → 4,7% click rate триггерных рассылок
ИТ.
Самописный сайт, платформа автоматизации маркетинга Mindbox
Срок.
9 месяцев
6 декабря 2023
В 2023 году интернет-магазин «МегаФон» усилил CRM-маркетинг: добавил новые сценарии, улучшил дизайн и темы массовых рассылок, стал регулярно собирать контакты на сайте.
При этом главные изменения коснулись триггеров. Бизнес не только внедрил новые механики, но и добавил в них ML-рекомендации. Эти алгоритмы самостоятельно анализируют всю историю клиента и находят закономерности между ними. В итоге к сентябрю 2023 года триггеры принесли на 40% больше выручки, чем в 2022 году.
Каждую механику с ML-рекомендациями проверяли с помощью AB-теста: сравнивали ML с другими алгоритмами Mindbox или с письмами без рекомендаций. А также замеряли инкрементальный эффект от механик при помощи тестов с контрольной группой.
В материале — целое исследование того, как рекомендации влияют на эффективность триггеров.
Результаты CRM за 2023 год
-
+50%к доходу от всех CRM-каналов (email, попапы, пуши)
-
+50%к доходу от email
-
+16%к доле CRM в общей выручке
-
6,5%доля CRM в выручке интернет-магазина
Сравнивались данные за 9 месяцев 2022 и 2023 года с января по сентябрь включительно. Доход измеряется в оформленных заказах (не все оформленные заказы выкупаются клиентами). Источник данных — отчеты Mindbox. Метод атрибуции — last click
CRM-маркетинг появился в компании два года назад. Тогда мы подключили CDP и настроили первые механики. С тех пор эффективность прямых коммуникаций только росла. В течение 2023 года мы внедрили много изменений: обновили дизайн и темы массовых рассылок, добавили игровые механики для сбора контактов и стали регулярно использовать попапы для вовлечения пользователей.
-
+40%к доходу от триггерных рассылок
-
3,3% → 4,7%click rate триггерных рассылок
Сравнивались данные за 9 месяцев 2022 и 2023 года с января по сентябрь включительно. Источник данных — отчеты Mindbox. Метод атрибуции — last click
На рост дохода триггерных рассылок повлияли два фактора. В этом году мы запустили новые триггерные цепочки. Раньше у нас были «брошенный просмотр товара», «брошенная корзина», «цена на товар снижена» и «товар снова в наличии». Теперь добавились новые механики: «брошенный просмотр категории», «брошенное сравнение товара», письма о рассрочке, новинках, лучшем следующем предложении и другие.
Также в марте мы начали активно использовать в триггерах ML-рекомендации для стимулирования кросс-продаж. При этом мы провели ряд тестов, которые позволили понять, в каких механиках ML-рекомендации эффективны, а в каких — нет.
Как устроен прямой маркетинг «МегаФона»
Интернет-магазин — часть большого «МегаФона». Он отвечает за привлечение новых пользователей через онлайн-каналы, а также помогает продавать оборудование и смартфоны абонентам «МегаФона».
Базы магазина и оператора различаются. Основной «МегаФон» коммуницирует с абонентами — им продают услуги сотовой связи. А вот аудитория интернет-магазина больше интересуется мобильным оборудованием.
Различаются и каналы коммуникации. Оператор «МегаФон» использует SMS и мобильные пуши. Команда магазина коммуницирует только с неабонентами и может использовать только их почты — такова политика компании. Их каналы: email, веб-пуши и попапы.
Наша главная метрика — число заказов. Часто в онлайн-торговле смотрят также на LTV, отток и частоту заказов. Но в сегменте мобильной техники частота покупок невысока. Поэтому наш основной KPI — привлечение заказа.
Конечно, CRM — не основной канал привлечения выручки. Куда больше приносят маркетплейсы и контекстная реклама, работа на знание бренда. Но с точки зрения эффективности CRM — лучший канал. Он самый дешевый и направлен на клиентов, которые уже покупали у нас. Сейчас доля CRM в выручке интернет-магазина — 6,5%. Результат оцениваю как хороший.
Как выбирали и внедряли CDP. Когда команда интернет-магазина «МегаФон» подключала Mindbox два года назад, им нужен был инструмент, который помогает:
- отправлять массовые и автоматические рассылки;
- настраивать гибкие сегменты по географии, покупкам и действиям на сайте;
- размещать попапы на сайте. Команда «МегаФон» считает их эффективным инструментом для подсказок пользователю;
- отслеживать эффективность коммуникаций. Нужно было следить за open rate, click rate, конверсией в заказ, выкупаемостью и средним чеком.
Что повлияло на результаты CRM в 2023 году (кроме ML-рекомендаций)
Этот кейс — про ML-рекомендации, но для понимания результатов стоит упомянуть и другие изменения в CRM, которые повлияли на выручку и другие показатели интернет-магазина.
Что изменили в CRM:
-
+60%к числу привлеченных подписчиков
за 2023 год по сравнению с 2022
Начали активнее собирать контакты на сайте. Главное изменение — стали регулярно использовать на сайте игровые механики «три в ряд» и «колесо Фортуны» — их запускают постоянно, чередуя раз в две недели. Также усилили цепочку DOI — раньше только один раз напоминали клиенту о том, что надо подтвердить согласие на рассылку, а теперь таких напоминаний три.
Игровая механика «Три в ряд»
Игровая механика «Колесо Фортуны»
-
+20%выручка от массовых рассылок за 2023 год по сравнению с 2022
Обновили массовые рассылки. У писем появился новый дизайн и новые блоки, например новинки, обзоры, отзывы и интересные товары с описанием. Также в рассылках стали взаимодействовать с большей базой — каждый месяц отправляют письма с игровыми механиками и контентные рассылки для неабонентов.
Рассылка к началу учебного года в старом дизайне
Рассылка о закрытой распродаже в новом дизайне
-
+150%выручка от попапов
за 2023 год по сравнению с 2022
Запустили попапы на сайте на регулярной основе. Раньше в попапах предлагали подписаться на веб-пуши и email-рассылки. Теперь же на постоянной основе добавили попапы с закрытой распродажей, товаром дня (механику запускают каждый день), и счастливыми часами (каждые выходные), а также попапы на отдельные товары, например на б/у телефоны. Теперь в планах запустить попап «хочу в подарок» — есть гипотеза, что механика отлично отработает под Новый год.
Зачем подключали ML-рекомендации
ML-рекомендации «МегаФон» подключил в марте 2023 года. До этого в рассылках использовали алгоритм рекомендаций «популярные товары». Он берет список продуктов, с которыми чаще всего взаимодействуют клиенты на сайте, и рекомендует их всем клиентам. За счет добавления ML-рекомендаций рассчитывали увеличить доходность триггерных рассылок. Главной прокси-метрикой был click rate — ожидали, что он значительно возрастет.
Преимущество ML-рекомендаций в том, что они учатся самостоятельно. Алгоритмы анализируют всю историю клиента — покупки, действия на сайте — и сами находят закономерности между ними.
При этом для использования ML требуется минимум ручной настройки. Обычно нужно задать сегмент товаров, которые можно рекомендовать, а также проставить исключения, если они нужны. Например, компании из сферы продуктового ретейла ставят ограничения на добавление в рекомендации алкоголя, потому что реклама алкоголя запрещена.
В Mindbox есть 14 алгоритмов рекомендаций. Из них к ML-алгоритмам относятся:
«Персональные рекомендации». Предсказывают, какой продукт клиент захочет купить. Для этого анализируют полную историю действий клиента: поведение на сайте, покупки, средний чек, а также клиентов с похожим потребительским поведением.
«Событийные персональные рекомендации». Принцип такой же, как у персональных рекомендаций. Только обычные персональные рекомендации пересчитываются раз в сутки, а событийные — в реальном времени в зависимости от действий клиента.
«Сопутствующие продукты». Алгоритм изучает, какие товары часто приобретают вместе, и на основе данных формирует рекомендации. Например, к телефону Samsung посоветует определенный чехол. Персональная история клиента в данном случае не важна. Алгоритм анализирует, как часто два товара покупали вместе.
«Сопутствующие к списку продуктов». Расширенный вариант алгоритма «сопутствующие продукты» — он подбирает рекомендации не к одному товару, а к списку товаров. Например, если клиент уже купил и телефон Samsung, и чехол к нему, алгоритм дополнительно предложит что-то к этой паре товаров.
Для внедрения ML-рекомендации «МегаФону» не требовалось дополнительных интеграций и участия разработчиков. Все необходимые данные по заказам и клиентам уже передавались в Mindbox. Сам алгоритм настраивается за 5 минут, затем еще пару часов он обучается на данных — и в бой: можно добавлять его в сценарии. С настройкой помогал менеджер клиентского успеха Mindbox.
Рекомендации добавили в механики:
- брошенный просмотр;
- брошенная корзина;
- снижение цены на просмотренный товар;
- просмотренный товар снова в наличии;
- реактивационные триггеры.
Мы не стали вслепую добавлять в эти механики ML-рекомендации. Каждое внедрение проверяли AB-тестом: как правило, сравнивали ML-рекомендации с алгоритмом «популярные товары» или отсутствием рекомендаций. При настройке АB-тестов мы договорились считать порогом статистической значимости 80%: все, что ниже, — статистически незначимо.
Мы провели около 10 тестов, которые длились от нескольких недель до двух-трех месяцев. Все тесты настраивали через Mindbox. Ниже расскажем, какие гипотезы проверяли и какие результаты получили.
Начали с AB-тестов рекомендаций в разных механиках, чтобы подобрать наиболее эффективный алгоритм. В конце провели также тесты с контрольной группой — они позволили увидеть инкрементальный эффект от запущенных механик и убедиться в том, что их вообще стоило запускать.
AB-тест 1. «Брошенный просмотр товара»: «популярные товары» vs персональные рекомендации
Гипотеза. Если в рассылке заменить рекомендации «популярные товары» на персональные ML-рекомендации, пользователи активнее будут переходить в онлайн-магазин.
Ключевая метрика: click rate.
Срок: больше месяца — с 3 февраля по 9 марта 2023 года.
Тест и результаты: выборку поделили примерно пополам. Половине отправляли письмо с «популярными товарами», а другой половине — с персональными рекомендациями.
Статистически значимую разницу в пользу персональных рекомендаций можно увидеть только с вероятностью 80%. Этого недостаточно, чтобы утверждать, что они дают большую эффективность. Сделали вывод, что этот алгоритм механике не подходит и нужно протестировать другой.
Группа
Выборка
Click rate
«Популярные товары»
21 832
6,3%
Персональные рекомендации
22 031
6,6%
Достоверность теста — 80%
Проверить результаты теста можно в калькуляторе достоверности AB-тестов Mindbox
Рассылка, где в рекомендации выводятся самые популярные товары на сайте. Все контакты получили одинаковое письмо: в рекомендациях iPhone XS и HONOR X8
Рассылка с персональными рекомендациями. В блоке «Обратите внимание» каждый клиент получил персональную подборку смартфонов
AB-тест 2. «Брошенный просмотр товара»: «популярные товары» vs «продукты, похожие на просмотренные в последней сессии»
В этот раз «популярные товары» конкурировали с алгоритмом «продукты, похожие на просмотренные в последней сессии». Он рекомендует продукты, похожие на те, что клиент последний раз смотрел на сайте. Например, если он изучал iPhone 12 mini — алгоритм предложит посмотреть похожие модели.
Алгоритм «продукты, похожие на просмотренные в последней сессии» — это что-то среднее между простыми «популярными товарами» и ML-рекомендациями. В этом алгоритме клиент сам настраивает набор логических правил: что к чему рекомендовать. Например, к товарам из категории «стулья» рекомендовать товары из категории «столы», а к дорогим товарам — другие дорогие товары.
Если ассортимент большой, настройка рекомендаций занимает немало времени. Тем не менее этот алгоритм пользуется спросом, так как позволяет бизнесу использовать собственную логику.
Гипотеза: алгоритм «продукты, похожие на просмотренные в последней сессии» выиграет у рекомендаций «популярные товары», и пользователи будут активнее переходить в онлайн-магазин.
Ключевая метрика: click rate.
Срок: тест был запущен 9 марта 2023 года. Результат зафиксировали через два месяца — 17 мая.
Тест и результаты: гипотеза подтвердилась. «Похожие продукты» выиграли у «популярных товаров» со статистической значимостью 84%. Теперь именно этот тип рекомендаций отправляется в механике «брошенный просмотр».
Группа
Выборка
Click rate
«Популярные товары»
39 102
6%
«Похожие продукты»
38 937
6,3%
Достоверность теста — 84%
Рассылка с рекомендациями «популярные товары»
Рассылка с рекомендациями «продукты, похожие на просмотренные в последней сессии»
AB-тест 3. «Брошенная корзина»: «популярные товары» vs «сопутствующие к корзине»
Гипотеза: если товарные рекомендации «популярные товары» заменить на рекомендации «сопутствующие к корзине», пользователей заинтересуют товары из рекомендаций, и они будут активнее оформлять заказы на сайте онлайн-магазина.
Ключевая метрика: конверсия в оформление заказа.
Срок: проводили тест почти три месяца — с 6 марта по 24 мая. Письма внутри этой механики отправляются не так часто, поэтому требовалось больше времени, чтобы получить статистически значимый результат.
Тест и результаты: выиграл вариант с рекомендациями «сопутствующие к корзине». Теперь в механике «брошенная корзина» используют его. Средний чек не был ключевой метрикой, но у выигравшего варианта он также оказался значительно выше.
Группа
Выборка
Конверсия
в оформление заказа
в оформление заказа
Средний чек
«Популярные товары»
9 193
6,5%
21 260 ₽
«Сопутствующие к корзине»
9 088
7%
29 489 ₽
Достоверность теста — 95%
Рассылка с рекомендациями «популярные товары»
Рассылка с рекомендациями «сопутствующие к корзине»
AB-тест 4. «Снижение цены на просмотренный товар»: без рекомендаций vs персональные рекомендации
До теста «МегаФон» не использовал рекомендации в этой механике. Ее задача — вернуть клиента на сайт за товаром, которым он интересовался ранее, так что в письме уже содержится понятный call to action. Но все же решили попробовать.
Гипотеза: персональные рекомендации увеличат количество переходов на сайт.
Ключевая метрика: click rate.
Срок: тест проводили две недели — с 1 по 16 июня.
Тест и результаты: вариант с рекомендациями дал прирост в click rate на 0,6 п. п. Результат оказался статистически значимым. Теперь все клиенты получают письмо с персональными рекомендациями.
Группа
Выборка
Click rate
Без рекомендаций
19 664
2,3%
С персональными рекомендациями
19 611
2,9%
Достоверность теста — 95%
Письмо с персональными ML-рекомендациями
Письмо без рекомендаций
В этом году мы усовершенствовали алгоритм персональных рекомендаций. В старом подходе мы хорошо работали прежде всего с активными клиентами: теми, кто покупает часто и много. При этом у компаний есть клиенты с короткой историей, например, которые купили один смартфон. Как правило, таких клиентов большинство, и прежний алгоритм не всегда выдавал для них логичные рекомендации.
Сейчас мы сделали более стабилизированный алгоритм, который даже для пользователя с одной покупкой может построить адекватные и прозрачные рекомендации. Алгоритм не пытается понять долгосрочные интересы клиента по одной-двум покупкам, а предлагает ему смешанный набор сопутствующих товаров.
Кроме этого, мы дописываем улучшения. Сейчас работаем над тем, чтобы учитывать регулярность покупок и повышать разнообразие рекомендаций. Например, учим алгоритм не рекомендовать человеку два чехла к телефону, которые отличаются только цветом, а стараемся давать товары из разных категорий.
AB-тест 5. «Товар снова в наличии»: без рекомендаций vs персональные рекомендации
Гипотеза. После удачного теста в механике «снижение цены на просмотренный продукт» решили подставить рекомендации и в другой триггер, где их раньше не использовали, — «товар снова в наличии».
Ключевая метрика: click rate.
Срок: более двух недель — с 1 по 16 июня.
Тест и результаты: значимой разницы при текущей выборке в click rate не было.
Группа
Выборка
Click rate
Без рекомендаций
24 828
2%
С персональными рекомендациями
24 671
2,3%
Нет статистически значимой разницы
Предположили, что выбрали не самый подходящий алгоритм рекомендаций, и решили повторить тест с другим алгоритмом. По итогу двух тестов сделали вывод, что в этой механике вообще не стоит добавлять рекомендации. Все-таки ее цель — показать пользователю товар, которым он интересовался ранее, и таким образом вернуть в корзину. Рекомендации в этом случае только размывают внимание клиента.
Письмо о товаре в наличии с персональными рекомендациями
Письмо о товаре в наличии без рекомендаций
Тест с контрольной группой № 1. «Цена на просмотренный товар снижена»
Тесты с контрольной группой нужны были для того, чтобы проверить эффективность механик в целом — понять, стоило ли запускать эти цепочки. Мы провели тесты с контрольной группой в двух механиках — «цена на просмотренный товар снижена» и «просмотренный товар появился в наличии». В каждой из этих механик по результатам описанных AB-тестов победили персональные рекомендации, и мы оставили в письмах именно их.
После AB-тестов в эту механику добавили персональные рекомендации — они показали наибольшую эффективность. Чтобы убедиться, что механика сама по себе дает дополнительный эффект, запустили тест с контрольной группой.
Ключевая метрика: конверсия в оформление заказа.
Механика и срок. AB-тест настраивали через Mindbox. Он длился с 25 сентября по 12 октября. 10% участников попали в контрольную группу, 90% — в тестовую.
Тест и результаты: конверсия в оформление заказа у тестовой группы была выше, чем у контрольной группы.
Группа
Выборка
Конверсия в оформление заказа
Тестовая
15 080
1,2%
Контрольная
1 739
0,7%
Достоверность теста — 95%
Тест с контрольной группой № 2. «Просмотренный товар появился в наличии»
В эту механику в результате тестов добавили персональные рекомендации — они показали наибольшую эффективность. Раньше рекомендаций в механике не было. Тест с контрольной группой нужен, чтобы проверить эффективность механики.
Ключевая метрика: конверсия в оформление заказа.
Механика и срок. AB-тест настраивали в сценарии в Mindbox. Тестирование идет с 12 октября и, скорее всего, продлится до Нового года.
Тест и результаты. Тестирование еще идет — нужно набрать достоверность. Но по предварительным результатам видим, что конверсия в оформление заказа у тестовой группы выше. Средний чек не был ключевой метрикой теста, но он тоже значительно выше у тестовой группы.
Группа
Выборка
Конверсия в оформление заказа
Средний чек
Тестовая
6 903
0,4%
45 378 ₽
Контрольная
784
0,26%
8 370 ₽
Тест еще идет, чтобы набрать статистическую значимость
Тесты показали, что во многих механиках ML-рекомендации заметно увеличивают эффективность триггеров — причем влияют не только на конверсии, но и на монетарные показатели вроде среднего чека. Особенно удивительно было обнаружить, что персональные рекомендации эффективны в механике «снижение цены на просмотренный товар» — раньше мы вовсе не добавляли блок рекомендаций в эту механику. Решили, что во всех новых триггерах будем проводить тесты и выбирать самый эффективный алгоритм опытным путем.
P. S. В этой истории мы рассказывали о наших продуктах Рассылки и ML-рекомендации. Узнайте о продуктах подробнее на их страницах или в разговоре с консультантом.
