«Вита» отправляла пуши без сегментации по категориям. Из-за этого падал CR, росли отписки. Чтобы персонализировать пуши, решили использовать ML-алгоритм. Протестировали — и увидели прирост ARPU на 33% по результатам четырех месяцев тестов.
Аптеки «Вита» тестируют товарные рекомендации в мобильных пушах. +33% ARPU
Вита — сеть аптек. Основана в 1993 году. В ассортименте — более 20 тысяч SKU, включая лекарства, БАДы, лечебно-уходовую косметику, товары для мам и малышей, ортопедическую продукцию и медицинские приборы
Масштаб бизнеса.
2500 аптек в 40 регионах России, более 5 млн скачиваний мобильного приложения
Задача
Повысить эффективность мобильных пушей
Решение
Персонализировать общение с клиентамиАвтоматизировать отправку пушейПротестировать товарные рекомендации Mindbox
ИТ.
Самописный сайт и мобильное приложение на iOS и Android, Power BI, платформа автоматизации маркетинга Mindbox
Результат
+33% ARPU в среднем по результатам четырех месяцев тестов у мобильных пушей с рекомендациями по сравнению с пушами без них
Срок.
3 месяца
11 декабря 2023
Продукт Mindbox Программа лояльности
Одна из основных акций программы лояльности аптек «Вита» — купоны с повышенным кешбэком на различные категории товаров. Они доступны клиентам, пользующимся мобильным приложением.
Чтобы рассказать клиентам о наличии купона в приложении, раньше использовали массовые пуши. Они уходили по всей базе только по наиболее популярным категориям, информация об акциях по более узким и профильным категориям не отправлялась: до нее просто не доходила очередь. Из-за этого падала кликабельность, росли отписки.
Чтобы персонализировать купоны, аптеки «Вита» вместе с агентством Out of Cloud решили использовать товарные рекомендации Mindbox. Протестировали их — и увидели прирост ARPU.
Эффективность мобильных пушей с рекомендациями
-
+33%ARPU в среднем у мобильных пушей с рекомендациями по сравнению с пушами без них
Данные из Mindbox, метод атрибуции — last click, период атрибуции — две недели после отправки, по результатам четырех месяцев тестов
Прирост ARPU
Для расчета взяли четыре категории товаров, по которым отправлялись и массовые пуши, и пуши с рекомендациями (смотрели только на доставленные пуши). А затем вручную рассчитали прирост ARPU в каждой категории:
Почему подключили Mindbox и продолжают использовать платформу
До 2020 года мы использовали два инструмента — один для программы лояльности, второй — для нерегулярных рассылок. Хотели оптимизировать затраты и получить больше гибкости в настройке акций и рассылок, поэтому искали платформу, которая объединила бы обе эти задачи.
Решение о смене платформы принимали совместно командой маркетинга и ИТ: оценивали функциональность, финансовую составляющую, простоту и удобство интеграции, нагрузки, которые платформа может выдержать. Учитывали также качество сервиса и то, насколько комфортно общаться с менеджерами.
Изначально мы выбрали Mindbox, потому что он позволял реализовать программу лояльности по приемлемой стоимости — это было ключевым. Дополнительно смотрели на возможность коммуницировать с клиентами — делать настройки для рассылки писем и пушей.
Мы понимали, что Mindbox — это платформа, которая дает нам широкие возможности, но не знали, что это настолько гибкий инструмент. Оказалось, что в Mindbox можно реализовывать почти все, что мы придумываем, порой даже нестандартные механики
Взять те же купоны: в каждом из них представлены товары с разным процентом кешбэка. Кроме того, они бывают двух типов: обычные и требующие активации — для акций с экстракешбэком. Это сложные условия, для реализации которых не подойдет инструмент с базовыми возможностями.
Мы работаем с Mindbox уже три года и довольны возможностями и сервисом. Благодаря платформе мы смогли внедрить полноценные рассылки по клиентской базе, отслеживать показатели по этим рассылкам, проводить AB-тесты, о которых и пойдет речь.
Почему решили использовать рекомендации Mindbox
Одна из задач маркетинга аптек «Вита» — сделать так, чтобы клиентам было удобно пользоваться приложением и легко находить нужные товары. Отсюда возникла идея тематических купонов. По сути это подборки товаров с разным уровнем кешбэка, решающие различные проблемы: препараты от сердца, от давления, обезболивающие. Есть и просто новинки ассортимента. Купоны доступны только для участников программы лояльности, пользующихся мобильным приложением.
В приложении «Аптека Вита» — около 50 купонов. Они доступны только для участников программы лояльности
Продукты Mindbox
Рассылки
Рекомендации и ML-алгоритмы
Купоны — ключевая акция аптек «Вита». На них завязаны и ежедневные рассылки. Раньше все подписанные на пуши пользователи приложения получали рассылки по наиболее популярным категориям прошлого месяца. Получалось, что эти рассылки не учитывали индивидуальные предпочтения клиентов. Например, препараты от давления — одна из самых востребованных категорий, поэтому купон получали и те, для кого эта проблема неактуальна. С другой стороны, товары для мам и малышей не всегда доходили до нужного сегмента, потому что они не входят в топ самых популярных категорий.
Мы заметили, что у нас растут отписки от пушей, а кликабельность снижается (на 0, 48 п. п. за 8 месяцев). При этом мы не могли отказаться от того, чтобы рассказывать клиентам про выгодные предложения. Акции напрямую влияют на частоту покупок и средний чек клиентов — после рассылок мы видим рост продаж, причем это необязательно акционные товары.
Мы хотели сохранить охват базы, но сократить коммуникационную нагрузку на клиентов за счет персонализации. Обсудили задачу с агентством Out of Cloud и решили автоматизировать пуши и попробовать рекомендательные механики Mindbox. Важным аргументом было то, что рекомендации доступны без дополнительной разработки.
Идея понравилась еще и тем, что так мы сокращали количество ручного труда на отправку пушей, а значит, могли использовать ресурсы для других задач.
Алгоритм машинного обучения «персональные рекомендации» оказался самым подходящим для персонализации рассылок. Он учитывает все просмотры, заказы, действия с продуктами, например добавление в корзину или избранное, а также поведение похожих клиентов, определенных по look-alike-алгоритмам. На основании этих данных предсказывает, какой продукт клиент захочет купить. Сейчас алгоритм выбирает из 10 самых популярных категорий.
Сегменты товаров пересчитываются раз в день — алгоритм проверяет, что продукт есть в наличии в зоне клиента и исключает из рекомендаций уже купленные клиентом продукты.
Как тестировали эффективность рекомендаций
У «Виты» очень много SKU и настраивать все 30 товарных категорий для алгоритма сразу было бы слишком трудоемко — ограничились 10.
Кроме самого алгоритма, настроили автоматический сценарий в Mindbox — он проверяет, что:
— пользователь авторизовался в мобильном приложении (то есть подтвердил участие в программе лояльности);
— подписан на пуши;
— активен в приложении, то есть совершал действия за последний месяц;
— не получал рассылки с рекомендациями за последний месяц.
Дальше получившийся сегмент случайным образом делится на две группы:
Группа A — 40%. Получают один пуш с рекомендацией в месяц, куда подставляется 1 из 10 настроенных для алгоритма категорий.
Группа B — 60%. Получают 10 обычных пушей по тем же категориям.
Группы A и B не пересекаются: если клиент в этом месяце получил пуш с рекомендацией, то не получит обычные пуши по 10 настроенным для алгоритма категориям. При этом обе группы получают массовые пуши по другим категориям — не учитываем их в сравнении.
Через месяц собираем статистику и сравниваем результаты пушей с рекомендациями и обычных пушей по категориям. Сложность в том, что мы не знаем, какую именно из 10 товарных категорий алгоритм порекомендовал каждому клиенту. Поэтому решили не использовать встроенный функционал AB-тестирования Mindbox — считаем результаты вручную.
Действуем следующим образом:
1. Выбираем товарную категорию X.
2. Отфильтровываем покупки товарной категории X у получивших пуш с рекомендацией (клиенты из группы A).
3. Отфильтровываем покупки товарной категории Х у тех, кто получил обычный пуш с этой категорией (клиенты из группы В).
4. Сравниваем click rate, конверсию в заказ и ARPU по товарной категории X в обеих группах.
5. Используем калькулятор AB-тестирования Mindbox для проверки статистической достоверности теста.
Такой постфактум-анализ — единственный доступный для нас метод. Понимаем и принимаем его погрешность: есть вероятность, что клиент, купивший, скажем, препараты от давления, получил пуш с другой категорией и совершил покупку просто потому, что «Вита» напомнила ему о себе.
Но даже с такой погрешностью мы можем сделать вывод о том, что рекомендации лучше попадают в нужную аудиторию, чем случайная отправка массовых пушей.
Так, в августе у нас была отправка массового пуша про обезболивающие препараты, а часть клиентов получила аналогичный пуш от алгоритма рекомендаций. Оказалось, что в этом случае рекомендации дали +3,53 п. п. click rate, +1,6 п. п. конверсии и +51,4% ARPU. Статистическая достоверность — 95%.
Обычный пуш про обезболивающие препараты
Пуш, где категория подставляется на основе алгоритма машинного обучения «персональные рекомендации»
Когда замерили эффективность по категории «обезболивающие препараты», то поняли, что проект можно продолжать — сравнивать все 10 категорий, из которых выбирает алгоритм, с массовыми пушами по аналогичной категории. В сентябре провели такое сравнение для четырех категорий, по которым были массовые рассылки. В том числе для категории «обезболивающие препараты», чтобы подтвердить результат прошлого месяца.
Результаты пушей с рекомендациями против массовых
Товарная категория
Click rate
Конверсия в заказ по last click
ARPU
Препараты для вен
+0,47 п. п.
−0,05 п. п.
+48,7%
Обезболивающие препараты
+1,11 п. п.
+0,30 п. п.
+31,2%
Препараты для суставов
+1,37 п. п.
+0,59 п. п.
+0,99%
Статистическая достоверность — 95%
В двух из трех случаях пуши с рекомендациями оказались эффективнее (статистическая достоверность — 95%). Пуши про препараты для вен оставим для тестирования. Если и в следующем месяце конверсия будет хуже, чем у обычного пуша, для этой рассылки не будут использовать рекомендации.
Я объясняю разницу тем, что алгоритм понимает, какую категорию лучше порекомендовать конкретному клиенту на основе истории его покупок, а в массовом пуше она отправляется всем без персонализации.
Теоретически персонализировать можно вручную: собирать сегмент клиентов, которым потенциально может быть интересна та или иная категория. Сейчас, когда рекомендации настроены только для 10 категорий лекарств, большой разницы в трудозатратах не будет. Но у аптек «Вита» тысячи SKU, поэтому на регулярной основе ручная персонализация просто невозможна.
Что планируют делать дальше
Перевести на отправку с рекомендациями большинство регулярных купонов. Делать это будут так же — через тестирование. Для начала закончат тестирование 10 категорий, которые уже учитывает алгоритм, далее будут добавлять в него новые категории.
Снизить коммуникационную нагрузку на подписчиков. С ноября тестируют ограничение на коммуникацию до трех пушей в неделю: один пуш с рекомендацией и два обычных.
P. S. В этой истории мы рассказывали о наших продуктах Программа лояльности, Рассылки, Рекомендации и ML-алгоритмы. Узнайте о продуктах подробнее на их страницах или в разговоре с консультантом.
