Data Science в обувном магазине: предсказали поведение клиентов и увеличили конверсию сайта на 16%

Российский производитель обуви, сумок и аксессуаров с пятью офлайн-магазинами в Москве и онлайн-магазином

Автор
Азамат Тибилов,
директор по маркетингу Mario Berlucci
Задача
Повысить выручку за счет работы с накопленными данными
Результат
Рост конверсии сайта на 16,5% в рамках AB-тестаРост ARPU на 35,7%Снижение доли брошенных корзин на 17,2%

ИТ. 

Сайт на Bitrix, бэк-офис на «1С»
Mario Berlucci автоматизировал маркетинг, внедрил привычные для интернет-магазинов механики, но не остановился на этом и запустил направление Data Science. Теперь магазин с помощью алгоритмов машинного обучения предсказывает действия клиента: что он сделает после добавления товара в корзину — купит или уйдет, а если уйдет, то когда вернется.
Предсказание помогает в нужный момент побуждать клиента к покупке или, наоборот, не трогать его, если он купит и так. В рамках AB-теста механика персонализации сайта на основе предсказания помогла увеличить конверсию интернет-магазина на 16,5% и ARPU на 35,7% относительно контрольной группы.
Азамат Тибилов, директор по маркетингу Mario Berlucci, рассказывает о механике с предсказанием, измерении результатов, истории запуска направления Data Science и делится советами для интернет-магазинов, которые тоже хотят растить выручку за счет полезного и основанного на данных маркетинга.

Как работает механика персонализации сайта на основе предсказания

Азамат Тибилов
Рассказывает Азамат Тибилов,
директор по маркетингу Mario Berlucci
Когда клиент заходит на сайт, мы записываем его действия и прогоняем через алгоритм предсказания: «купит в текущей сессии или не купит» и «вернется в течение 7 дней или не вернется». Предсказание пересчитывается раз в 10 секунд для каждого клиента.
Условия срабатывания механики:
— если в корзине есть товары,
— если не применен скидочный купон,
— если по предсказанию вероятность покупки меньше 30%,
— если по предсказанию клиент не вернется в течение 7 дней.
Если условия выполнены, клиент видит в корзине попап и решает, купить ли товар в текущей сессии или нет:
Попап всплывает в корзине
Попап всплывает в корзине, если по предсказанию алгоритма клиент в текущей сессии не оформит заказ и не вернется позже

Результаты механики с предсказанием

АB-тесты с достоверностью 95%

Часть клиентов в рамках теста находилась в контрольной группе и не видела попап — для неё механика была отключена, а другая часть видела. Мы сравнили в этих группах конверсию, ARPU и долю брошенных корзин — получили статистически значимые результаты с достоверностью 95%:
  • ↑16,5%
    Рост конверсии сайта относительно контрольной группы по методу t-test
  • ↑35,7%
    Рост ARPU по методу bootstrap
  • ↓17,2%
    Снижение доли брошенных корзин по методу z-test

Сравнение конверсий и ARPU: в мае 2019 и мае 2020 — после внедрения механики с предсказанием

Конверсия до и после внедрения механики с предсказанием
ARPU до и после внедрения механики с предсказанием

Зачем запустили направление Data Science

Изначально мы хотели построить сквозную аналитику, чтобы оценивать качество рекламных каналов в разрезе реальных покупок, потому что 50% заказов «отваливается» на этапе подтверждения.
Для сквозной аналитики было необходимо собирать данные о поведении пользователей в базу Google BigQuery. Помимо стандартных действий пользователей — добавления товара в корзину, посещения продуктовой карточки товара, совершения покупки — мы собирали еще много действий с контентом сайта — хитов. Ежедневно накапливалось более 20 тысяч строк хитов, и эти данные у нас хранились в базе, за которую мы, конечно же, платили.
При нашем трафике — более 200 тысяч пользователей в месяц — было достаточно данных, и мы проводили стандартную аналитику, например действий пользователей с контентом после каких-либо изменений, покупок после проведения акций. Потом провели брейнсторм с владельцем компании и решили попробовать помимо простой аналитики и AB-тестов построить что-то более интересное: попытаться предсказывать поведение клиентов на сайте с помощью алгоритмов машинного обучения на наших исторических данных. К таким идеям мы относимся как к внутреннему продукту, в который готовы вкладывать деньги и время, чтобы потом получить результат — рост бизнес-метрик.
В итоге собрали отдел Data Science и за полгода реализовали механику с предсказанием действий пользователя, которая повысила выручку. Таким образом мы открыли для себя новое направление бизнеса, которое приносит нам более 30% выручки и хорошо окупается.

Какие специалисты понадобились для Data Science

Каждый этап запуска механик с предсказанием подразумевает работу специалистов разных по функционалу, но из смежных областей. В штате у нас:
Аналитик. Анализирует данные, находит аномалии и проводит AB-тесты.
Два специалиста Data Science. Пишут алгоритмы, которые возвращают ответы-предсказания в виде вероятности того или иного действия пользователя на сайте.
Маркетолог. Разрабатывает и запускает механики с применением алгоритмов.
Разработчик. Внедряет механики и алгоритмы на сайте.

Как технически устроена механика с предсказанием

1. Размечаем исходные данные Google Analytics с помощью Google Tag Manager и используем стриминг OWOX BI для сбора данных в базе Google BigQuery. Эти шаги занимает мало времени — с первой минуты можно видеть, как данные укладываются в базу.
2. Аналитик смотрит, насколько данные соответствуют поведению пользователей. При необходимости строит графики распределения и смотрит, насколько они качественные, есть ли хвосты. Если находятся ошибки, мы изменяем настройку стриминга или чистим данные, потому что с грязными данными невозможно работать в машинном обучении.
3. Специалисты Data Science создают признаки (feature engineering) из визитов и контента, например количество просмотренных товаров, количество добавлений товаров в избранное, количество добавленных товаров за сессию в корзину.
Распределения весов признаков алгоритма
Распределения весов признаков алгоритма — на их основе предсказываем поведение клиента
4. Обучаем модель на исторических данных. Допустим, мы хотим предсказывать, будет ли у пользователя следующий сеанс или вернется ли он к нам в течение 7 дней. Для этого берем исторические данные, признаки — и реализуем алгоритм. Для предсказания мы используем классификацию — биномиальный ответ в виде 1 или 0.
5. Валидируем модель на исторических данных: точность прогноза, бизнес-метрики.
Прежде всего мы смотрим на долю accuracy (долю правильных ответов) и ROC-AUC (площадь под кривой ошибок):
Accuracy
Accuracy (доля правильных предсказаний) 0,88 говорит о том, что в 88% случаях мы точно предсказываем, что пользователь вернется или не вернется. Precision (точность) — о том, какая доля предсказаний, что пользователь вернется, оказалась правильной. Recall (полнота) — о том, какую долю реальных возвращений мы предсказали
AUC ROC
AUC ROC (площадь под кривой ошибок) используем для оценки качества работы алгоритма на выборке данных
Помимо ответов алгоритма 1 и 0 есть еще вероятность действия в процентах. И здесь мы задаем порог: если вероятность возврата пользователя более 30% и такие пользователи чаще всего действительно возвращаются, то ответ — 1.
6. Прогнозируем действия пользователя.
7. Маркетолог разрабатывает механики для применения прогноза.
8. Запускаем АB-тест — только на новых пользователях, которые познакомились с нашим сайтом прямо сейчас. Тест длится около трех недель, и в течение этого времени мы смотрим, как меняется накопительный p-value. В какой-то момент разница между группами становится значимой, понимаем, что скоро тест можно завершать и выкатывать механику в продакшен.
9. Аналитик измеряет результаты механики.

На основе каких клиентских данных работает предсказание

Visit-based. На основе действий на сайте: просмотр карточек товаров, добавление товаров в корзину, покупки.
Content-based. На основе действий с контентом сайта. Сначала собираем данные о действиях пользователей: открытие таблицы размеров, добавление товара в избранное, чтение отзывов. Затем смотрим, как эти действия влияют на прокси-метрики (промежуточные конверсии до заказа) — это нужно, потому что данных по этим метрикам больше, чем заказов. Затем смотрим корреляцию прокси-метрик с показателями конверсий в покупку и возвратов.
Подходы visit based и content based пересекаются. Но в visit based мы оцениваем поведение пользователя, а в content based — сам контент.
CRM-based. Обогащение данных из CRM интернет-магазина, учет истории покупок.

Советы интернет-магазинам

1. Анализируйте данные, даже если вы маленький интернет-магазин. В данных скрыты точки роста, которые позволяют вывести бизнес на новый уровень. В современном мире с огромной конкуренцией в digital невозможно решить проблему роста бизнеса банальным вливанием денег.
2. Рост конверсии, ключевой метрики интернет-магазина, — самый сильный фактор развития вашего бизнеса.
3. Не бойтесь строить инфраструктуру и внедрять новые технологии в ваш бизнес. Внедрение машинного обучения позволяет сделать шаг вперед и уйти в отрыв от конкурентов.
4. Научитесь считать ROI от инвестиций в новые технологии. Большинство компаний боятся выделять бюджет на новые инструменты, потому что не совсем понимают, какую выгоду они получат.

Дальнейшие планы по развитию маркетинга

Сейчас у нас в работе динамическое ценообразование — мы будем оценивать, когда на какой товар дать скидку или, наоборот, не дать. Звучит все просто: товар часто покупают — не даем скидку, редко покупают — даем. Но мы подходим чуть глубже и шире — смотрим, где этот товар находился в каталоге, в каких маркетинговых механиках участвовал, сколько раз этот товар просматривали, сколько раз добавляли в корзину.
А следующий шаг — динамическое ценообразование для каждого пользователя.

Как повторить механику с предсказанием в вашем интернет-магазине

Мы развиваем сотрудничество с Mindbox и предлагаем клиентам платформы внедрить нашу механику с предсказанием. Если хотите повторить в вашем интернет-магазине — пишите коллегам из Mindbox.