О механике с предсказанием, измерении результатов, истории запуска направления Data Science, а также советы для интернет-магазинов, которые тоже хотят растить выручку за счет полезного и основанного на данных маркетинга.
Data Science в обувном магазине: предсказали поведение клиентов и увеличили конверсию сайта на 16%
Российский производитель обуви, сумок и аксессуаров с пятью офлайн-магазинами в Москве и онлайн-магазином
Задача
Повысить выручку за счет работы с накопленными данными
ИТ.
Сайт на Bitrix, бэк-офис на «1С»
Результат
Рост конверсии сайта на 16,5% в рамках AB-тестаРост ARPU на 35,7%Снижение доли брошенных корзин на 17,2%
25 сентября 2020
См. также: Как Mario Berlucci автоматизировал маркетинг и на 21% увеличил выручку email-канала с ROMI 5636%
Mario Berlucci автоматизировал маркетинг, внедрил привычные для интернет-магазинов механики, но не остановился на этом и запустил направление Data Science. Теперь магазин с помощью алгоритмов машинного обучения предсказывает действия клиента: что он сделает после добавления товара в корзину — купит или уйдет, а если уйдет, то когда вернется.
Предсказание помогает в нужный момент побуждать клиента к покупке или, наоборот, не трогать его, если он купит и так. В рамках AB-теста механика персонализации сайта на основе предсказания помогла увеличить конверсию интернет-магазина на 16,5% и ARPU на 35,7% относительно контрольной группы.
Азамат Тибилов, директор по маркетингу Mario Berlucci, рассказывает о механике с предсказанием, измерении результатов, истории запуска направления Data Science и делится советами для интернет-магазинов, которые тоже хотят растить выручку за счет полезного и основанного на данных маркетинга.
Как работает механика персонализации сайта на основе предсказания
Когда клиент заходит на сайт, мы записываем его действия и прогоняем через алгоритм предсказания: «купит в текущей сессии или не купит» и «вернется в течение 7 дней или не вернется». Предсказание пересчитывается раз в 10 секунд для каждого клиента.
Условия срабатывания механики:
— если в корзине есть товары,
— если не применен скидочный купон,
— если по предсказанию вероятность покупки меньше 30%,
— если по предсказанию клиент не вернется в течение 7 дней.
Если условия выполнены, клиент видит в корзине попап и решает, купить ли товар в текущей сессии или нет:
Попап всплывает в корзине, если по предсказанию алгоритма клиент в текущей сессии не оформит заказ и не вернется позже
Результаты механики с предсказанием
АB-тесты с достоверностью 95%
Часть клиентов в рамках теста находилась в контрольной группе и не видела попап — для неё механика была отключена, а другая часть видела. Мы сравнили в этих группах конверсию, ARPU и долю брошенных корзин — получили статистически значимые результаты с достоверностью 95%:
-
↑16,5%Рост конверсии сайта относительно контрольной группы по методу t-test
-
↑35,7%Рост ARPU по методу bootstrap
-
↓17,2%Снижение доли брошенных корзин по методу z-test
Сравнение конверсий и ARPU: в мае 2019 и мае 2020 — после внедрения механики с предсказанием
Зачем запустили направление Data Science
Изначально мы хотели построить сквозную аналитику, чтобы оценивать качество рекламных каналов в разрезе реальных покупок, потому что 50% заказов «отваливается» на этапе подтверждения.
Для сквозной аналитики было необходимо собирать данные о поведении пользователей в базу Google BigQuery. Помимо стандартных действий пользователей — добавления товара в корзину, посещения продуктовой карточки товара, совершения покупки — мы собирали еще много действий с контентом сайта — хитов. Ежедневно накапливалось более 20 тысяч строк хитов, и эти данные у нас хранились в базе, за которую мы, конечно же, платили.
При нашем трафике — более 200 тысяч пользователей в месяц — было достаточно данных, и мы проводили стандартную аналитику, например действий пользователей с контентом после каких-либо изменений, покупок после проведения акций. Потом провели брейнсторм с владельцем компании и решили попробовать помимо простой аналитики и AB-тестов построить что-то более интересное: попытаться предсказывать поведение клиентов на сайте с помощью алгоритмов машинного обучения на наших исторических данных. К таким идеям мы относимся как к внутреннему продукту, в который готовы вкладывать деньги и время, чтобы потом получить результат — рост бизнес-метрик.
В итоге собрали отдел Data Science и за полгода реализовали механику с предсказанием действий пользователя, которая повысила выручку. Таким образом мы открыли для себя новое направление бизнеса, которое приносит нам более 30% выручки и хорошо окупается.
Какие специалисты понадобились для Data Science
Каждый этап запуска механик с предсказанием подразумевает работу специалистов разных по функционалу, но из смежных областей. В штате у нас:
Аналитик. Анализирует данные, находит аномалии и проводит AB-тесты.
Два специалиста Data Science. Пишут алгоритмы, которые возвращают ответы-предсказания в виде вероятности того или иного действия пользователя на сайте.
Маркетолог. Разрабатывает и запускает механики с применением алгоритмов.
Разработчик. Внедряет механики и алгоритмы на сайте.
Как технически устроена механика с предсказанием
1. Размечаем исходные данные Google Analytics с помощью Google Tag Manager и используем стриминг OWOX BI для сбора данных в базе Google BigQuery. Эти шаги занимает мало времени — с первой минуты можно видеть, как данные укладываются в базу.
2. Аналитик смотрит, насколько данные соответствуют поведению пользователей. При необходимости строит графики распределения и смотрит, насколько они качественные, есть ли хвосты. Если находятся ошибки, мы изменяем настройку стриминга или чистим данные, потому что с грязными данными невозможно работать в машинном обучении.
3. Специалисты Data Science создают признаки (feature engineering) из визитов и контента, например количество просмотренных товаров, количество добавлений товаров в избранное, количество добавленных товаров за сессию в корзину.
Распределения весов признаков алгоритма — на их основе предсказываем поведение клиента
4. Обучаем модель на исторических данных. Допустим, мы хотим предсказывать, будет ли у пользователя следующий сеанс или вернется ли он к нам в течение 7 дней. Для этого берем исторические данные, признаки — и реализуем алгоритм. Для предсказания мы используем классификацию — биномиальный ответ в виде 1 или 0.
5. Валидируем модель на исторических данных: точность прогноза, бизнес-метрики.
Прежде всего мы смотрим на долю accuracy (долю правильных ответов) и ROC-AUC (площадь под кривой ошибок):
Accuracy (доля правильных предсказаний) 0,88 говорит о том, что в 88% случаях мы точно предсказываем, что пользователь вернется или не вернется. Precision (точность) — о том, какая доля предсказаний, что пользователь вернется, оказалась правильной. Recall (полнота) — о том, какую долю реальных возвращений мы предсказали
AUC ROC (площадь под кривой ошибок) используем для оценки качества работы алгоритма на выборке данных
Помимо ответов алгоритма 1 и 0 есть еще вероятность действия в процентах. И здесь мы задаем порог: если вероятность возврата пользователя более 30% и такие пользователи чаще всего действительно возвращаются, то ответ — 1.
6. Прогнозируем действия пользователя.
7. Маркетолог разрабатывает механики для применения прогноза.
8. Запускаем АB-тест — только на новых пользователях, которые познакомились с нашим сайтом прямо сейчас. Тест длится около трех недель, и в течение этого времени мы смотрим, как меняется накопительный p-value. В какой-то момент разница между группами становится значимой, понимаем, что скоро тест можно завершать и выкатывать механику в продакшен.
9. Аналитик измеряет результаты механики.
На основе каких клиентских данных работает предсказание
Visit-based. На основе действий на сайте: просмотр карточек товаров, добавление товаров в корзину, покупки.
Content-based. На основе действий с контентом сайта. Сначала собираем данные о действиях пользователей: открытие таблицы размеров, добавление товара в избранное, чтение отзывов. Затем смотрим, как эти действия влияют на прокси-метрики (промежуточные конверсии до заказа) — это нужно, потому что данных по этим метрикам больше, чем заказов. Затем смотрим корреляцию прокси-метрик с показателями конверсий в покупку и возвратов.
Подходы visit based и content based пересекаются. Но в visit based мы оцениваем поведение пользователя, а в content based — сам контент.
CRM-based. Обогащение данных из CRM интернет-магазина, учет истории покупок.
Советы интернет-магазинам
1. Анализируйте данные, даже если вы маленький интернет-магазин. В данных скрыты точки роста, которые позволяют вывести бизнес на новый уровень. В современном мире с огромной конкуренцией в digital невозможно решить проблему роста бизнеса банальным вливанием денег.
2. Рост конверсии, ключевой метрики интернет-магазина, — самый сильный фактор развития вашего бизнеса.
3. Не бойтесь строить инфраструктуру и внедрять новые технологии в ваш бизнес. Внедрение машинного обучения позволяет сделать шаг вперед и уйти в отрыв от конкурентов.
4. Научитесь считать ROI от инвестиций в новые технологии. Большинство компаний боятся выделять бюджет на новые инструменты, потому что не совсем понимают, какую выгоду они получат.
Дальнейшие планы по развитию маркетинга
Сейчас у нас в работе динамическое ценообразование — мы будем оценивать, когда на какой товар дать скидку или, наоборот, не дать. Звучит все просто: товар часто покупают — не даем скидку, редко покупают — даем. Но мы подходим чуть глубже и шире — смотрим, где этот товар находился в каталоге, в каких маркетинговых механиках участвовал, сколько раз этот товар просматривали, сколько раз добавляли в корзину.
А следующий шаг — динамическое ценообразование для каждого пользователя.
Как повторить механику с предсказанием в вашем интернет-магазине
Мы развиваем сотрудничество с Mindbox и предлагаем клиентам платформы внедрить нашу механику с предсказанием. Если хотите повторить в вашем интернет-магазине — пишите коллегам из Mindbox.
