MoneyMan протестировал ML-алгоритм с помощью Mindbox и на 50% сократил траты на SMS

MoneyMan — сервис онлайн-займов, существует с 2011 года
Масштаб бизнеса. 
5 млн активных пользователей
автор
Руслан Салихов,
head of direct marketing MoneyMan
Задача
Сэкономить бюджет маркетинга
Решение
Внедрить ML-алгоритм и проверить его корректность с помощью AB-тестов Mindbox
Результат
50% — экономия на SMS

ИТ. 

Сайт, бэкофис и ML-алгоритм собственной разработки, платформа автоматизации маркетинга Mindbox

Срок. 

2 месяца
Первый заем MoneyMan дает под 0% — зарабатывать бизнес начинает со второго. Поэтому главная задача прямого маркетинга — повысить конверсию в повторную заявку. Самый конверсионный канал — SMS, но его стоимость с каждым кварталом становится выше.
Чтобы сократить затраты, в компании внедрили ML-алгоритм. Он отбирает клиентов, которые с наибольшей вероятностью оформят повторную заявку, — и только они получают SMS. Чтобы убедиться в корректной работе алгоритма, использовали встроенные AB-тесты Mindbox. Они позволили не ждать аналитиков и разработчиков и сэкономили компании месяц работы.
Опыт MoneyMan будет полезен бизнесу, который внедряет модели на машинном обучении и ищет способы их быстро и дешево тестировать.

Результаты внедрения ML-алгоритма и его тестирования в Mindbox

  • 50%  
    экономия на SMS
  • 1 месяц 
    работы бизнес-аналитиков и разработчиков сэкономили благодаря AB-тестам Mindbox
  • 5 часов 
    в неделю экономит маркетолог благодаря автоматической передаче данных в Mindbox

По данным внутренней отчетности MoneyMan за 2 месяца

Почему решили использовать ML-алгоритм, как его разрабатывали и как он действует

Задача алгоритма. Мы хотели определить, какие клиенты лучше откликаются на SMS. Можно было провести тесты для  каждого RFM-сегмента по очереди. Но тогда пришлось бы проверить слишком много гипотез — задача растянулась бы во времени. Решили использовать машинное обучение.
Разработка. Разрабатывал модель наш аналитик на базе сторонних решений. Для обучения модели выгрузили из бэкофиса клиентов с погашенным займом и без блокирующих факторов, например удаления личного кабинета. Затем на основании результатов нескольких рассылок выделили три группы:
  1. Те, кто получил SMS с предложением повторного кредита и оформил его в течение трех дней. Диапазон в три дня выбрали потому, что столько времени у нас проходит до следующей массовой рассылки. На last click не ориентируемся: считаем, что клиент необязательно переходит из SMS, чтобы оставить заявку.
  2. Те, кто получил SMS с предложением повторного займа, но не оформил его в течение трех дней. Смотрим на наиболее актуальные данные: если клиент один раз после SMS оформил повторный займ, а следующие сообщения проигнорировал, то попадет во вторую группу.
  3. Те, кто не получал SMS с предложением повторного займа, но все равно оформил его. Разделение на группы позволило вычленить клиентов, которым имеет смысл отправлять SMS, чтобы повысить их конверсию в заявку. Затем аналитик изучил этих клиентов, выделил их социально-демографические и поведенческие характеристики и загрузил в ML-модель. Модель определила, какие из этих характеристик сильнее всего влияют на конверсию в заявку.
Для отладки сделали несколько подходов: на основании прогноза модели формировали сегмент для рассылки, затем снова загружали ее результаты в модель. На всю работу ушел примерно месяц.
Принцип работы. Каждую ночь ML-алгоритм анализирует сегмент с погашенными займами за последний год без блокирующих факторов и присваивает каждому клиенту значение от 0 до 100, где 0 — минимальная вероятность конверсии, а 100 — максимальная. Если клиент раньше брал займы без напоминания, он не получит SMS.
Затем данные передаются в Mindbox — у клиентов проставляется соответствующее значение в дополнительном поле (необязательное поле в профиле, куда можно зашить нужную компании информацию).
Клиент попадает под условия массовой маркетинговой рассылки, но получает SMS только в том случае, если ML-модель присвоила ему больше 50 баллов.
Картинка
SMS для клиентов, которым ML-модель присвоила больше 50 баллов

Как убедились в корректности ML-алгоритма с помощью AB-тестирования Mindbox

Для тестирования самого алгоритма разделили получателей SMS с предложением повторного займа на три группы:
  1. 80% сегмента попали под действие алгоритма и получали SMS, только если алгоритм присвоил им больше 50 баллов.
  2. 10% получали SMS в любом случае, без присвоения баллов.
  3. 10% попали в контрольную группу и не получали SMS в любом случае.
По результатам теста оказалось, что у 80% из первой группы конверсия выше, чем у тех, кто получал SMS в любом случае. Статистическая достоверность — 95%. Это означает, что ML-алгоритм работает корректно: компания экономит на SMS, при этом не снижая конверсию в заявку. Если бы оказалось, что конверсия основной группы ниже, чем у второй и особенно третьей, контрольной, это бы означало, что модель работает некорректно и ее нужно переобучать.
Картинка
Конверсия в заявку у группы, которую отобрал алгоритм, оказалась на 4,86 п. п. выше, чем у обычной рассылки, и на 5,63 п. п. выше, чем у контрольной группы
Разделение на три группы используют при каждой рассылке, чтобы вовремя заметить, если модель начнет хуже отрабатывать.

Планы

Протестировать ML-алгоритм в каскадных рассылках: мобильный пуш плюс SMS. Использование нескольких каналов может повлиять на конверсию: важно убедиться, что модель будет работать корректно.
P. S. В этой истории мы рассказывали о нашем продукте Рассылки. Узнайте о продукте подробнее на его странице или в разговоре с консультантом.