В MoneyMan внедрили ML-алгоритм, чтобы сократить затраты на SMS. Для проверки использовали встроенные AB-тесты Mindbox. Они позволили не ждать аналитиков и разработчиков и сэкономили компании месяц работы.
MoneyMan протестировал ML-алгоритм с помощью Mindbox и на 50% сократил траты на SMS
MoneyMan — сервис онлайн-займов, существует с 2011 года
Масштаб бизнеса.
5 млн активных пользователей
Задача
Сэкономить бюджет маркетинга
Решение
Внедрить ML-алгоритм и проверить его корректность с помощью AB-тестов Mindbox
Результат
50% — экономия на SMS
ИТ.
Сайт, бэкофис и ML-алгоритм собственной разработки, платформа автоматизации маркетинга Mindbox
Срок.
2 месяца
11 марта 2024
Первый заем MoneyMan дает под 0% — зарабатывать бизнес начинает со второго. Поэтому главная задача прямого маркетинга — повысить конверсию в повторную заявку. Самый конверсионный канал — SMS, но его стоимость с каждым кварталом становится выше.
Чтобы сократить затраты, в компании внедрили ML-алгоритм. Он отбирает клиентов, которые с наибольшей вероятностью оформят повторную заявку, — и только они получают SMS. Чтобы убедиться в корректной работе алгоритма, использовали встроенные AB-тесты Mindbox. Они позволили не ждать аналитиков и разработчиков и сэкономили компании месяц работы.
Опыт MoneyMan будет полезен бизнесу, который внедряет модели на машинном обучении и ищет способы их быстро и дешево тестировать.
Результаты внедрения ML-алгоритма и его тестирования в Mindbox
-
50%экономия на SMS
-
1 месяцработы бизнес-аналитиков и разработчиков сэкономили благодаря AB-тестам Mindbox
-
5 часовв неделю экономит маркетолог благодаря автоматической передаче данных в Mindbox
По данным внутренней отчетности MoneyMan за 2 месяца
Команда прямого маркетинга постоянно формулирует новые гипотезы — в их тестировании помогает Mindbox. Одна из таких гипотез — использовать ML-алгоритм, чтобы повышать конверсию в повторную заявку. Он отбирает 50% клиентов, которые подходят под условия предстоящей рассылки.
Теперь клиент получает SMS, только если набирает достаточное количество баллов по скор-модели. Это позволяет экономить 50% бюджета на SMS без снижения конверсии. Оставшиеся деньги можем использовать для тестирования других гипотез, проведения новых акций.
Благодаря Mindbox нам удалось протестировать ML-алгоритм без привлечения ИТ-ресурсов. Если бы в платформе не было встроенного функционала AB-тестирования, нам пришлось бы проверять эффективность алгоритма своими силами. Это бы заняло минимум месяц: сначала пройти спринт бизнес-аналитиков, потом разработки. А с Mindbox было достаточно нескольких часов работы CRM-маркетолога: выбрать нужный сегмент и настроить AB-тестирование рассылок. И потом подождать 2–3 недели для получения статистически достоверного результата.
Думаю, Mindbox подойдет любой компании, если ей важно выстроить персональные коммуникации с клиентами, учитывать их частоту и проводить достоверные AB-тесты. Большой плюс Mindbox в том, что он продается не просто как платформа, а как платформа плюс сервис. Это и хорошая служба поддержки, и возможность обсудить с менеджером, как решить ту или иную задачу. А если решения нет, получить информацию от продуктовой команды, планируется ли доработка и в какие сроки.
Почему решили использовать ML-алгоритм, как его разрабатывали и как он действует
Задача алгоритма. Мы хотели определить, какие клиенты лучше откликаются на SMS. Можно было провести тесты для каждого RFM-сегмента по очереди. Но тогда пришлось бы проверить слишком много гипотез — задача растянулась бы во времени. Решили использовать машинное обучение.
Разработка. Разрабатывал модель наш аналитик на базе сторонних решений. Для обучения модели выгрузили из бэкофиса клиентов с погашенным займом и без блокирующих факторов, например удаления личного кабинета. Затем на основании результатов нескольких рассылок выделили три группы:
- Те, кто получил SMS с предложением повторного кредита и оформил его в течение трех дней. Диапазон в три дня выбрали потому, что столько времени у нас проходит до следующей массовой рассылки. На last click не ориентируемся: считаем, что клиент необязательно переходит из SMS, чтобы оставить заявку.
- Те, кто получил SMS с предложением повторного займа, но не оформил его в течение трех дней. Смотрим на наиболее актуальные данные: если клиент один раз после SMS оформил повторный займ, а следующие сообщения проигнорировал, то попадет во вторую группу.
- Те, кто не получал SMS с предложением повторного займа, но все равно оформил его. Разделение на группы позволило вычленить клиентов, которым имеет смысл отправлять SMS, чтобы повысить их конверсию в заявку. Затем аналитик изучил этих клиентов, выделил их социально-демографические и поведенческие характеристики и загрузил в ML-модель. Модель определила, какие из этих характеристик сильнее всего влияют на конверсию в заявку.
Для отладки сделали несколько подходов: на основании прогноза модели формировали сегмент для рассылки, затем снова загружали ее результаты в модель. На всю работу ушел примерно месяц.
Принцип работы. Каждую ночь ML-алгоритм анализирует сегмент с погашенными займами за последний год без блокирующих факторов и присваивает каждому клиенту значение от 0 до 100, где 0 — минимальная вероятность конверсии, а 100 — максимальная. Если клиент раньше брал займы без напоминания, он не получит SMS.
Затем данные передаются в Mindbox — у клиентов проставляется соответствующее значение в дополнительном поле (необязательное поле в профиле, куда можно зашить нужную компании информацию).
Клиент попадает под условия массовой маркетинговой рассылки, но получает SMS только в том случае, если ML-модель присвоила ему больше 50 баллов.
SMS для клиентов, которым ML-модель присвоила больше 50 баллов
Как убедились в корректности ML-алгоритма с помощью AB-тестирования Mindbox
Алгоритм разработали до подключения Mindbox — около двух месяцев он работал с другой платформой клиентских данных. К моменту интеграции с Mindbox нужно было снова проверить корректность алгоритма из-за того, что изменились условия выдачи займов: правила ЦБ и наша политика скидок. Это могло повлиять на поведение клиентов.
Необходимо было проверить эффективность ML-алгоритма, но прежде — убедиться в том, что функционал AB-тестов Mindbox работает корректно. Для этого провели AA-тест: разделили получателей SMS на две группы и отправили им одинаковое сообщение. Если между группами нет разницы в конверсии, то разделение происходит случайным образом. Тест это и показал со статистической достоверностью 95%. Затем провели AA-тест еще два раза с аналогичным результатом.
Для тестирования самого алгоритма разделили получателей SMS с предложением повторного займа на три группы:
- 80% сегмента попали под действие алгоритма и получали SMS, только если алгоритм присвоил им больше 50 баллов.
- 10% получали SMS в любом случае, без присвоения баллов.
- 10% попали в контрольную группу и не получали SMS в любом случае.
По результатам теста оказалось, что у 80% из первой группы конверсия выше, чем у тех, кто получал SMS в любом случае. Статистическая достоверность — 95%. Это означает, что ML-алгоритм работает корректно: компания экономит на SMS, при этом не снижая конверсию в заявку. Если бы оказалось, что конверсия основной группы ниже, чем у второй и особенно третьей, контрольной, это бы означало, что модель работает некорректно и ее нужно переобучать.
Конверсия в заявку у группы, которую отобрал алгоритм, оказалась на 4,86 п. п. выше, чем у обычной рассылки, и на 5,63 п. п. выше, чем у контрольной группы
Разделение на три группы используют при каждой рассылке, чтобы вовремя заметить, если модель начнет хуже отрабатывать.
После того как мы убедились в эффективности ML-алгоритма, нужно было настроить отправку SMS с учетом скор-модели. В этом нам тоже помог Mindbox. Маркетологу не нужно каждый раз заново делить сегмент на группы с ML-алгоритмом, без него и контрольную группу. Для каждого сценария аудитория разделена на автообновляющиеся подсегменты, меняем просто текст SMS.
На двух сценариях с предложением повторного займа экономим 5 часов работы в неделю. Знаем это потому, что вручную выгрузить клиентов из базы данных и загрузить в SMS-агрегатор занимает около 2,5 часов для каждой рассылки.
Планы
Протестировать ML-алгоритм в каскадных рассылках: мобильный пуш плюс SMS. Использование нескольких каналов может повлиять на конверсию: важно убедиться, что модель будет работать корректно.
P. S. В этой истории мы рассказывали о нашем продукте Рассылки. Узнайте о продукте подробнее на его странице или в разговоре с консультантом.
