Туроператор FUN&SUN перешел от ручного формирования сегментов для email к использованию ML-алгоритмов — в тестовой серии рассылок CTR вырос на 0,88 п. п. О проекте рассказывает руководитель проекта предиктивной аналитики.
Туроператор FUN&SUN сформировал сегменты на базе машинного обучения. CTR в серии тестов вырос на 0,88 п. п.
FUN&SUN организует пляжный, экскурсионный и горнолыжный отдых. Ранее была известна как TUI. Основана в 2009 году
Масштаб бизнеса.
700 турагентств по всей России
2,5 млн туристов в 2021 году
2,5 млн туристов в 2021 году
Задача
Повысить кликабельность email-рассылок
Решение
Использовать алгоритмы на машинном обучении для построения сегментов
ИТ.
Сайт собственной разработки, приложения на iOS и Android, Microsoft Dynamics 365, платформа автоматизации маркетинга Mindbox
Результат
На 0,88 п. п. вырос CTR в тестовой серии email-рассылок
16 марта 2023
Туроператор FUN&SUN перешел от ручного формирования сегментов для email к использованию алгоритмов на машинном обучении — CTR в тестовой серии рассылок вырос на 0,88 п. п. О том, как внедряли предиктивную аналитику, сколько времени и ресурсов на это потратили и как убедились в эффективности подхода, рассказывает руководитель проекта предиктивной аналитики FUN&SUN Тимур Рагимов.
Результат внедрения предиктивной аналитики
-
+0,88
п. п. CTR в серии тестов
Зачем внедрили предиктивную аналитику
Раньше мы вручную формировали сегменты с помощью фильтров Mindbox: учитывали реакцию на рассылки, данные по продажам, пол, возраст и другие признаки — всего около 200 дополнительных полей. Например, для рассылки про Великий Устюг отбирали клиентов с детьми, которые уже ездили в новогодние туры и переходили по ссылке в похожих письмах.
Проблема заключалась в том, что маркетологи физически не могли обработать 200 признаков — из-за большого выбора приходилось действовать скорее интуитивно. Так, клиентам, ранее покупавшим туры в Турцию и Египет, предлагали похожие продукты, но не поездки по России. У коллег просто не было возможности установить взаимосвязи в такой сложной системе: возможно, любители отдыха на море готовы ездить на Алтай — и это определяется по какому-то дополнительному признаку. Ситуация осложнялась низкой частотой покупок в туризме (один-два раза в год): из-за этого проверять гипотезы сложнее.
Постепенно мы пришли к пониманию, что накопленные знания о клиентах можно использовать для обучения самописных алгоритмов — это позволило бы нам учитывать неочевидные взаимосвязи между признаками и поведенческими паттернами, которые человек отследить не в силах. То есть предлагать клиентам именно тот продукт, который их заинтересует с наибольшей вероятностью. У нас много исторических данных: по продажам — за пять лет, по коммуникациям — за 2,5 года.
Предполагали, что за счет более точечных предложений для небольших сегментов машинное обучение позволит повысить CTR и CTOR, а также сократить долю отписок — до внедрения алгоритмов число отписавшихся приближалось к числу подписавшихся. О влиянии на конверсию в покупку говорить сложнее: у нас длинный цикл покупки, на продажи влияют многие факторы, в том числе само предложение, работоспособность и функциональность сайта.
Как внедряли алгоритмы на машинном обучении
Внедрение предиктивной аналитики — ресурсоемкий проект, сопоставимый с внедрением полноценной CRM-системы. Защищали его перед генеральным директором и акционером.
Предпосылкой стало внедрение два года назад CRM-системы, объединившей маркетинговые платформы и учетные системы, включая 1С. Microsoft Dynamics 365 стал фундаментом: чем больший объем данных предлагать системе, тем точнее будет предсказание.
Для разработки алгоритмов на машинном обучении решили использовать самописное решение. Рассматривали варианты готовых решений, но не нашли подходящих. Дело в том, что портрет клиента и следующий за ним рекомендательный сервис — это только части проекта «Предиктивная аналитика», включающего календарь маркетинговых коммуникаций и прогноз спроса. На рынке представлены отдельные компоненты: рекомендательный сервис, портрет клиента, календарь маркетинговых активностей, «прогнозник». Единой системы, позволяющей учитывать задачи разных направлений и использовать их в расчетах, не нашли. При объединении отдельных компонентов вставал вопрос о стоимости дальнейшей поддержки и правах на интеллектуальную собственность.
Внедрять алгоритмы на машинном обучении помогал подрядчик — российская ИТ-компания GMCS. С ее стороны были бизнес-аналитик, архитектор инфраструктуры, руководитель ML-разработки. Еще 10 сотрудников занимались непосредственно разработкой фронтенда, бэкенда и ML-модели. Со стороны FUN& SUN за внедрение отвечал руководитель проекта.
Внедрение первого этапа проекта «Предиктивная аналитика» — портрета клиента — заняло шесть месяцев и состояло из пяти этапов:
1. Сбор бизнес-требований — два месяца
Провели интервью с представителями каждого бизнес-подразделения, в первую очередь маркетинга, продукта и продаж. На встречу приглашали руководителя подразделения и одного-двух ключевых сотрудников, отобранных руководителем.
Эти встречи позволили сформировать достаточное количество гипотез — их последующая проработка легла в основу машинного обучения. Поясню на примере: предполагаем, что одним клиентам важна своевременность предложения, другим — наличие скидки, третьим — конкретная дополнительная услуга. Затем алгоритмы обрабатывают массив данных и определяют справедливость гипотезы: действительно ли есть такие клиенты.
2. Формирование технического задания — три недели
Изначально планировали использовать алгоритмы для создания фиксированных сегментов, но оказалось, что маркетинговые сегменты рождаются ситуационно, в зависимости от продвигаемых продуктов.
В итоге пришли к тому, что нужна система матричного сегментирования, позволяющая формировать сотни узких сегментов под запрос. Сегодня, например, мы хотим коммуницировать с людьми, желающими покататься на лыжах 14 февраля, завтра — предложить раннее бронирование любителям отдыха на море, послезавтра — найти тех, кто готов поехать в отель с меньшим количеством звезд, но потратить больше на экскурсии.
Для сегментации маркетолог выбирает факторы из выпадающего списка
Например, у нас есть тур в Африку со скидкой и с большим количеством дополнительных услуг — значит, мы сформируем сегмент любителей экзотического отдыха, склонных приобретать дополнительные услуги и при этом чувствительных к скидкам.
При этом, в отличие от фильтров в Mindbox, которые позволяют сформировать сегмент по внешним признакам клиентов, используем критерии, пропущенные через модель. Допустим, у нас есть холостой клиент, который в одну из поездок взял с собой племянника. По внешнему признаку «наличие ребенка» такой клиент попадет в категорию семейных и начнет получать соответствующие предложения. Модель на машинном обучении позволяет исключить подобные случайности.
Заложили также ограничения: не включать в сегмент тех, кто только приобрел тур, отдыхает прямо сейчас или недавно вернулся. А также тех, кто недавно получал рассылки или не реагирует на них, поскольку находится в условном статусе «перегрет». Таких клиентов не следует беспокоить, чтобы не спровоцировать отписку.
Затем определились с интерфейсом — он позволяет в режиме реального времени построить сегмент, сравнить его с другими сегментами в динамике, оценить такие характеристики, как средний чек, возвращаемость, частоту покупок, долю заполненных email-адресов и контактов и, наконец, одним кликом отправить рассылку и сформировать отчет.
3. Разработка — два месяца
Это время ушло на собственно написание кода, интеграцию с маркетинговыми платформами и рекламными кабинетами (сегмент не просто передается, но и обновляется в режиме реального времени), а также проверку качества алгоритмов.
Для проверки качества загрузили в систему данные о клиентах за прошедшие полгода — надо было понять, насколько точно получится определить тех, кто совершил покупку за этот период. Точность предсказания оказалась в диапазоне 40–70% — это приемлемая цифра при тестировании машинного обучения. После этого можно было приступать к AB-тестированию.
4. AB-тестирование — месяц
Провели три AB-теста — случайным образом отобрали три рассылки из плана коммуникаций. Для каждой рассылки выделили четыре тестовых сегмента по 10 тысяч клиентов:
— построенный в Mindbox;
— предложенный моделью на машинном обучении;
— пересечение, то есть клиенты, отобранные одновременно Mindbox и алгоритмами;
— контрольная группа, то есть рандомные контакты.
Одна из тестируемых рассылок была посвящена новогоднему туру в Великий Устюг
В качестве метрик выбрали CTR и CTOR — на open rate не ориентировались, потому что он во многом определяется удачной темой (она одинакова для всех тестовых групп). Достоверность тестов — 95%.
После отправки подождали результатов. За время ожидания взяли средний срок, за который подписчики успевают прочитать рассылку и отреагировать, отдельно учли выходные. Затем прибавили результаты группы с клиентами, отобранными одновременно Mindbox и алгоритмами, к результатам каждой из групп (изначально пересечение выделили, чтобы не отправлять письмо одному и тому же клиенту дважды). Оказалось, что во всех трех тестах сегменты на машинном обучении показали лучший CTR и CTOR, чем построенные с помощью фильтров Mindbox:
CTR
CTOR
Тест № 1 (Вьетнам)
+0,3 п. п.
+7,1 п. п.
Тест № 2 (Великий Устюг)
+1,19 п. п.
+7,46 п. п.
Тест № 3 (Египет)
+1,15 п. п.
+ 10.61 п. п.
Как и ожидали, показатели у контрольной группы были ниже, чем у тестовых
-
× 2–3раза меньше сегмент, построенный алгоритмом, чем вручную
Убедились также, что алгоритмы создают более узкие сегменты, где число клиентов меньше в два-три раза. То есть коммуникационная нагрузка на базу снижается — при более высоком CTR и CTOR клиенты получают меньше писем, но более релевантные.
5. Ввод в эксплуатацию — две недели
Подготовили инструкции и две недели работали над формированием ML-сегментов вместе с командой маркетинга: встречались несколько раз в неделю и готовили рассылки по контент-плану.
На этом этапе ожидаемо появились новые требования к интерфейсу. К счастью, для полноценного старта потребовались только косметические правки: добавить статус подписки, группировку регионов и так далее.
Что планируем делать дальше
Оценить, сократилась ли доля отписок. Для этого должно пройти несколько месяцев: играет роль накопительный эффект.
Повышать точность алгоритмов. Работа модели будет регулярно улучшаться по двум направлениям. Первое (постоянное) — пересчет ввиду получения новых данных, которые использует модель, и ретроспективное сравнение. Второе (ситуативное) — работа над улучшением модели, например при появлении критической массы данных, которые модель ранее не учитывала, или резком изменении рыночной ситуации. Сравнивать будем с эффективностью предыдущей версии модели.
Создать полноценную рекомендательную систему на базе машинного обучения. Сегментация клиентов для рассылок — только первый шаг. Конечная цель — полностью автоматизировать работу с контентом.
Для этого планируем создать портрет продукта, то есть сегментировать туры и дополнительные услуги, чтобы маркетологам не приходилось вручную формировать оффер.
Затем разработаем рекомендательный сервис на сайте и в рассылках, чтобы посетители видели именно те направления, отели и дополнительные услуги, которые заинтересуют их с наибольшей вероятностью. Это самый сложный, но и самый важный этап в работе над рекомендательной системой: сайт — наш основной канал продаж.
Связать рекомендательную систему с календарем маркетинговых активностей. Алгоритмы будут подсказывать, когда и с кем проводить коммуникацию, и при этом определять очередность — какой тур предложить в первую очередь, например с учетом валютных курсов, обязательного выкупа мест в отеле или сгорающих авиабилетов.
Научиться прогнозировать спрос. Мы как туроператор напрямую сотрудничаем с авиакомпаниями, отелями и другими поставщиками — надеемся, что алгоритмы помогут нам оптимизировать закупки с учетом закрытых стран, отелей на ремонте и других факторов.
