В «Нетологии» подсчитали, что технический сбой в сценарии снижает его конверсию на 0,03–0,1 п. п. У «Нетологии» запущено 1300 сценариев — это 2,8 тыс. автоматических рассылок. На таких объемах даже небольшое снижение сильно бьет по выручке. При этом контролировать столько рассылок вручную нереально. Поэтому «Нетология» стала одним из первых клиентов, который опробовал новую страницу проблем в Mindbox. В кейсе руководитель CRM-маркетинга «Нетологии» рассказывает, как с ее помощью выстроили мониторинг ошибок — быстро находят узкие места и не теряют конверсии.
Как не терять конверсии из-за мелких сбоев. Нетология мониторит 1300 сценариев и тратит всего час в неделю
Нетология — онлайн-платформа для обучения новым профессиям
Масштаб бизнеса.
355 курсов, 2 млн студентов
Задача
Сохранять конверсию рассылок, которая проседает из-за технических ошибок
Решение
Мониторить ошибки в CRM-цепочках, используя новую страницу проблем в Mindbox
Результат
На 0,03–0,1 п. п. повысили конверсию отдельных сценариев, которая проседала из-за технических сбоев
Срок.
1 месяц
18 июля 2024
В Нетологии подсчитали, что технический сбой в сценарии снижает его конверсию на 0,03–0,1 п. п. В масштабах одной кампании такие потери не выглядят критичными. Но у Нетологии запущено 1300 сценариев — это 2,8 тыс. автоматических рассылок. На таких объемах даже небольшое снижение сильно бьет по выручке. При этом контролировать столько рассылок вручную нереально.
Поэтому Нетология стала одним из первых клиентов, который опробовал новую страницу проблем в Mindbox. В кейсе руководитель CRM-маркетинга Нетологии рассказывает, как с ее помощью выстроили мониторинг ошибок — быстро находят узкие места и не теряют конверсии.
Опыт Нетологии полезен не только крупным компаниям. Если у вас уже запущены базовые механики, работа с ошибками может повысить их конверсию не хуже точечных AB-тестов.
Как обнаружили падение конверсии
С декабря 2023 года по май 2024 мы видели по отчету о рассылках, что конверсия в заявку из автоматических кампаний проседает. При этом происходили технические сбои в автоматических кампаниях — мы замечали это самостоятельно или узнавали от менеджера Mindbox. Чтобы понять, связана ли просадка метрик со сбоями, провели анализ:
- Выбрали 15 самых трафиковых сценариев.
- Для исследования объединили их в группы, например по языку программирования, который продвигают в этих сценариях.
- На странице проблем Mindbox определили, в какой группе сценариев случался сбой.
- Для каждой группы определили период, когда наблюдался сбой, и подсчитали конверсию в это время.
- Конверсию при сбое сравнили с нормой каждой группы.
Оказалось, что ошибки в кампаниях снижали конверсию на 0,03–0,1 п. п.
Группа сценариев
Средняя потеря конверсии в заявку, п. п.
1
0,06
2
0,04
3
0,04
4
0,1
5
0,1
6
0,03
Данные внутреннего отчета Нетологии. Сценарии объединены в группы, например по языку программирования, который в них продвигается. Средняя потеря — результат сравнения конверсии при сбое с нормой для этого сценария
С июня мы внедрили мониторинг ошибок и починили ключевые CRM-цепочки — сейчас видим, что у них восстанавливается нормальная конверсия в заказ.
Как вручную отслеживали ошибки
Причины большинства сбоев — чисто технические, например перегрузка, из-за того что одновременно срабатывают сотни сценариев, пересчитываются огромные сегменты или уходит массовая рассылка на 500 тыс. клиентов.
Платформа автоматически ограничивает ресурсы, доступные механикам, чтобы гарантировать работоспособность всего проекта. Например, сценарии поддерживают разные классы обслуживания — для транзакционных рассылок вроде SMS о статусе заказа и массовых. Если в сценарий попадает большое количество событий, например из-за масштабного импорта, его класс обслуживания меняется и скорость обработки ограничивается.
С прошлого года мы стали следить за работой всех механик клиентов и проактивно сообщать им, когда механики работают неоптимально и мешают друг другу. Планируем автоматизировать этот функционал и встроить его в платформу, чтобы клиенты самостоятельно видели статус системы и принимали решения об оптимизации.
Пробовали отслеживать ошибки на странице проблем в Mindbox, но по ней было неясно, в какой цепочке возникла ошибка, из-за чего и что с этим делать. Уведомления о мелких и серьезных багах отображались вперемешку — чинить их по приоритету было невозможно. Три человека из нашей команды открывали список ошибок и по очереди их расследовали — на каждую уходило до 10 минут. С учетом того, что у нас сотни сценариев, на эту работу постоянно не хватало ресурсов.
Старая страница проблем Mindbox не помогала в расследовании ошибок: по ошибкам не хватает данных, мелкие и серьезные баги перемешаны
Поскольку мы не могли систематически мониторить и исправлять ошибки в CRM-цепочках, чинили только то, что случайно обнаружили сами, что подсказала наш менеджер Mindbox или коллеги — кураторы и координаторы курсов. Например, ошибки в сценариях можно было заметить по отчету о прохождениях: в каждом блоке сценария видно, сколько раз он пройден в режиме реального времени — если в каком-то блоке мы теряем прохождения, расследовали, что на этом этапе идет не так.
В сценариях Mindbox можно отслеживать прохождения и посмотреть, какой процент и количество клиентов, попавших в сценарий, прошли через условие
Большинство проблем с отправкой автоматических рассылок мы упускали, из-за чего теряли заявки и выручку.
Как устранили ошибки в ключевых сценариях и настроили системный мониторинг ошибок в CRM-цепочках
Мы давали обратную связь менеджеру Mindbox, что из-за неудобной страницы проблем упускаем ошибки в сценариях. Поэтому нам предложили поучаствовать в доработке и протестировать новый интерфейс.
На обновленной странице проблем можно отсортировать ошибки от свежих к старым или отфильтровать:
- по статусу;
- сущностям, для которых они созданы, например по операциям, рассылкам, сценариям;
- дате возникновения.
Страница проблем в рассылках Нетологии. Отсортированы ошибки, связанные с продуктовыми рассылками
В первую очередь мы использовали обновленную страницу проблем, чтобы расследовать сбои при отправке продуктовых рассылок. В них мы продвигаем бесплатные курсы или даем выгодные офферы на платные — например скидку или доступ к какому-нибудь продукту. Такие рассылки уходят по расписанию и генерируют сотни заявок в день.
Автоматические анонсы бесплатных курсов приносят от 50 до 200 заявок в день. Со временем часть студентов становится покупателями платных занятий
Специальные предложения платных курсов помогают сконвертировать «горячего» лида в покупателя. У этой рассылки доля в выручке email-канала — 5,71%
Часто рассылки доходили не всем клиентам, а иногда не отправлялись вообще. Оказалось, дело в технической ошибке — чтобы исправить ее, провели расследование.
Сначала на странице проблем отсортировали ошибки, связанные с продуктовыми рассылками — раньше такой возможности не было. Выяснилось, что чаще всего рассылки не уходят из-за перегрузки базы данных. Например, для создания сегмента используется слишком сложный фильтр, который долго пересчитывается. Или одновременно происходит слишком много пересчетов, которые перегружают процессинг, — из-за этого он останавливается и пользователи не получают рассылку.
Все ошибки, которые зафиксировала страница проблем, мы сгруппировали и отдали CRM-маркетологам в работу. Например, чтобы распределить нагрузку на процессинг в течение дня, массовые рассылки перевели на утро, когда не так много отправок и действий на сайте. Облегчили сложные фильтры, часть компаний переключили на пересчитываемые сегменты.
После доработки кампаний ошибки не повторяются, а конверсия в заявки из этих рассылок вернулась к нормальному значению.
С новым отчетом об ошибках мы поставили доработку CRM-цепочек на поток. При этом сильно снизилась операционная нагрузка на CRM-отдел — не нужно подолгу искать поломки в сценариях и привлекать для этого менеджера Mindbox. Сейчас я каждый четверг за час проверяю страницу проблем: оцениваю, в каких сценариях возникли ошибки, по какой причине и сколько ресурсов потребуется на доработку. Затем приоритизирую задачи в зависимости от того, как много заявок приносит тот или иной сценарий. Так составляется план улучшения сценариев на неделю.
Благодаря регулярному мониторингу и доработке CRM-цепочек, конверсия в заявку гораздо меньше страдает из-за технических сбоев в рассылках.
P. S. В этой истории мы рассказывали о нашем продукте Рассылки. Узнайте о продукте подробнее на его странице или в разговоре с консультантом.
