Чтобы повысить эффективность механики, провели серию из пяти тестов: каждая последующая итерация учитывала результаты предыдущей. Результаты тестов и неожиданные инсайты — в новой истории клиента.
Как курьерский сервис Dostavista увеличивает базу подписчиков. Пять тестов рассылок с инсайтами
Dostavista — российский сервис курьерской доставки. Страны присутствия: Россия, Индия, Мексика, Индонезия, Турция, Бразилия, Южная Корея, Малайзия, Вьетнам, Филиппины. Работает с 2012 года. 2 млн доставок по всему миру за август 2020 года
Задача
Активировать базу из 200 тысяч клиентов с email-адресами, но без однозначного согласия на получение рассылок
Решение
Отправить клиентам письмо с предложением скидки на следующий заказ в обмен на подтверждение подписки на рассылки
Результат
Благодаря тестам определили лучшее время отправки письма, самые эффективные темы, размер скидки и макет
ИТ.
Сайт собственной разработки, приложения для iOS и Android
Срок.
Один месяц
Фишка
Серия из пяти тестов с результатами и неожиданными инсайтами
14 декабря 2020
Мы работаем и развиваемся в 10 странах — проводим много экспериментов с посылом, форматом. Активный спрос с контентной рекламы мы уже собрали, но хотим развиваться дальше. Именно поэтому эксперименты для нас очень важны, еще и потому, что удачные практики из одной страны мы можем раскатать на все. Сейчас мы находимся в стадии обучения: ищем идеальные сочетания каналов и механик для достижения результата. И если один из 10 экспериментов срабатывает — то я считаю, что мы молодцы.
С email мы работаем чуть меньше года и еще не используем все возможности Mindbox. Благодаря тому, что у нас выросла команда CRM, мы сможем уделять больше внимания сбору базы, проведению экспериментов и созданию мультиплатформенных триггеров: email, мобильные и вебпуши. Возможность коммуникации в нескольких каналах — это ключевое преимущество Mindbox, ставшее решающим аргументов в пользу выбора платформы.
Продукт Mindbox Персонализированные рассылки
Зачем тестировали гипотезы
Email-канал в Dostavista начали развивать около года назад одновременно с подключением Mindbox. Email-адресов в базе гораздо меньше, чем клиентов вообще: сейчас у компании менее 100 тысяч контактов с подтвержденными email-адресами. Так произошло потому, что, с одной стороны, маркетологи хотели максимально облегчить оформление заказа и поэтому не делали поле с email обязательным, а с другой — у бурно развивающейся компании не было достаточно сотрудников для полноценной работы с email-каналом.
Ситуация начала меняться с созданием CRM-отдела. Позже к команде присоединился junior CRM-менеджер — ему предстоит заняться наращиванием базы, тестированием гипотез и созданием триггерных кампаний: до этого email в основном использовался для транзакционных рассылок.
При этом email-база собиралась независимо от команды: клиенты, которые оплачивают услуги Dostavista картой, указывают email, чтобы получить электронный чек.
На сентябрь 2020 года в базе было 200 тысяч держателей карт — ценный актив, с которым в Dostavista раньше не работали. Активировать клиентов решили с помощью скидки на следующий заказ в обмен на подтверждение email’а (double opt-in). Поскольку у Dostavista не было информации о предпочтениях этой аудитории, решили не отправлять рассылку по всей базе, а тестировать разные варианты писем на небольших группах. Предполагали, что это обеспечит бóльшую конверсию в подписчиков.
Выбирала методологию тестирования и интерпретировала результаты команда маркетинга Dostavista.
Я преподаю студентам и всегда говорю, что в CRM есть две главные вещи: путь пользователя, то есть нужное сообщение в нужное время, и тестирование гипотез. Я не очень верю в бенчмарк: то, что работает для одной компании, может не подойти другой. Например, на прошлом месте работы ссылки на примеры рассылок повысили конверсию в подписку, а в Dostavista это не сработало.
Стандартные механики нам вообще не подходят, и лучший способ найти то, что сработает, — провести эксперимент. Благодаря серии тестов на исторической базе мы сможем отправлять актуальным клиентам проверенный макет в оптимальное время.
Если говорить о Mindbox как инструменте, то самое важное, что получилось, — удалось выстроить диалог с клиентами и получение от них обратной связи. Почти в каждом письме мы проводим опросы — благодаря им формат рассылок поменялся кардинально. У нас также появилась база респондентов для фокус-групп, согласных оценивать новые возможности нашего продукта.
Какие гипотезы проверили
Всего было пять итераций тестов: каждый последующий учитывал результаты предыдущего. Ниже подробно расскажем про каждый этап.
Этап первый: AB-тест тем письма. Разделили участников теста на две группы и отправили каждой промокод на 50% со сроком действия в две недели. Рассылки отличались темой письма.
Гипотеза: тема письма «Скидка за подписку — 50%» окажется эффективнее варианта «Разрешите иногда писать вам?». В качестве целевого действия выбрали open rate.
При тестировании темы содержание письма не должно отличаться: правильно проверять только один элемент
Гипотеза не подтвердилась. Тема письма, обещающая получателю осязаемую выгоду, оказалась менее эффективной: open rate 25,43% против 25,84%.
Вывод по результатам теста: тема с предложением отправлять письма оказалась эффективнее варианта со скидкой.
Дополнительный инсайт: продлить срок действия промокода до одного месяца. За две недели подписчики не успели им воспользоваться — конверсия в заказ достигла скромных 0,05%.
Этап второй: мультивариативное тестирование макетов письма. Разделили группу на 8 частей и каждой отправили свой вариант дизайна.
Конкретной гипотезы не было — хотели проверить все варианты. В качестве целевого действия выбрали клик на кнопку «Подписаться» в письме. Отслеживали не click rate (отношение кликов к отправленным письмам), а CTOR (отношение кликов к открытым письмам). CTOR показывает более точную картину, так как размеры выборок могут немного отличаться. Погрешность невелика, но на маленьких цифрах Dostavista всё-таки заметна.
Первый вариант: длинный текст
Второй: короткий текст
Третий: добавили к короткому тексту баннер со скидкой
Четвертый: добавили к третьему варианту слова благодарности
Пятый: добавили к длинному тексту баннер со скидкой и ссылки на примеры рассылок
Шестой: отличается от пятого варианта отсутствием ссылок на примеры рассылок
Седьмой: добавили к шестому варианту таймер
Восьмой: отличается от седьмого варианта текстом на баннере
По результатам теста победил третий вариант:
Победивший вариант макета: короткий текст и баннер со скидкой — ничего лишнего
Вывод по результатам теста: текст письма должен быть максимально коротким, без отвлекающих элементов, например таймера или дополнительных ссылок.
Дополнительный инсайт: баннер с размером скидки повышает CTOR.
Этап третий: мультивариативное тестирование времени отправки. До проверки гипотез массовые рассылки отправляли по пятницам — так исторически сложилось. Решили изучить, как на CTOR повлияет день недели и время отправки.
Протестировали понедельник, вторник, среду и четверг: 8:30 (дорога на работу), 12:00 (время перед обедом), 16:00 (полдник), 18:30 (дорога домой) и 21:00 (время дома). Часовые пояса не имели значения: большинство клиентов в базе из Москвы и Санкт-Петербурга.
Среди 20 вариантов самый высокий CTOR оказался у письма, отправленного в четверг в 21:00.
Для тестирования 20 вариантов времени отправки потребовался один макет письма и 20 триггеров
Вывод по результатам теста: самое эффективное время для отправки писем — поздний вечер четверга.
Этап четвертый: мультивариативное тестирование вариантов скидки. Разделили участников теста на пять групп и каждой отправили свой вариант скидки: 45%, 49%, 50%, 53% и 55%.
Гипотеза: некруглая скидка выделит стандартное письмо с промокодом и привлечет внимание читателя — выше вероятность, что он совершит целевое действие.
Гипотеза подтвердилась. Самый высокий CTOR был у письма с 55% скидкой. Этот результат предсказуем: самая высокая скидка в тесте. Неожиданным оказалось, что второе место с минимальным отрывом в 0,06% (3,65% против 3,71%) заняла скидка в 49%, то есть четвертая по размеру.
После перехода по ссылке в письме клиент попадает на лендинг
Сразу после этого отправляем второе письмо с промокодом
Вывод по результатам теста: размер скидки должен быть нестандартным — не нужно её округлять.
Этап пятый: AB-тест скидки в 55% против 49%. Поскольку в предыдущей итерации скидка в 55% победила с минимальным отрывом, решили провести тест повторно.
Гипотеза: скидка в 55% окажется эффективнее меньшей скидки в 49%.
Гипотеза не подтвердилась. Оказалось, что CTOR со скидкой в 49% выше: 3,09% против 2,69%. Этот результат в Dostavista могут объяснить только эффектом неожиданности.
Вывод по результатам теста: чем нетривиальнее скидка, тем выше CTOR — можно предлагать клиентам меньшую скидку, но в неожиданном виде.
Письмо-победитель пятой итерации тестирования учитывает результаты проверки всех гипотез: используем самые эффективные тему, макет, время отправки и размер скидки
Результаты тестирования и дальнейшие шаги
Средний CTOR в тестах колебался на уровне 3%. В результате из 120 тысяч получателей только 3 тысячи подписались на рассылки Dostavista. Это ниже, чем ожидали в CRM-отделе. Следующий этап: понять, как увеличить этот показатель — для этого планируют провести RFM-анализ тех, кто не подписался.
Тем не менее результатами тестирования в компании довольны: удалось получить несколько важных инсайтов. В базе клиентов, указавших свой email при оплате картой, осталось 80 тысяч человек (и это число постоянно растет) — им отправят наиболее эффективный вариант письма в лучшее время.
Следующий шаг — при ближайшем заходе на сайт показать неподписавшимся клиентам попап: подтвердить согласие можно будет, нажав одну кнопку. Маркетологи Dostavista уже провели тест попапа — он показал высокую конверсию в подписку: 67%.
Тестирование рассылок признано эффективным инструментом — с расширением штата Dostavista проверке гипотез в этом канале будут уделять больше внимания.
Раньше у компании не было ресурсов на проведение тестов в рассылках — время отправки, например, зависело от готовности рассылки. Благодаря серии тестов мы получили много инсайтов. Так, для реактивации стоит использовать нетривиальную скидку, письма должны быть короткими и отправляться в определенное время.
Важно, что у нас в Dostavista есть возможность тестировать гипотезы и спокойно принимать неудачи. Так, первая итерация теста показала очень низкую конверсию в заказ — мы сделали выводы и продлили срок действия промокода в два раза.
Я считаю, что тесты нужны всем, у кого есть email-рассылки. Проверку гипотез надо воспринимать как учебу в школе: это позволяет понять, какие подходы не работают и не наступать на одни и те же грабли.
P. S. В этой истории мы рассказывали о нашем продукте «Персонализированные рассылки». Узнайте о продукте подробнее на его странице или в разговоре с консультантом.
