Mario Berlucci делятся подборкой из 12 AB-тестов в email и мобильных пушах. В кейсе — идеи улучшений контента, тем и офферов в массовых рассылках.
26 марта 2025
Повышаем open rate и click rate. 12 АB-тестов в email-рассылках и пушах от Mario Berlucci
CRM-команда Mario Berlucci генерирует и проверяет гипотезы на потоке с помощью AB-тестов. Это помогает улучшать прокси-метрики рассылок и в итоге повышать выручку.
В кейсе — 12 АВ-тестов контента, тем и офферов в email-рассылках и мобильных пушах.
Содержание:
Подход к АB-тестам в Mario Berlucci
Массовые email-рассылки и пуши приносят нам 30% выручки. В email делаем упор на контентные письма со всевозможными подборками товаров: по сезону, цвету, дизайну, материалу, размеру и полноте стопы. Раз в месяц отправляем рассылку с познавательными статьями об искусстве, моде и психологии, чтобы создавать дополнительную ценность для аудитории и поддерживать ее интерес к рассылкам. Хотя письма не продающие, их средний click rate — 1% и мы получаем от них дополнительную выручку. В пушах анонсируем распродажи и новые коллекции, подборки товаров и эксклюзивные новинки, которые первые несколько дней доступны только в приложении.
Чтобы увеличивать эффективность массовых рассылок, мы постоянно дорабатываем темы и контент писем и пушей. Для этого проводим AB-тесты на потоке. Целевые метрики для тестов — open rate, click rate и CTOR. Чем выше эти показатели, тем выше у рассылок охват и тем больше трафика они приводят на сайт. За счет этого растут конверсия в покупку и выручка.
В тестах на улучшение кликабельности я одновременно проверяю и click rate, и CTOR. Первый считается от доставок, а второй — от открытий. На мой взгляд, CTOR достовернее. Он помогает убедиться, что с ростом открытий не становится меньше кликов.
С октября 2024 года я протестировала более 35 гипотез в массовых рассылках и мобильных пушах. Дальше в статье расскажу о тех, по которым получили устойчивый результат в АB-тестах и масштабировали его.
Откуда берут гипотезы. CRM-маркетолог ежедневно отсматривает рассылки конкурентов и компаний из других отраслей, перенимает решения, которые можно использовать для аудитории Mario Berlucci. Кроме того, специалист генерирует идеи, основываясь на портрете аудитории и результатах маркетинговых исследований.
Как выбирают сегменты для тестов. В Mario Berlucci тесты проводят на ручных рассылках для разных сегментов. Клиентов делят по поведению, а также полноте и размеру стопы: от этого зависят товарные подборки в письмах.
По поведению клиенты бывают вовлеченные и активные. Сегмент вовлеченных самый широкий: это те, кто взаимодействовал с рассылками последние 90 дней. В него могут входить и активные клиенты: те, кто совершал покупки последние 90 дней или смотрел на сайте товары в последние 30 дней или открывал рассылки за последние 14 дней.
По полноте стопы базу делят на три сегмента: с узкой стопой, широкой стопой или без данных о полноте стопы.
По размеру стопы выделяют два сегмента: с известным размером или без данных о размере.
Сегменты для тестов могут формироваться по одному признаку, например только по полноте стопы. А могут — по нескольким, скажем, по поведению и по размеру стопы.
Мы проверяем гипотезы на разных сегментах и выявляем, где изменение сработает лучше, а где не даст значимых отличий или вызовет ухудшение. Сегмент для теста каждый раз зависит от того, какая рассылка должна уйти в этот день. Она может быть рассчитана на самую широкую аудиторию: вовлеченные клиенты без данных о размере и полноте стопы. Или на очень узкую. В любом случае мы проведем аналогичный тест на других сегментах, чтобы собрать максимум данных.
Чтобы принять решение о масштабировании гипотезы, я дополнительно смотрю на p-value в каждом АВ-тесте. Он показывает, насколько случаен полученный результат. Если p-value меньше или равен 0,05, то результату можно доверять. Калькулятор АВ-тестов Mindbox по умолчанию предлагает использовать такую же доверительную вероятность. Однако, если p-value в тесте близок к пороговому значению, например 0,0489, я стараюсь перепроверять гипотезы несколько раз.
Как проводят тесты. Одну гипотезу тестируют на рассылках для разных сегментов. Участников теста делят 50 на 50: одной половине уходит вариант A, другой — вариант Б.
Иногда гипотезы повторно тестируют на одном и том же сегменте с интервалом в две недели. Так происходит, когда тест показывает нестатзначимый рост метрик и нужно убедиться, что результат не случайный.
Аналитический период для тестов — два дня после рассылки. В течение этого времени обычно накапливается необходимое количество целевых действий, чтобы определить статистически значимую разницу. Включая остаточные клики на пуши в центре уведомлений.
Как фиксируют результат. Завершенные АВ-тесты вносят в таблицу: гипотезы, сегмент, метрики и результат. Такой документ помогает систематизировать данные, чтобы позже масштабировать успешные приемы.
Для email-рассылок и мобильных пушей есть отдельные таблицы с результатами тестов
Массовые email-рассылки: 6 АB-тестов
Автоматические товарные рекомендации против ручной подборки
С помощью теста оценивали, какие подборки лучше работают: автоматические или ручные. Для автоматических рекомендаций в массовых рассылках использовали алгоритм «Персональные рекомендации», выбирая подходящий для рассылки сегмент товаров. Например, для рассылки о светлых оттенках обуви указали сегмент «светлая зимняя обувь». Алгоритм настроили за два дня до рассылки, чтобы он успел «научиться» и показал всем подписчикам подборки, основанные на их персональных предпочтениях.
Вариант А с ручной подборкой. Click rate — 1,48%. CTOR — 15,96%
Вариант Б с автоматическими персональными рекомендациями. Click rate — 3,37%. CTOR — 29,73%
Гипотеза. Предположили, что если вместо ручной подборки использовать персональные автоматические рекомендации Mindbox, то click rate или CTOR вырастет хотя бы на 1 п. п.
Сегменты. Гипотезу тестировали по два раза среди клиентов:
- с узкой стопой;
- с широкой стопой;
- без данных о полноте стопы.
Срок для оценки результата. Два дня на каждый тест.
Метрики. Click rate и CTOR.
Гипотеза подтвердилась. Тесты показали положительный статзначимый результат в двух сегментах: клиенты с узкой стопой и клиенты без данных о полноте стопы. В сегменте клиентов с широкой стопой тест показал нестатзначимый рост CTOR. Поскольку в большинстве тестов улучшение значимо повлияло на рост показателей, в компании приняли решение масштабировать гипотезу на все массовые рассылки.
Клиенты без данных о полноте стопы
Вариант
Click rate
CTOR
Ручная подборка
X
Y
Автоматические рекомендации
X + 0,14 п. п.
Y + 1,64 п. п.
Статистическая значимость — 95%
Клиенты с узкой стопой
Вариант
Click rate
CTOR
Ручная подборка
X
Y
Автоматические рекомендации
X + 1,89 п. п.
Y + 13,77 п. п.
Статистическая значимость — 95%
Письмо о распродаже: с дополнительной скидкой и без
CRM-маркетолог обратила внимание, что некоторые бренды предлагают дополнительные скидки во время распродаж, и решила проверить, поможет ли такой прием увеличить прокси-метрики.
Вариант А. Письмо с промокодом на дополнительную скидку 5%. Click rate — 0,53%. CTOR — 10,63%
Вариант Б. Письмо о распродаже без промокода на дополнительную скидку. Click rate — 0,66%. CTOR — 12,98%
Гипотеза. Предположили, что дополнительная скидка 5% на распродаже повысит click rate хотя бы на 1 п. п.
Сегменты. Гипотезу тестировали по всей базе клиентов.
Срок для оценки результата. Два дня.
Метрики. Open rate, click rate и CTOR.
Гипотеза не подтвердилась. Выиграл вариант без дополнительной скидки. По open rate значимой разницы между вариантами нет.
Вариант
Open rate
Click rate
CTOR
🔴 До −25%: начинаем неделю выгод
X
Y
Z
🔴 Неделя выгод: до −25% и −5% дополнительно
X
Y − 0,13 п. п.
Z − 2,35 п. п.
Статистическая значимость — 95%
Тест показал, что два оффера одновременно — распродажа и скидка 5% — путают получателей и могут вызвать недоверие. Использовать такое сочетание больше не будем.
В рассылках Mario Berlucci есть верхнее меню с кнопками, которые ведут на популярные разделы сайта: обувь, сумки, блог, распродажа и доставка. Так читатели могут перейти на сайт и просмотреть товарные категории, которых нет в письме. В компании предположили, что переходить на интересующие категории обуви из большого блока в конце письма может быть удобнее. Помимо меню в начале письма, добавили блок с категориями в конце и решили проверить, улучшит ли это прокси-метрики.
Вариант-победитель с товарными категориями в конце письма для сегмента с известным размером стопы. Click rate — 2,94%
Проигравший вариант без товарных категорий в конце письма для сегмента с известным размером стопы. Click rate — 2,44%
Гипотеза. Если в конце письма предложить клиентам блок с товарными категориями, то click rate и CTOR значительно вырастут.
Сегменты. Тест проводился по всей базе. Поскольку первый результат был не статзначим, тест проводили дважды среди клиентов с указанным размером стопы и без него.
Срок для оценки результата. По два дня на каждый АB-тест.
Метрики. Click rate и CTOR.
Гипотеза подтвердилась. В малочисленных сегментах значимой разницы между вариантами нет. В широких сегментах выиграло письмо с блоком товарных категорий в конце.
Для нас такой результат означает, что гипотеза точно не ухудшает ситуацию, поэтому решили масштабировать ее на большинство массовых рассылок и везде добавить блок в товарными категориями в конце письма.
Клиенты без данных о полноте стопы
Вариант
Click rate
CTOR
Нет товарных категорий
X
Y
Есть товарные категории
X + 0,16 п. п.
Y + 1,76 п. п.
Статистическая значимость — 95%
Клиенты с известным размером стопы
Вариант
Click rate
CTOR
Нет товарных категорий
X
Y
Есть товарные категории
X + 0,5 п. п.
Y + 4,56 п. п.
Статистическая значимость — 95%
Клиенты без данных о размере стопы
Вариант
Click rate
CTOR
Нет товарных категорий
X
Y
Есть товарные категории
X + 0,18 п. п.
Y + 3,58 п. п.
Статистическая значимость — 95%
Вариант А с товарными категориями в конце письма для сегмента без данных о полноте стопы. Click rate — 0,68%
Вариант Б без товарных категорий в конце письма для сегмента без данных о полноте стопы. Click rate — 0,52%
Тема письма: фокус на комфорт и стиль или натуральные материалы
В Mario Berlucci проверили, какая характеристика товаров больше привлечет подписчиков: эмоциональная или прагматичная. Для этого протестировали несколько тем в рассылках.
Гипотеза. Упоминание натуральных материалов в теме письма повысит open rate.
Сегменты. Гипотезу тестировали по всей базе клиентов.
Срок для оценки результата. Два дня.
Метрика. Open rate.
Гипотеза подтвердилась. Вариант с упоминанием натуральности выиграл в трех сегментах: клиенты без данных о полноте стопы, вовлеченные клиенты без данных о полноте стопы и клиенты с широкой стопой. В самом узком сегменте «вовлеченные с узкой стопой» натуральность проиграла женственности. В остальных сегментах тема не повлияла на open rate: разница между вариантами незначительная.
Самый широкий сегмент — клиенты без данных о полноте стопы
Вариант
Open rate
💖 Ботильоны: эстетика женственности
X
💖 Ботильоны из натуральной кожи и замши
X + 0,3 п. п.
Статистическая значимость — 95%
Сегмент вовлеченных клиентов без данных о полноте стопы. Тема с упоминанием натуральности выиграла не только по open rate, но и по другим показателям.
Вариант
Open rate
Click rate
CTOR
«Комфортная обувь + меховые стельки»
X
Y
Z
«Натуральная кожа + меховые стельки»
X + 1,01 п. п.
Y + 0,39 п. п.
Z + 1,63 п. п.
Статистическая значимость — 95%
Сегмент вовлеченных клиентов с широкой стопой
Вариант
Open rate
💖 Ботильоны: эстетика женственности
X
💖 Ботильоны из натуральной кожи и замши
X + 2,88 п. п.
Статистическая значимость — 95%
Гипотеза проиграла в небольшом сегменте — клиенты с узкой стопой. В Mario Berlucci предположили, что тема женственности может сильнее откликаться у клиентов этого сегмента. Решили сформулировать и протестировать новую гипотезу со словом «женственность».
Вариант
Open rate
💖 Ботильоны: эстетика женственности
X
💖 Ботильоны из натуральной кожи и замши
X − 2,58 п. п.
Статистическая значимость — 95%
Гипотеза неоднократно подтвердилась на широких сегментах, а в большинстве тестов изменение не повлияло на open rate. Решили несколько раз в месяц упоминать натуральность в теме рассылок и провести повторные тесты в сегменте клиентов с узкой стопой. Если ухудшение open rate сохранится, масштабировать гипотезу на рассылки для этого сегмента не будем.
Кроме того, планируем проверить, повлияет ли гипотеза на open rate в автоматических рассылках.
Длинное письмо против короткого
Предположили, что подробности о товарах из подборки замотивируют клиентов прочитать письмо, и решили это проверить.
Вариант-победитель: в тексте о товарах больше конкретики. CTOR — 10,40%
Проигравший вариант: один абзац текста о товарах в подборке. CTOR — 8,77%
Гипотеза. Если в текст письма с подборками обуви добавить больше подробностей о товарах, это повысит click rate и CTOR.
Сегменты:
- активные клиенты: те, кто покупал обувь в последние три месяца или просматривал на сайте товары за последние 30 дней;
- вовлеченные клиенты, указавшие размер стопы;
- вовлеченные клиенты без данных о размере стопы;
- клиенты с широкой стопой;
- клиенты с узкой стопой;
- клиенты без данных о полноте стопы.
Срок для оценки результата. Каждый тест длился два дня.
Метрики. Click rate и CTOR.
Гипотеза подтвердилась. В сегменте активных клиентов выиграл вариант с бóльшим объемом текста. В остальных сегментах статистически значимой разницы в вариантах не было.
Активные клиенты
Вариант
Click rate
CTOR
Мало текста
X
Y
Много текста
X + 0,22 п. п.
Y + 1,63 п. п.
Статистическая значимость — 95%
Вариант с бóльшим объемом текста обеспечил значимый рост CTOR, а click rate увеличился незначительно. Несмотря на то что в остальных тестах значимого роста не выявлено, мы будем масштабировать гипотезу на другие рассылки.
Подборки товаров: с фотографиями моделей и без
С помощью АB-тестов на разных сегментах выясняли, как повлияют на кликабельность имиджевые фото вместо одной колонки в товарной сетке.
Вариант А. Стандартная сетка: карточки товаров размещены в две колонки и несколько рядов. Click rate — 2,12%. CTOR — 13,31%
Вариант Б. Нестандартная сетка: одну колонку с товарами заменили имиджевыми фотографиями большего формата. Click rate — 2,57%. CTOR — 16,08%
Гипотеза. Если вместо одной колонки товарных карточек поставить имиджевое фото, это повысит click rate и CTOR письма.
Сегменты. Тест проводился по всей базе клиентов.
Срок для оценки результата. Два дня.
Метрики. Click rate и CTOR.
Гипотеза частично подтвердилась в сегменте вовлеченных клиентов с неизвестным размером стопы, в котором 30+ тысяч участников. В других сегментах, с меньшим числом участников, был не статзначимый рост click rate и CTOR. Поскольку гипотеза не ухудшила показатели, мы решили использовать нестандартную товарную сетку во всех сегментах.
Вовлеченные клиенты без данных о полноте стопы
Вариант
Click rate
CTOR
Стандартная товарная сетка
X
Y
Нестандартная товарная сетка
X + 0,45 п. п.
Y + 2,77 п. п.
Статистическая значимость — 95%
Мобильные пуши: 6 АB-тестов
Для тестов мобильных пушей аудиторию сегментировали по операционным системам: iOS и Android.
Список против сплошного текста
Гипотеза. Если сплошной текст с перечислением достоинств продукта заменить перечнем с эмодзи-маркерами, это повысит click rate пуша.
Срок для оценки результата. Два дня. Гипотезу тестировали по три раза в каждом сегменте.
Гипотеза подтвердилась. В одном тесте перечень победил в сегменте Android, во втором — в сегменте iOS, а в остальных тестах значимой разницы между вариантами не было.
Включили перечень с эмодзи в рассылки, так как он иногда положительно влияет на click rate и ни в одном тесте не показал ухудшения. Однако используем его не чаще 2–3 раз в месяц, чтобы не наскучить аудитории однообразными сообщениями.
AB-тест среди пользователей Android. Пуш со сплошным текстом. Click rate — 3,16%
AB-тест среди пользователей Android. Пуш с перечнем. Click rate — 4,14%
AB-тест среди пользователей iOS. Пуш со сплошным текстом. Click rate — 1,34%
AB-тест среди пользователей iOS. Пуш с перечнем. Click rate — 1,82%
Пуш с эмодзи или без
Гипотеза. Если в заголовке и тексте пуша не будет эмодзи, click rate повысится.
Срок для оценки результата. Два дня на тест. Гипотезу проверили по три раза в каждом сегменте.
Гипотеза подтвердилась. Пуш без эмодзи два раза победил в сегменте iOS, а в Android разница между вариантами была не статзначимой. Поскольку ухудшения показателей не было ни в одном тесте, гипотезу масштабировали на остальные рассылки.
Вариант
Click rate
🔴 Комфортные ботинки ✔️Завершат любой повседневный образ и будут вам служить несколько сезонов
X
Комфортные ботинки Завершат любой повседневный образ и будут вам служить несколько сезонов
X + 0,66 п. п.
Статистическая значимость — 95%
Вариант
Click rate
💎 Коллекция Premium ✨Обувь лучшего качества из натуральной кожи особой выделки
X
Коллекция Premium Обувь лучшего качества из натуральной кожи особой выделки
X + 0,45 п. п.
Статистическая значимость — 95%
Длинный пуш против короткого
Проводили тесты, чтобы понять, какой текст лучше работает на кликабельность: из одного предложения или из двух–трех.
Короткий текст
Длинный текст
С натуральным мехом или шерстью
Мягкие модели с натуральным мехом или шерстью: шнуровка, стразы, надежная платформа
📱Обновите приложение для доступа в адвент-календарь
📱Обновите приложение, и вам будет доступен наш адвент-календарь с ежедневными сюрпризами
Сейчас доступны только в приложении!
Сейчас доступны для вас только в приложении. Более 20 вместительных и стильных сумок, которых нет на сайте!
Гипотеза. Click rate будет выше у пуша с коротким текстом.
Срок для оценки результата. Два дня.
Сегменты. Гипотезу тестировали среди пользователей:
- iOS,
- Android,
- старой версии приложения на iOS,
- старой версии приложения на Android.
За три дня до исследования Mario Berlucci выпустили обновление приложения, и выборка из пользователей новой версии не успела набраться. Поэтому в тест включили пользователей обеих версий.
Гипотеза не подтвердилась. Пуш с коротким текстом статистически значимо не повлиял на click rate ни в одном тесте во всех сегментах.
Заголовок пуша: длинный или короткий
Кроме длины текста пуша тестировали длину заголовка. Определяли, какой заголовок обеспечит более высокий click rate: в одно слово или стандартный из 3–4 слов.
Короткий заголовок
Длинный заголовок
Ботинки
Ботинки: комфорт и тренды
⛅️ Прогуляемся?
⛅️ Для комфортных прогулок
Дуэты
Сочетания обуви и сумок
Гипотеза. Если озаглавить мобильный пуш одним словом, это повысит click rate.
Срок для оценки результата. Два дня на один тест. Всего в каждом сегменте провели по три теста.
Гипотеза не подтвердилась. Ни в одном из тестов варианты статистически значимо не повлияли на click rate.
Текст пуша: акцент на комфорт и стиль или натуральные материалы
По аналогии с тестом в массовой рассылке проверяли, как повлияет на click rate словосочетание «натуральная кожа». Тест проводили три раза на двух сегментах:
- пользователи iOS,
- пользователи Android.
Гипотеза. Упоминание 100% натуральности в тексте пуша повысит click rate.
Срок для оценки результата. Два дня.
Гипотеза подтвердилась. Во всех тестах упоминание 100% натуральности положительно повлияло на click rate. Статистически значимая разница между вариантами получена один раз — у пользователей Andriod. Решили упоминать натуральность в пушах, если это уместно по смыслу.
Сегмент пользователей Android
Вариант
Click rate
Для повседневного образа: на плоском ходу, на среднем и высоком каблуке
X
Из 100% натуральной кожи: на плоском ходу, на среднем и высоком каблуке
X + 1,27 п. п.
Статистическая значимость — 95%
Подборка в пуше: случайная или с учетом размера обуви
Тестировали, как персонализация пуша повлияет на click rate. В эксперименте участвовали клиенты, у которых известен размер стопы. Тест проводился отдельно для пользователей iOS и Android.
Гипотеза. Click rate будет выше у пуша с подборкой обуви по размеру.
Срок для оценки результата. Два дня. Тест повторили дважды.
Гипотеза подтвердилась. В обоих тестах подборка обуви по размеру выиграла со статистически значимой разницей. Решили масштабировать гипотезу на другие рассылки с подборками обуви.
Сегмент пользователей iOS с известным размером стопы
Вариант
Click rate
Эффектные ботильоны
X
Ботильоны N размера
X + 2,17 п. п.
Статистическая значимость — 99%
Сегмент пользователей Android с известным размером стопы
Вариант
Click rate
Эффектные ботильоны
X
Ботильоны N размера
X + 2,84 п. п.
Статистическая значимость — 99%
Планы
Периодически будем повторять все тесты, чтобы увидеть, сохраняется ли тенденция. А также продолжим искать и проверять новые идеи. В планах — протестировать по 10 гипотез в email-рассылках и мобильных пушах.
Еще хотим запускать тесты на разновозрастных сегментах и исследовать их предпочтения. Для этого нужна достаточно большая выборка с известной датой рождения. Пока только собираем эти данные.
P. S. В этой истории мы рассказывали о наших продуктах Рассылки, Мобильные пуши и Рекомендации. Узнайте подробнее на их страницах или в разговоре с консультантом.
