Рассказываем, как Present & Simple находят и проверяют гипотезы, а затем масштабируют результат. В кейсе — 7 AB-тестов для роста open rate, click rate и конверсии в заказ.
16 августа 2024
+ 5 п. п. к доле CRM в выручке. Как в Present & Simple улучшили рассылки благодаря AB-тестам
Для бренда женской одежды Present & Simple основной канал коммуникаций — email. Чтобы повышать прокси-метрики рассылок, а с ними и выручку, CRM-команда тестирует гипотезы на потоке.
В статье — 7 АВ-тестов для роста open rate, click rate и конверсии в заказ. Рассказываем:
Результаты
-
29% → 34%доля выручки от CRM-коммуникаций в общей выручке онлайн-продаж (сравнивали май 2023 года к маю 2024)
Источник данных: Яндекс.Метрика. Метод атрибуции — last click
Мы постоянно улучшаем CRM-коммуникации. За прошедший год добавили на сайт товарные рекомендации и попап для сбора контактов, много изменений внедрили в email-канале. Например, актуализировали триггерные письма, стали отправлять регулярные массовые рассылки, на основе АВ-тестов дорабатываем сценарии коммуникаций. В том числе благодаря проведенным тестам у нас выросла доля CRM-канала в общей выручке с 29% до 34% год к году.
Отдельно отмечу, что вырос доход от сервисных рассылок. Благодаря товарным рекомендациям он почти удвоился по сравнению с прошлым годом: 4,8% → 8,6% (сравнивали май 2023 года к маю 2024). При том, что мы подставляем рекомендации в сервисные письма только тем клиентам, которые дали согласие на получение маркетинговых рассылок.
Отдельно отмечу, что вырос доход от сервисных рассылок. Благодаря товарным рекомендациям он почти удвоился по сравнению с прошлым годом: 4,8% → 8,6% (сравнивали май 2023 года к маю 2024). При том, что мы подставляем рекомендации в сервисные письма только тем клиентам, которые дали согласие на получение маркетинговых рассылок.
Подход к АВ-тестам в Present & Simple
Откуда берут гипотезы. Чаще всего в Present & Simple перенимают идеи CRM-кампаний у брендов из разных отраслей и адаптируют под себя.
Если мне что-то нравится в рассылках конкурентов или компаний, чьими услугами я пользуюсь, приношу эту идею коллегам и мы ее тестируем. Например, недавно получила два триггерных письма от одной европейской платформы ресейла. Товар из моей корзины закончился, и мне предлагают посмотреть другие, похожие.
По аналогии мы решили запустить триггерную рассылку «Товар из вашей корзины закончился» и протестировать разные варианты писем с товарными рекомендациями.
Как проводят тесты. Для АВ-тестов рассчитывают выборку участников на калькуляторе Mindbox. Чаще всего запускают классический АВ-тест с распределением аудитории по 50% на вариант.
Продолжительность теста настраивают вручную. Она зависит от механики. Например, попап тестируют в среднем около трех недель — столько времени нужно, чтобы набрать статзначимое количество просмотров. Для массовой email-рассылки достаточно 3–5 дней, чтобы получатели успели увидеть письма в ящике и совершить целевое действие.
Как фиксируют результат. Завершенные АВ-тесты заносят в таблицу: период теста, гипотеза, сегмент и результат. Эту базу знаний используют, чтобы масштабировать выигрышные гипотезы.
На каждый тип коммуникации есть своя таблица: триггерные и разовые рассылки, попапы. Вариант таблицы с попапами
Тест № 1. Цена товара в массовой рассылке
В одной из серий массовых рассылок покупателей знакомят с новыми коллекциями одежды.
Гипотеза: если в массовых рассылках указывать цены товаров, то click rate будет выше.
Гипотеза не подтвердилась: click rate выше в письмах без указания цен.
Статистическая достоверность теста: 95%.
Вариант письма
Click rate
Не указаны цены
4,7%
Указаны цены
3,8%
Вывод: отсутствие цены на товары премиального сегмента вызывает интерес у покупателя — чтобы узнать ее, он переходит на сайт. Поэтому после теста убрали цены на товары в массовых рассылках.
Вариант 1. Цены товаров не указаны
Вариант 2. Цены товаров указаны
Тест № 2. Товарные рекомендации в сервисных письмах
В автоматических и массовых рассылках бренд активно использует товарные рекомендации. Например, они хорошо показали себя в сценариях «Брошенная корзина» и «Товар появился в продаже». Анализируя, где еще можно эффективно применить товарные рекомендации, решили добавить их в сервисные письма, которые приходят после оформления и оплаты заказов.
Гипотеза: если добавить в сервисные письма рекомендации товаров, click rate и конверсия в заказ повысятся.
Гипотеза подтвердилась: у писем с блоком рекомендаций click rate и конверсия в заказ выше.
Статистическая достоверность теста: 95%.
Вариант письма
Click rate
Конверсия в заказ
С рекомендациями сопутствующих товаров
12,8%
0,8%
Без рекомендаций
9,9%
0,2%
Вывод: масштабировали результат на все сервисные письма и получили рост дохода от них в 2 раза год к году.
-
4,8% → 8,6%доля дохода от сервисных рассылок в общей выручке онлайн-продаж (май 2023 года к маю 2024)
Источник данных: Яндекс.Метрика. Метод атрибуции — last click. Окно атрибуции — 7 дней
Вариант 1. Письмо о доставленном заказе с рекомендациями сопутствующих товаров
Вариант 2. Письмо о доставленном заказе без товарных рекомендаций
Тест № 3. Фотография и цена в рассылке «Товар снова в наличии»
Present & Simple использует триггерную механику back in stock для удержания клиентов: если покупатель просматривает на сайте товар не в наличии, ему предлагают подписаться на уведомления об этом товаре. Когда товар появится, покупатель получит об этом письмо.
Гипотеза: если добавить в письмо фотографию и цену товара, то click rate и конверсия в заказ увеличатся.
Гипотеза не подтвердилась: у письма без информации о товаре click rate и конверсия в заказ выше.
Статистическая достоверность теста: 95%.
Вариант письма
Click rate
Конверсия в заказ
Есть фотография и цена товара
25,8%
1,8%
Только название товара
33,2%
2,3%
Вывод: покупатель спустя время забывает, на какой товар он подписался, а когда получает письмо без картинки, то переходит на сайт, чтобы вспомнить. Дальше он может посмотреть что-то еще из новинок или распродаж и часто покупает больше. Результат теста сильно удивил — считали, что картинка всегда продает лучше.
Вариант 1. В письме фотография и цена товара
Вариант 2. В письме только название товара
Тест № 4. Формулировка в теме письма: «в продаже» или «в наличии»
Тему письма тестируют часто, так как это быстрый и недорогой способ повысить open rate и, как следствие, конверсию в заказ и выручку. Кроме того, такие тесты требуют минимальной подготовки и не увеличивают нагрузку на дизайнера.
Гипотеза: у письма с темой «Товар появился в продаже» open rate будет выше, чем у письма с темой «Товар появился в наличии».
Гипотеза подтвердилась: у письма с темой «Товар появился в продаже» open rate выше.
Статистическая достоверность теста: 95%.
Вариант темы письма
Open rate
Кеды CASUAL COMFORT из замши в продаже
54,3%
Кеды CASUAL COMFORT из замши в наличии
53,2%
Вывод: в письмах теперь используют только формулировку «в продаже».
Тест № 5. Короткая или длинная тема письма
Продолжая экспериментировать с темами писем, решили сравнить краткие и развернутые: «Обувь» и «Обувь на весну», «Платья» и «Платья на любой вкус».
Гипотеза: более подробная тема письма в массовых рассылках будет увеличивать open rate.
Гипотеза не подтвердилась: open rate письма с короткой темой выше.
Статистическая достоверность теста: 95%.
Вариант темы
Open rate
Обувь на весну
30,26%
Обувь
31,24%
Вывод: если из темы не до конца понятно, какой именно товар предлагается в рассылке, клиент с большей вероятностью ее откроет, чтобы узнать детали.
Этот эксперимент мы проводили уже после того, как Mindbox улучшил встроенные AB-тесты. Стало удобнее делить аудиторию 50 на 50: половина получает один вариант рассылки, вторая — другой. Отправка занимает 10 минут. Раньше тест заканчивался, когда определялся победитель и победившая рассылка уходила оставшейся части аудитории. Надо было ждать не менее трех часов, чтобы письмо ушло окончательно всем пользователям.
При этом после доработки появилось одно неудобство. Раньше в тестах по умолчанию сравнивались open rate, click rate и конверсия в заказ, ключевой показатель подсвечивался зеленым. Теперь тесты проводятся только по ключевому показателю, а дополнительные нужно добавлять вручную.
В старых АВ-тестах подводился итог только по ключевому показателю. Остальные сравнивались в отчете без оценки статистической значимости. Теперь статистическая значимость считается для всех выбранных показателей: и ключевого, и дополнительных. Мы не рекомендуем выбирать большое количество показателей при тестировании гипотезы, которая потенциально влияет только на один из них. Иначе увеличивается шанс получить ложноположительный результат АВ-теста.
Тест № 6. Разбор образа модели
В Present & Simple делают массовые рассылки-лукбуки, в которых разбирают образы моделей: показывают товары, которые носит девушка на фото.
Гипотеза: если разбирать образ модели в лукбуке, это увеличивает click rate.
Тест не набрал статистической значимости: получатели одинаково реагировали на обычное письмо и на письмо с разбором образа.
Вариант писем
Click rate
Лукбук с разбором образа модели
2,31%
Лукбук без разбора образа
2,3%
Вывод: можно отправлять более простые письма и не тратить ресурсы на оформление блоков с разбором образов.
Вариант 1. Лукбук с разбором образа модели
Вариант 2. Лукбук без разбора образа
Раньше разборы образов совсем не интересовали нашу аудиторию. Мы меняли наполнение писем и периодически тестировали такие рассылки. Некоторое время спустя я стала замечать, что click rate писем с разбором образа стал расти. Пока рано говорить о результатах, но скоро мы хотим провести повторные тесты. Возможно, мы стали большим авторитетом в стиле для наших пользователей и смогли их заинтересовать.
Тесты писем с товарными рекомендациями: ручные подборки против машинных алгоритмов
Экспериментировали с товарными рекомендациями — искали, какие подборки будут наиболее интересны аудитории. Одновременно решили протестировать, что лучше сработает в рассылках — рекомендации, предложенные алгоритмом Mindbox или подобранные вручную.
Гипотеза: в письмах с товарными рекомендациями на основе алгоритма Mindbox click rate будет выше, чем в письмах с ручной подборкой.
Подборка «Популярные товары»
В первой рассылке тестировали алгоритм товарных рекомендаций «Популярные товары» и подборку товаров вручную.
Гипотеза не подтвердилась: click rate выше в письмах с ручной подборкой рекомендаций.
Статистическая достоверность теста: 95%.
Вид рекомендаций
Click rate
Ручная подборка популярных товаров
5,27%
Алгоритм Mindbox «Популярные товары»
4,82%
Подборка «Персональные рекомендации»
Во второй рассылке протестировали алгоритм «Персональные рекомендации».
Тест не набрал статистической значимости: получатели одинаково реагировали на оба письма.
Вид рекомендаций
Click rate
Ручная подборка персональных рекомендаций
4,79%
Алгоритм Mindbox «Персональные рекомендации»
4,81%
Подборка «Новинки»
В третьей рассылке в числе персональных рекомендаций решили выводить только новинки, ручную подборку тоже составили из этой категории товаров.
Гипотеза подтвердилась: click rate выше в письмах с товарными рекомендациями, сформированными алгоритмом Mindbox.
Статистическая достоверность теста: 95%.
Вид рекомендаций
Click rate
Ручная подборка рекомендаций из категории «Новинки»
2,9%
Алгоритм Mindbox «Персональные рекомендации», ограниченные сегментом товаров-новинок
3,3%
Вариант 1. Письмо с рекомендациями товаров, сформированными вручную
Вариант 2. Письмо с рекомендациями товаров, сформированными алгоритмом Mindbox
Вывод: если выделить сегмент товаров, который интересен аудитории, то товарные рекомендации на основе алгоритма Mindbox срабатывают лучше ручных подборок.
На примере этой серии тестов видно, что важно подобрать правильный алгоритм: не останавливаться на одном, а пробовать разные и искать тот, который подойдет для рассылки.
Мы и дальше будем проводить АВ-тесты с разными алгоритмами Mindbox для массовых и автоматических рассылок.
Планы
В ближайшие 1–2 месяца будут масштабировать результаты АВ-тестов на другие рассылки в email-канале. В планах — создать инициативную группу внутри отдела маркетинга, которая будет заниматься АВ-тестами: искать идеи, генерировать гипотезы и внедрять результаты.
P. S. В этой истории мы рассказывали о нашем продукте Рассылки. Узнайте о продуктах подробнее на их страницах или в разговоре с консультантом.
