AB-тесты помогают улучшать рассылки, основываясь на данных, а не интуиции. В статье — примеры сильных гипотез и результаты тестов FINN FLARE, «Фоксфорда», «Нетологии».
21 февраля 2025
Подборка АВ-тестов, чтобы повышать метрики email-рассылок
Подборка АВ-тестов, чтобы повышать метрики email-рассылок
АВ-тесты помогают оценить, какие изменения в рассылке улучшат отклик получателей. Проводить их можно в любых каналах коммуникации: email- и SMS-рассылках, мобильных и веб-пушах, попапах и встроенных блоках на сайте, чатах в соцсетях и мессенджерах.
В статье рассмотрим примеры AB-тестов FINN FLARE, «Фоксфорда», «Нетологии», Mario Berlucci.
Часть гипотез не подтвердилась, но мы оставили их, потому что в зависимости от контекста и сферы бизнеса результаты могут отличаться.
9 примеров AB-тестов для улучшения open rate
1. Имя получателя в теме письма. Обращение по имени создает ощущение, что к человеку обращаются лично, и побуждает открыть письмо.
Гипотеза. Если подставить имя получателя в тему письма, то количество открытий вырастет.
Гипотеза подтвердилась. В «Фоксфорде» провели тесты на выборке из 70 тысяч участников. Выиграл вариант письма с именем получателя в теме.
Благодаря проведенным АВ-тестам мы убедились, что имя получателя в теме письма выделяет его в почтовом ящике. Стараемся не злоупотреблять персонализацией и используем ее, только когда нам действительно важно обратиться к клиенту по имени.
Вариант
Тема
Open rate
А
Как не бояться будущего 🙀 5 ночей с ОГЭ
Х
Б
Ольга! Как не бояться будущего 🙀 5 ночей с ОГЭ
Х + 0,5 п. п.
Доверительная вероятность — 95%
Пример AB-теста «Нетологии» тоже подтверждает гипотезу: письмо с именем получателя в теме выиграло 3,3 п. п. у письма без имени.
Вариант
Тема
Open rate
А
Краш или кринж? 🤔
Х
Б
Ольга! Ты точно сдашь экзамен? 🤔
Х + 3,3 п. п.
Доверительная вероятность — 95%
2. Призыв к действию побуждает читателя совершить конкретные шаги и предлагает немедленную выгоду или решение проблемы. Это может повысить вероятность открытия письма.
Гипотеза. В «Фоксфорде» предположили: если использовать призыв к действию в теме письма, это мотивирует получателя открыть сообщение.
Гипотеза подтвердилась. На выборке из 100 тысяч участников письмо с призывом к действию выиграло 0,8 п. п. у письма без призыва.
Если от клиента требуется одно короткое и понятное действие, то стоит обязательно писать об этом в теме письма. Мы используем призыв к действию в сервисных письмах: подтверждение email, запись на вводный урок. Это быстрее приводит к нужному результату и экономит время клиента.
Вариант
Тема
Open rate
А
Один клик — и мы вместе 💌
Х
Б
Подтвердите email и взгляните на учебу по-новому!
Х + 0,8 п. п.
Доверительная вероятность — 95%
В «Канте» на выборке из 230 тысяч получателей тоже победила тема с CTA.
Вариант
Тема
Open rate
А
Летние новинки для приключений с комфортом
Х
Б
Посмотрите новинки сезона
Х + 2 п. п.
Доверительная вероятность — 95%
3. Эмодзи в теме письма. Эмодзи — это картинки, поэтому воспринимаются быстрее, чем текст. С их помощью легче передать тон и настроение текста.
Гипотеза. Эмодзи в теме письма выделят его среди других рассылок в почтовом ящике и повысят открываемость.
Гипотеза не подтвердилась. У лаконичных тем без эмодзи open rate выше. В Zarina вместо эмодзи в темах стали тизерить полезный контент письма. Например, «Топ-5 платьев на лето» или «Что носить в офис осенью».
Вариант
Тема
Open rate
А
−40% на платья
Х
Б
❤️ −40% на платья
Х — 1,8 п. п.
Доверительная вероятность — 95%
Вариант
Тема
Open rate
А
Новинки декабря
Х
Б
❄️Новинки декабря ❄️
Х — 1,1 п. п.
Доверительная вероятность — 95%
Примеры AB-тестов Zarina не подтверждают гипотезу, но возможно, идея сработает в другой сфере.
4. Неформальная тема или контент делают сообщение более личным и прямым. Это помогает снизить барьеры восприятия и повысить эффективность рассылок. Важно не ошибиться с аудиторией, потому что игривый стиль может восприниматься как непрофессионализм.
Гипотеза. Неформальный язык в теме или содержании письма привлечет больше внимания и повысит open rate рассылки.
Гипотеза не подтвердилась. У «Фоксфорда» неформальная тема проиграла по результатам тестов.
Вариант
Тема
Open rate
А
ЕГЭ-бинго
Х
Б
ЕГЭ на изи
Х — 2,6 п. п.
Доверительная вероятность — 95%
Использование неформальной темы письма напрямую зависит от позиционирования и TOV компании. Такие темы должны лаконично встраиваться в общую концепцию бренда, иначе аудитория просто не поймет. В нашем случае заход с использованием сленга и локальных шуток в теме письма не сработал, несмотря на то, что в дизайне писем и коммуникациях в других каналах мы часто используем мемы, сленг и стараемся говорить с аудиторией на одном языке. Возможно, наши клиенты привыкли к более понятным темам, когда сразу становится ясно, что ждет в письме — оффер, анонс нового курса или просьба подтвердить email. Мемы решили оставить для дизайна писем.
В FINN FLARE тестировали обычную тему «и в отпуск, и на работу» и тему с интригой — «то самое» платье. Неформальная тема выиграла.
Вариант
Тема
Open rate
А
«То самое» платье
Х + 4 п. п.
Б
И в отпуск, и на работу
Х
Доверительная вероятность — 95%
5. Разные скидки в теме письма тестируют, чтобы найти оптимальный уровень скидок и оценить, как они влияют на конверсию. Разные аудитории могут по-разному реагировать на скидки. Например, молодежь может быть более чувствительна к скидкам, чем взрослые покупатели.
Гипотеза. Скидка 20% будет более значимой, чем 15% и 10% для сегмента «состоятельная молодежь».
Гипотеза подтвердилась. Скидки 15% и 20% сработали лучше, чем 10%. При этом между 15% и 20% нет статистически значимой разницы. Тесты на других сегментах не показали разницы совсем.
Вариант
Тема
Open rate
А
10% в «Много лосося» 🍣
Х
Б
15% в «Много лосося» 🍣
Х + 0,23 п. п.
В
20% в «Много лосося» 🍣
Х + 0,18 п. п.
Доверительная вероятность — 95%
6. Разные офферы в теме письма. Чтобы улучшить показатели рассылок, компании тестируют разные формулировки похожих предложений. Нет единой закономерности, что работает лучше, а что — хуже. Однако в зависимости от индустрии, сегмента клиентов и общего контекста разные формулировки могут повлиять на конверсию.
Гипотеза. FINN FLARE тестировали два оффера: в одном предлагалась бесплатная доставка, во втором — скидка 50%. Предполагалось, что бесплатная доставка выиграет у скидки.
Гипотеза не подтвердилась. Оба варианта темы письма показали одинаковые результаты.
Доверительная вероятность — 95%
7. Ограниченное время предложения в теме письма или тексте мобильного пуша. Элемент срочности в сообщении стимулирует аудиторию действовать немедленно.
Гипотеза. Ограниченное время предложения подтолкнет читателей открыть письмо и узнать больше о предложении, пока оно еще доступно.
Гипотеза подтвердилась. В «Глории Джинс» протестировали тему на выборке из 2 млн получателей. Рассылка «Остался 1 день!» выиграла у рассылки «Успели обновить гардероб?».
Вариант
Тема
Open rate
А
Остался 1 день!
Х + 3,13 п. п.
Б
Успели обновить гардероб?
X
Доверительная вероятность — 95%
В FINN FLARE тестировали количество дней акций против количества самих акций. Победила тема с ограниченным временем предложения.
Вариант
Тема
Open rate
А
3 дня вау-акций
Х + 4,64 п. п.
Б
4 вау-акции, которые нельзя пропустить
Х
Доверительная вероятность — 95%
8. Имя сотрудника в имени отправителя письма. Личный контакт создает ощущение индивидуального подхода и делает сообщение более привлекательным для получателя.
Гипотеза. Рассылка от имени реального или вымышленного сотрудника компании может повысить open rate писем.
Гипотеза подтвердилась. В «Фоксфорде» стали подписывать письма именем маскота компании — Мистера Фокса. Это повысило open rate на 10%.
Мы связываем повышение open rate с эффектом новизны и привлечением внимания. Такое имя отправителя также помогает выделиться среди конкурентов. Будем использовать его ситуативно, чтобы не «размывать» бренд: в нашем случае полное название «Фоксфорд» не фигурирует в имени отправителя.
Вариант
Отправитель
Open rate
А
«Фоскфорд»
X
Б
Мистер Фокс
Х + 0,92 п. п.
Доверительная вероятность — 95%
9. Время отправки письма может повлиять на open rate писем в зависимости от аудитории. Компании тестируют время отправки рассылок, чтобы выяснить, когда их аудитория наиболее расположена открывать и читать письма.
Гипотеза. В сервисе «Пакет» предположили, что метрики утренних рассылок будут выше, чем у вечерних. Для отправок выбрали два интервала: до 12:00 и после 18:00. Письма в течение месяца отправляли получателям массовых рассылок в разрезе каждого сегмента.
Гипотеза не подтвердилась. У вечерних рассылок open rate оказался выше на 10 п. п.
7 примеров AB-тестов для повышения click rate
1. Блок с персональными рекомендациями подбирается системой автоматически на основе истории покупок клиента и его поведения на сайте: что покупал и какие товары просматривал.
Вариант А с ручной подборкой. Click rate — 1,48%. CTOR — 15,96%
Вариант Б с автоматическими персональными рекомендациями. Click rate — 3,37%. CTOR — 29,73%
Гипотеза. В Mario Berlucci решили оценить, какая подборка сработает лучше: ручная или автоматическая. Предположили, что автоматические товарные рекомендации повысят click rate рассылки.
Гипотеза подтвердилась. Письма с автоматическими персональными рекомендациями выиграли +0,14 п. п. по кликам у ручной подборки.
Вариант
Click rate
CTOR
Ручная подборка
X
Y
Автоматические рекомендации
X + 0,14 п. п.
Y + 1,64 п. п.
Доверительная вероятность — 95%
2. Длина письма может повлиять на желание дочитать сообщение до конца. Небольшое количество информации и картинок может вызвать желание пойти на сайт и получить там больше подробностей.
Гипотеза. У короткого письма с баннером без блоков рекомендаций click rate будет выше.
Гипотеза подтвердилась. В Present & Simple радикально сократили письмо в механике «товар в наличии», убрав карточку товара, цену и рекомендации. Получили +5,7 п. п. по click rate и рост конверсии в заказ.
Письмо привычной длины — проигравший вариант
Радикально короткое письмо с заголовком и CTA-кнопкой — победитель АВ-теста
В M.Reason сокращенная версия выиграла по click rate, но проиграла по конверсии в покупку.
Длина письма
Click rate
Конверсия в покупку
Короткое
Х + 17 п. п.
Y –61 п. п.
Длинное
Х
Y
Метод атрибуции — last-non-direct-touch. Доверительная вероятность — 95%
3. Баннер со скидкой в акционной рассылке. В массовые рассылки с одним большим акционным баннером можно добавлять товарную сетку с рекомендациями.
Гипотеза. Товарная сетка после баннера повысит click rate рассылки, потому что читатели увидят ассортимент и захотят пойти на сайт за покупками.
Гипотеза не подтвердилась. В «Глории Джинс» добавили под баннер со скидкой блок «бестселлеры», и эта рассылка проиграла 7 п. п. варианту без такого блока. Доверительная вероятность — 95%.
Вариант А с рекомендациями после баннера
Вариант Б с одним баннером. Если в письме есть баннер со скидкой, возможно, нет смысла показывать клиенту в письме рекомендации товаров
4. Расположение блоков в рассылке. Эксперименты с расположением блоков в письме помогают оптимизировать структуру рассылок, чтобы сделать их эффективнее.
Гипотеза. В «Туту» довольно длинные рассылки на 13–14 экранов. Маркетологи предположили, что если разместить блок с промокодами в конце письма, это мотивирует читателей просмотреть письмо полностью и с высокой вероятностью приведет их на сайт.
В теме письма анонсировали, что внутри читателей ждет промокод. В одном варианте блок с промокодами был сверху, его находили сразу, не просматривая письмо до конца. Во втором варианте промокоды разместили в конце письма. Читатели открывали рассылку, искали промокод, а по пути вовлекались и кликали по другим ссылкам. Таким образом, вариант с промокодами в конце письма получил +20% переходов на сайт. Доверительная вероятность теста — 95%.
Вариант-победитель с промокодами в конце письма
Рассылка с промокодами в верхней части письма проиграла
5. Интерактивные элементы в письме выделяются среди статичных изображений и текста, лучше передают эмоции и могут показывать продукт с разных сторон.
Гипотеза. Интерактивные элементы и gif-изображения повысят click rate письма.
Гипотеза подтвердилась. Конверсия в клик у рассылки «Якласса» с качающейся пиньятой с подарком выиграла 0,33 п. п. у рассылки без интерактивной гифки. Доверительная вероятность — 95%.
Click rate — 0,05%
Click rate — 0,38%
6. Меню сайта в письме сразу показывает, что еще можно посмотреть на сайте, если содержимое письма недостаточно интересно получателю.
Гипотеза. В TOPTOP предположили, что добавление верхнего меню с кнопками, ведущими на самые популярные разделы сайта, повысит click rate письма.
Гипотеза подтвердилась. Новые элементы дизайна повысили click rate письма на 0,86 п. п. при доверительной вероятности теста — 95%.
Ссылки на разделы сайта в шапке письма
7. Неформальный контент письма, как и тема, помогает снизить барьеры восприятия и может повысить эффективность рассылок. Важно не ошибиться с аудиторией, потому что игривый стиль может восприниматься как непрофессионализм.
Гипотеза. В Eduson предположили, что смешные подписи к карточкам курсов сработают лучше формальных. Гипотезу проверяли с помощью АВ-теста.
Гипотеза подтвердилась. Смешные неформальные карточки победили по кликам +18%.
Click rate письма с неформальными подписями — 0,38%
Click rate письма с формальными подписями — 0,32%
2 примера AB-теста для улучшения конверсии в заказ из рассылки
1. Персональные цены. Если цена товара отображается с учетом бонусных баллов, она подчеркивает потенциальную экономию.
Гипотеза. Если в товарной сетке показывать персональные цены, это поднимает конверсию в заказ.
Гипотеза подтвердилась. Nbcom вывели цену на айфоны с учетом возможной скидки от бонусных баллов. Рассылка с персональными ценами выиграла без статистической значимости.
Письмо с персональными ценами. Конверсия в заказ last-non-direct-touch — 0,6%
Письмо без персональных цен. Конверсия в заказ по last-non-direct-touch— 0,44%
2. Разные посадочные страницы. Чтобы оптимизировать конверсию в заказ, тестируют разные версии посадочных страниц.
Гипотеза предполагает, что одна посадочная страница с конкретным дизайном или структурой контента будет более эффективной, чем другая.
Результаты могут зависеть от множества факторов: от особенностей целевой аудитории до цветовой палитры страницы.
Академия Eduson тестировала два варианта посадочных страниц. Первую группу вели на популярные курсы, вторую — на главную страницу сайта. Рассылка, которая приводила на главную, получила конверсию на 35 п. п. выше.
На главной странице крупными блоками показывают все направления обучения
На странице с популярными курсами больше текста, а все элементы мельче — приходится напрягать внимание и вчитываться
Чтобы улучшать метрики рассылок, важно корректно проектировать АВ-тесты:
- формулировать измеримые конкретные гипотезы и проверять не более одной в тесте;
- формировать репрезентативную достаточную выборку. Рассчитать, сколько людей должно участвовать в эксперименте для достоверных результатов, можно с помощью любого онлайн-калькулятора достоверности АB-тестирования;
- верно интерпретировать результаты. Автоматически интерпретировать результаты тестов нельзя, это может сделать только маркетолог, который понимает контекст.
