Как повышать метрики рассылок и сайта с помощью AB-тестирования. Библиотека AB-тестов клиентов Mindbox

Как повышать метрики рассылок и сайта с помощью AB-тестирования. Библиотека AB-тестов клиентов Mindbox

AB-тесты помогают осознанно добиваться роста метрик или, наоборот, отсеивать неэффективные решения на раннем этапе. Проводить тесты можно в любых каналах коммуникации: email- и SMS-рассылках, мобильных и веб-пушах, попапах и встроенных блоках на сайте, чатах в соцсетях и мессенджерах.
Оцените идеи тестов, которые проводили в 12 STOREEZ, «Галамарте», Tom Tailor, «Сантехнике-онлайн». Часть гипотез в подборке не подтвердилась, но мы оставили их, потому что результаты тестов могут отличаться в зависимости от масштабов и сферы бизнеса.
Содержание
15 тестов для повышения эффективности email-рассылок
6 тестов для повышения эффективности сайта

Тесты для повышения эффективности email-рассылок

1. Имя в теме письма

Гипотеза. Если подставить имя в тему письма, то количество открытий вырастет.
Поначалу Divan.ru не использовал персональные обращения в письмах. Маркетологи проверили эту гипотезу на двух триггерах: «брошенный просмотр» и письмо с рекомендациями к следующему заказу. В обоих сценариях они сделали два варианта рассылок: без имени и с ним.
Имя в теме письма
В АВ-тесте темы писем были идентичны, но в одном случае к клиенту обращались по имени, а в другом — нет.
Результаты. Письмо «брошенный просмотр» открывают на 9% чаще, если в теме есть обращение по имени. В письме с рекомендациями к следующему заказу ситуация похожая, но достоверных результатов со статистической значимостью так и не набралось.
Вариант письма
Open rate
Конверсия в заказы по last click
С именем
32,70%
0,3%
Без имени
30,10%
0,3%

2. Персонализация темы письма

Гипотеза. Если в теме письма пообещать персональный промокод на бесплатный набор товаров при следующей покупке, то открытий будет больше, чем если пообещать этот же набор по общему промокоду.
Косметический бренд Teana отправлял письмо с промокодом клиентам, которые ничего не покупали 2 месяца. В одном варианте темы они обещали персональный промокод на набор сывороток в подарок к заказу, во втором — бесплатный набор сывороток по промокоду. Маркетологи предполагали, что победит вариант с персональным промокодом.
Результат. Более лаконичный вариант письма открывали чаще, чем письмо с персональным промокодом.
Тема письма
Open rate
Click rate
Конверсия в заказ
Персональный промокод на набор сывороток в подарок к заказу!
33,04%
8,89%
5,19%
Бесплатный набор сывороток по промокоду!
38,41%
10,25%
19,06%
Различия статистически значимы с доверительной вероятностью 95%. Метод атрибуции — last click. Конверсия за 7 дней теста

3. Дополнительный призыв к действию в теме письма

Гипотеза. Дополнительный призыв к действию в теме письма привлечет внимание и побудит открыть письмо.
Divan.ru запустил триггерную рассылку «брошенный просмотр дорогого товара», чтобы рассказывать о возможности покупки мебели в рассрочку. Письмо отправляется, если клиент изучал товары со стоимостью выше среднего чека. В AB-тесте сравнили два варианта рассылки — с дополнительным призывом к действию и без него.
Варианты письма с одним и двумя призывами в теме
Варианты письма с одним и двумя призывами в теме
Результат. Спустя несколько тысяч отправок результаты варианта с дополнительным призывом к действию немного выше, хотя статистически значимой разницы добиться не удалось. Причем выросли не только открытия, но и клики — их больше на ~13%.
Вариант письма
Open rate
Click rate
Без призыва к действию
29,33%
4,70%
С призывом к действию
30,26%
5,31%

4. Double-opt-in-рассылка раньше чем через сутки

Гипотеза. Если напоминать о подтверждении email-адреса раньше чем через сутки, то подтверждать почту будут на 10–15% чаще.
Когда клиент подписывается на рассылку, Divan.ru отправляет письмо для подтверждения почтового адреса. Если клиент игнорирует первое письмо, ему отправляется письмо-напоминание.
Изначально письмо-напоминание отправлялось спустя сутки. Divan.ru решил проверить, что будет, если отправлять рассылку раньше — через 6 часов после того, как клиент оставил свой email.
Результат. Если отправлять DOI через 6 часов, а не через сутки, клиенты чаще вспоминают, что надо подписаться на рассылку. Конверсия в заказы тоже увеличилась.
Вариант письма
Open rate
Конверсия в заказы
Отправка спустя 6 часов
18%
1%
Отправка спустя сутки
12,9%
0,8%

5. Эмодзи в теме письма

Гипотеза. Эмодзи в теме письма повышают его open rate.
Обычно 12 storeez отправлял клиентам все письма с эмодзи в теме. Маркетологи считали, что это повышает open rate. Решили перепроверить это предположение — разослали клиентам два варианта писем: со смайликами и без них.
В теме письма — смайлики
Вариант 1. В теме письма — смайлики
Тема письма без смайликов
Вариант 2. Тема письма без смайликов
Результат. Письма без смайликов открывали чаще, чем с ними.
Вариант письма
Open rate
Со смайликами
11,4%
Без смайликов
12,7%

6. Упоминание конкретного приза в теме письма

Гипотеза. У письма с конкретным подарком в теме open rate будет выше.
Онлайн-супермаркет arbuz.kz.разослал два письма с разным текстом в теме: в первом называли конкретный приз, во втором нет.
Результат. Оказалось, что менее конкретный заголовок письма без уточнения подарка более эффективен.
Тема
Open rate
Покупать — побеждать! ? Розыгрыш духовок от Samsung Kazakhstan
8,59%
Время получать призы за покупки ?
9,49%
Доверительная вероятность тестирования 95%.

7. Длина письма

Гипотеза. Короткое письмо удерживает внимание аудитории лучше, чем длинное.
«Сантехника-онлайн» отправила части аудитории короткий вариант письма — без подборки товаров. Второй части — длинный вариант с подборкой.
Результат. Длинное письмо показало лучший click rate.
Письмо
Click rate
Короткое письмо без подборки товаров
1,3%
Длинное письмо с подборкой товаров
1,9%
Статистическая достоверность — 95%
Длинное письмо
Длинное письмо с ярким баннером, промокодом и подборкой товаров — конверсия в переход на сайт в полтора раза выше, чем у короткого
Короткое письмо
Короткое письмо с ярким баннером и промокодом
Такой же тест провели в 12 STOREEZ. Обычно в компании отправляют клиентам рассылки-лонгриды с образами из товаров бренда. Под каждым образом — описание одежды, с чем ее сочетать и для какого случая она подходит.
Гипотеза. 12 STOREEZ тестировали противоположную гипотезу: короткое письмо с одним образом одежды получит больший click rate, чем длинное письмо с несколькими образами.
В письме пять комплектов одежды
Вариант 1. В письме пять комплектов одежды. Клиент нажимает «Выбрать» под фото — открывается текст с разбором комплекта
Письмо с разбором одного образа
Вариант 2. Письмо с разбором одного образа
Результат. Короткое письмо собрало почти в два раза больше кликов.
Вариант письма
Click rate
Лонгрид с пятью образами
0,8%
Короткое письмо с одним образом
1,4%

8. Подборка товаров в email-рассылках

Гипотеза. У email-рассылок с подборкой товаров конверсия в заказ выше, чем без подборки.
Эту популярную среди маркетологов гипотезу проверил «Галамарт», проведя несколько AB-тестов с двумя вариантами рассылок.
Результат. Оказалось, что с подборкой товаров click rate конверсия в заказ и средний чек ниже, чем без подборки.
Вариант email-рассылки
Количество участников
Open rate
Click rate
Без подборки товаров
25 506
21,6%
5,3%
С подборкой товаров
45 542
22%
5,1%

9. Число товаров в письме «брошенная категория»

Гипотеза. Увеличение количества товаров в письме с 12 до 18 повысит click rate.
Divan.ru отправляет «брошенную категорию», если клиент смотрел товарные категории, но не смотрел конкретные товары и не добавлял их в корзину. В компании предположили, что письмо с увеличенным количеством товаром будет эффективнее, потому что клиент с большей вероятностью найдет нужный товар. Во время AB-теста сделали два варианта рассылки с разным количеством товаров.
Фрагмент письма «Брошенная категория»
Фрагмент письма «Брошенная категория»
Результат. Количество товаров в письме не повлияло ни на клики, ни на конверсию.
Вариант письма
Click rate
Конверсия в заказы по last click
12 товаров в рассылке
5%
0,1%
18 товаров в рассылке
4,9%
0,1%

10. Имя сотрудника в теме

Гипотеза. Сlick rate рассылки от имени сотрудника в теме письма будет выше, чем обезличенной.
В Teana тестировали, как имя сотрудника в теме письма повлияет на click rate. Они отправили два варианта писем с разными темами: «Я твой промокод» и «Аня из Teana».
Результат. Письмо с темой «Ани из Teana» показало больший click rate и конверсию, чем с темой «Я твой промокод».
Тема письма
Open rate
Click rate
Конверсия в заказ
Я твой промокод!
19,94%
0,96%
0,55%
Аня из Teana
13,67%
1,14%
2,30%
Метод атрибуции — last click. Конверсия за 7 дней теста. Различия статистически значимы с доверительной вероятностью 95%

11. Общий баннер в шапке письма

Гипотеза. Без общего баннера с информацией об акции или распродаже в шапке письма клиенты будут кликать чаще, потому что выберут интересную для себя категорию товаров со скидкой.
Маркетологи детского магазина одежды Nils проводили AB-тест в рассылке о распродаже.
Вариант письма с общим баннером вверху
Вариант письма с общим баннером вверху
Вариант письма без общего баннера
Вариант письма без общего баннера
Результат. В варианте без баннера клиенты кликали чаще на 1,3 процентных пункта — это на 30% чаще.
Click rate
Вариант с баннером
3,7%
Вариант без баннера
5%

12. Автоматические персональные рекомендации

Гипотеза. Автоматические персональные рекомендации на основе машинного обучения принесут больше кликов и продаж, чем подборка товаров, собранная маркетологом.
Гипотезу проверяли в «Первом мебельном». Письма рассылали по всей подписанной базе клиентов.
Результат. Рассылка с автоматической подборкой рекомендаций оказалась эффективнее. Подстановка персональных рекомендаций увеличивает click rate на ~6% и конверсию в заказы на 47%.
Вариант письма
Click rate
Конверсия в заказы
Вариант с ручной подборкой
3,3%
0,030%
Вариант с автоматическими персональными рекомендациями
3,5%
0,044%

13. Меню сайта в письме

Гипотеза. Добавление верхнего меню с кнопками, ведущими на самые популярные разделы сайта, повысит click rate письма.
TOPTOP проверил, как новый элемент дизайна письма повлияет на действия аудитории.
Меню в шапке письма TOPTOP
Меню в шапке письма TOPTOP
Результат. По варианту писем с кнопками кликали чаще, чем по варианту без них. Статистическая достоверность — 95%.

14. День недели и время отправки

Гипотеза. День недели и время отправки влияют на CTOR.
Пример Dostavista. Компания отслеживала не click rate, а CTOR (отношение кликов к открытым письмам), потому что CTOR показывает более точную картину, так как размеры выборок могут немного отличаться.
До проверки гипотез массовые рассылки Dostavista отправляла по пятницам. Во время AB-теста делали рассылку в понедельник, вторник, среду и четверг. Время отправки выбрали исходя из предположения о том, что клиент обычно делает в это время: 8:30 (дорога на работу), 12:00 (время перед обедом), 16:00 (полдник), 18:30 (дорога домой) и 21:00 (время дома). Часовые пояса не имели значения: большинство клиентов в базе из Москвы и Санкт-Петербурга.
Для тестирования 20 вариантов времени отправки потребовался один макет письма и 20 триггеров
Для тестирования 20 вариантов времени отправки потребовался один макет письма и 20 триггеров
Результат. Среди 20 вариантов самый высокий CTOR оказался у письма, отправленного в четверг в 21:00.

15. Бонус или скидка в брошенной корзине

Гипотеза. Бонус в брошенной корзине даст большую конверсию в заказ, чем скидка.
Tom Tailor проверял, как работает триггерная цепочка «брошенная корзина». В первом письме из цепочки клиент получает напоминание о добавленных товарах, во втором — дополнительную мотивацию на покупку в виде бонусов или скидки.
  • ×1,3
    конверсия в кликах
Провели AB-тест: части клиентов предлагали 500 бонусов, а другим — скидку 5%.
Результат. У предложения с бонусами конверсия в заказ и в кликах выше, чем у скидки, при достоверности 95%.
В компании посчитали этот результат неожиданным, потому что бонусами можно оплатить не более 50% заказа и с учетом органического чека скидка выгоднее для клиента.

Тесты на сайте

1. Дизайн элементов сайта

Первая гипотеза. Если наведем порядок в блоке «Итого» (улучшим дизайн корзины), клиентам будет проще переходить на следующий этап и они будут больше заказывать.
В 2020 году сеть винных супермаркетов «Ароматный мир» начала менять онлайн-витрину на сайте. Они проверяли, как аудитория реагирует на изменения, показывая двум группам клиентов два варианта сайта: с новым и старым блоком корзины.
Старый вариант блока оформления заказов в корзине
Старый вариант блока оформления заказов в корзине
Новый вариант блока оформления заказов в корзине
Новый вариант блока оформления заказов в корзине
  • +3,1%
    общий прирост конверсии сайта
Результат. Вариант с новым дизайном блока корзины оказался эффективнее: общий прирост конверсии сайта составил 3,1%.
Вторая гипотеза. Если карточка товара будет полностью «влезать» на первый экран сайта, клиенты будут больше добавлять в корзину и заказывать.
Старый вариант страницы товара
Новый вариант страницы товара
Старый вариант страницы товара
Новый вариант страницы товара
Результат. Новый вариант страницы товара эффективнее по конверсии в заказ. После его внедрения общая конверсия сайта выросла на 2,3%.
Третья гипотеза. Если первый ряд товаров будет полностью помещаться на первом экране сайта, клиенты будут заказывать больше.
Старый вариант страницы категории
Старый вариант страницы категории показал лучшие результаты по конверсии в заказ, чем новый вариант
Новый вариант страницы категории
Новый вариант страницы категории увеличил количество переходов в карточку товара, но уменьшил количество добавлений в корзину
Результат. Новый вариант проиграл по конверсии в заказ. Чтобы разобраться, почему предположение не подтвердилось, маркетологи провели дополнительное исследование.

2. Товарные рекомендации

Zarina настраивала рекомендации в карточке товара. Для этого они провели два АB-теста с виджетами рекомендаций.
Первая гипотеза. Карточка товара с рекомендациями принесет больший доход, чем без рекомендаций.
Во время AB-теста запустили два варианта карточек товаров: без рекомендаций и с рекомендациями «Похожие товары».
За 21 день теста было 363 194 экспериментальных сеанса.
Результат первого AB-теста
Результат. Вариант карточки товара с рекомендациями оказался эффективнее, чем вариант без рекомендаций, потому что принес больше дохода за сеанс. Статистическая достоверность теста — 95%.
Вторая гипотеза. Рекомендации похожих и сопутствующих товаров в карточке принесут больший доход за сеанс, чем рекомендации только похожих или только сопутствующих.
Всего было три карточки товаров — «Похожие товары», «Сопутствующие + похожие товары», «Сопутствующие товары». За 21 день AB-теста было 956 522 экспериментальных сеанса.
Результат второго AB-теста
Результат. Вариант карточки товара с рекомендациями «Сопутствующие + похожие товары» оказался эффективнее, чем остальные варианты. Он принес больше дохода за сеанс. Статистическая достоверность теста — 95%.

3. Обращение к клиенту по имени

Гипотеза. Обращение к клиенту по имени в веб-пуше «Брошенный просмотр» повышает click rate.
12 STOREEZ отправлял такой веб-пуш, если клиент просматривал товар, но не добавил его в корзину и покинул сайт. Маркетологи были уверены, что имя клиента в пуше повысит click rate.
Обращение обезличено
Вариант 1. Обращение обезличено
К клиенту обращаются по имени
Вариант 2. К клиенту обращаются по имени
Результат. Наличие имени в пуше никак не повлияло на click rate.
Вариант письма
Click rate
Без имени
2,3%
С именем
2%

4. Время появления попапа

Гипотеза. Если показывать попап с формой подписки посетителям не через 15, а через 30 секунд, количество конверсий вырастет.
Эту гипотезу проверял Birkenstock. В тесте участвовали две группы аудитории: каждая видела попап либо через 15, либо через 30 секунд.
Результат. Выиграл попап, который появлялся на сайте через 30 секунд: коэффициент транзакций — 3,07%, против коэффициента 15-секундного варианта — 2,21%. Статистическая достоверность теста — 100%.

5. Условия получения промокода

Гипотеза. Если посетителям сайта не придется оставлять свой email взамен на промокод, они будут чаще оформлять заказы.
Birkenstock проверял, будут ли посетители охотнее делать заказы, если они сразу получат в попапе промокод без формы подписки и сбора email. Во время AB-теста одна группа аудитории видит попап с промокодом и не оставляет email, вторая — видит попап с формой подписки, оставляет email взамен на промокод.
Результат. Значимой разницы нет. Статистическая достоверность теста — 95%.

6. Дополнительная кнопка в попапе

Гипотеза. Чем короче путь до целевого действия в попапе, тем выше конверсия.
12 STOREEZ предлагает новым клиентам оставить свой email, чтобы получить плейлист для утренних пробежек. У одной группы клиентов попросили почту сразу, а второй сначала предложили плейлист и только потом попросили почту. Варианты попапа отличаются только дополнительной кнопкой «Прислать плейлист» — текст и картинка одинаковые.
Сразу просим электронную почту
Вариант 1. Сразу просим электронную почту
Сначала предлагаем плейлист, затем просим подписаться на рассылку
Вариант 2. Сначала предлагаем плейлист, затем просим подписаться на рассылку
Результат. Попап с дополнительной кнопкой собрал больше контактов.
Вариант попапа
Конверсия в оставленные контакты
С одной кнопкой
0,98%
С двумя кнопками
2,6%
Достоверность любого AB-теста зависит от того, правильно ли он сконструирован и как интерпретируют его результаты. Повлиять на интерпретацию с помощью автоматизации нельзя, потому что результаты трактует маркетолог. Как именно это происходит, зависит от опыта, насмотренности и скрупулезности конкретного специалиста.
Выяснить же, как конструировать AB-тест, можно с помощью калькулятора достоверности AB-тестирования. Этот инструмент поможет рассчитать размер выборки, необходимый для вашего исследования, и подвести предварительные итоги тестирования, то есть объяснить, отличаются ли результаты в тестируемых вариантах, какой вариант лучше и можно ли считать результаты значимыми.