AB-тесты помогают осознанно добиваться роста метрик или, наоборот, отсеивать неэффективные решения на раннем этапе.
17 ноября 2022
Как повышать метрики рассылок и сайта с помощью AB-тестирования. Библиотека AB-тестов клиентов Mindbox
Как повышать метрики рассылок и сайта с помощью AB-тестирования. Библиотека AB-тестов клиентов Mindbox
AB-тесты помогают осознанно добиваться роста метрик или, наоборот, отсеивать неэффективные решения на раннем этапе. Проводить тесты можно в любых каналах коммуникации: email- и SMS-рассылках, мобильных и веб-пушах, попапах и встроенных блоках на сайте, чатах в соцсетях и мессенджерах.
Оцените идеи тестов, которые проводили в 12 STOREEZ, «Галамарте», Tom Tailor, «Сантехнике-онлайн». Часть гипотез в подборке не подтвердилась, но мы оставили их, потому что результаты тестов могут отличаться в зависимости от масштабов и сферы бизнеса.
Все знают теорию: AB-тесты нужны, чтобы проверять гипотезы и эффективность планируемых изменений. Действительно ли ваша задумка повысит продажи или увеличит количество подписчиков и прочтений? Как она скажется на эффективности работы бизнеса? Тесты помогают оценить это честно, исключив влияние внешних факторов.
Об этом редко говорят, но AB-тесты еще и помогают маркетологу отстоять свою позицию перед руководством. Часто опытный маркетолог и без теста знает, что лучше сработает для его аудитории. Но запускает два варианта, чтобы доказать свою точку зрения.
АБ-тесты используют для тюнинга уже работающей системы, измеряя небольшие изменения.
Содержание
15 тестов для повышения эффективности email-рассылок
6 тестов для повышения эффективности сайта
Тесты для повышения эффективности email-рассылок
1. Имя в теме письма
Гипотеза. Если подставить имя в тему письма, то количество открытий вырастет.
Поначалу Divan.ru не использовал персональные обращения в письмах. Маркетологи проверили эту гипотезу на двух триггерах: «брошенный просмотр» и письмо с рекомендациями к следующему заказу. В обоих сценариях они сделали два варианта рассылок: без имени и с ним.
В АВ-тесте темы писем были идентичны, но в одном случае к клиенту обращались по имени, а в другом — нет.
Результаты. Письмо «брошенный просмотр» открывают на 9% чаще, если в теме есть обращение по имени. В письме с рекомендациями к следующему заказу ситуация похожая, но достоверных результатов со статистической значимостью так и не набралось.
Вариант письма
Open rate
Конверсия в заказы по last click
С именем
32,70%
0,3%
Без имени
30,10%
0,3%
Многие компании обращаются к клиенту по имени в теме письма. Это может влиять на эффективность такого приема, потому что со временем подобные приемы становятся «мастхев». Пользователи ожидают личного обращения, поэтому могут вообще проигнорировать письмо без имени.
2. Персонализация темы письма
Гипотеза. Если в теме письма пообещать персональный промокод на бесплатный набор товаров при следующей покупке, то открытий будет больше, чем если пообещать этот же набор по общему промокоду.
Косметический бренд Teana отправлял письмо с промокодом клиентам, которые ничего не покупали 2 месяца. В одном варианте темы они обещали персональный промокод на набор сывороток в подарок к заказу, во втором — бесплатный набор сывороток по промокоду. Маркетологи предполагали, что победит вариант с персональным промокодом.
Результат. Более лаконичный вариант письма открывали чаще, чем письмо с персональным промокодом.
Тема письма
Open rate
Click rate
Конверсия в заказ
Персональный промокод на набор сывороток в подарок к заказу!
33,04%
8,89%
5,19%
Бесплатный набор сывороток по промокоду!
38,41%
10,25%
19,06%
Различия статистически значимы с доверительной вероятностью 95%. Метод атрибуции — last click. Конверсия за 7 дней теста
В этом тесте проверяли очень разные темы письма. Возможно, дело не в персональном промокоде, а, скорее, в лаконичности и звучности второй темы.
3. Дополнительный призыв к действию в теме письма
Гипотеза. Дополнительный призыв к действию в теме письма привлечет внимание и побудит открыть письмо.
Divan.ru запустил триггерную рассылку «брошенный просмотр дорогого товара», чтобы рассказывать о возможности покупки мебели в рассрочку. Письмо отправляется, если клиент изучал товары со стоимостью выше среднего чека. В AB-тесте сравнили два варианта рассылки — с дополнительным призывом к действию и без него.
Варианты письма с одним и двумя призывами в теме
Результат. Спустя несколько тысяч отправок результаты варианта с дополнительным призывом к действию немного выше, хотя статистически значимой разницы добиться не удалось. Причем выросли не только открытия, но и клики — их больше на ~13%.
Вариант письма
Open rate
Click rate
Без призыва к действию
29,33%
4,70%
С призывом к действию
30,26%
5,31%
4. Double-opt-in-рассылка раньше чем через сутки
Гипотеза. Если напоминать о подтверждении email-адреса раньше чем через сутки, то подтверждать почту будут на 10–15% чаще.
Когда клиент подписывается на рассылку, Divan.ru отправляет письмо для подтверждения почтового адреса. Если клиент игнорирует первое письмо, ему отправляется письмо-напоминание.
Изначально письмо-напоминание отправлялось спустя сутки. Divan.ru решил проверить, что будет, если отправлять рассылку раньше — через 6 часов после того, как клиент оставил свой email.
Результат. Если отправлять DOI через 6 часов, а не через сутки, клиенты чаще вспоминают, что надо подписаться на рассылку. Конверсия в заказы тоже увеличилась.
Вариант письма
Open rate
Конверсия в заказы
Отправка спустя 6 часов
18%
1%
Отправка спустя сутки
12,9%
0,8%
5. Эмодзи в теме письма
Гипотеза. Эмодзи в теме письма повышают его open rate.
Обычно 12 storeez отправлял клиентам все письма с эмодзи в теме. Маркетологи считали, что это повышает open rate. Решили перепроверить это предположение — разослали клиентам два варианта писем: со смайликами и без них.
Вариант 1. В теме письма — смайлики
Вариант 2. Тема письма без смайликов
Результат. Письма без смайликов открывали чаще, чем с ними.
Вариант письма
Open rate
Со смайликами
11,4%
Без смайликов
12,7%
Возможно, это связано с тем, что многие компании добавляют смайлики в письма, и такие сообщения воспринимаются пользователями как спам. Без смайликов письмо кажется более важным.
У результатов этого AB-теста может быть еще одно объяснение — правильный или неправильный подбор смайликов для письма.
6. Упоминание конкретного приза в теме письма
Гипотеза. У письма с конкретным подарком в теме open rate будет выше.
Онлайн-супермаркет arbuz.kz.разослал два письма с разным текстом в теме: в первом называли конкретный приз, во втором нет.
Результат. Оказалось, что менее конкретный заголовок письма без уточнения подарка более эффективен.
Тема
Open rate
Покупать — побеждать! ? Розыгрыш духовок от Samsung Kazakhstan
8,59%
Время получать призы за покупки ?
9,49%
Доверительная вероятность тестирования 95%.
Я бы не стала делать вывод, что дело в конкретике. Можно только сказать, что одна тема сработала лучше, чем другая. А почему — нужно разбираться.
Возможно, проблема в словосочетании «покупать — побеждать». Может, дело в том, что в одной теме упоминается «розыгрыш», а в другом обещают что-то более надежное с помощью слова «получать».
7. Длина письма
Гипотеза. Короткое письмо удерживает внимание аудитории лучше, чем длинное.
«Сантехника-онлайн» отправила части аудитории короткий вариант письма — без подборки товаров. Второй части — длинный вариант с подборкой.
Результат. Длинное письмо показало лучший click rate.
Письмо
Click rate
Короткое письмо без подборки товаров
1,3%
Длинное письмо с подборкой товаров
1,9%
Статистическая достоверность — 95%
Длинное письмо с ярким баннером, промокодом и подборкой товаров — конверсия в переход на сайт в полтора раза выше, чем у короткого
Короткое письмо с ярким баннером и промокодом
Чем больше возможностей и кликабельных кнопок, тем больше кликов соберет письмо. При прочих равных и до определенного предела, конечно: слишком длинное письмо могут не прочитать до конца.
Короткое письмо хорошо, когда надо предложить пользователям сделать одно конкретное действие. Например, подтвердить подписку.
Такой же тест провели в 12 STOREEZ. Обычно в компании отправляют клиентам рассылки-лонгриды с образами из товаров бренда. Под каждым образом — описание одежды, с чем ее сочетать и для какого случая она подходит.
Гипотеза. 12 STOREEZ тестировали противоположную гипотезу: короткое письмо с одним образом одежды получит больший click rate, чем длинное письмо с несколькими образами.
Вариант 1. В письме пять комплектов одежды. Клиент нажимает «Выбрать» под фото — открывается текст с разбором комплекта
Вариант 2. Письмо с разбором одного образа
Результат. Короткое письмо собрало почти в два раза больше кликов.
Вариант письма
Click rate
Лонгрид с пятью образами
0,8%
Короткое письмо с одним образом
1,4%
На результаты этого теста могло повлиять не количество образов, а их концепция. В первом варианте есть несколько образов девушки в домашней обстановке. Во втором показывают одну девушку, но на улице и с телефоном в руках — есть впечатление, что она успешная и решает важные вопросы. Их можно воспринимать по-разному.
Второй нюанс — во втором варианте письма демонстрируют сначала образ, а затем конкретный набор одежды. То есть клиент знает, что нужно искать.
8. Подборка товаров в email-рассылках
Гипотеза. У email-рассылок с подборкой товаров конверсия в заказ выше, чем без подборки.
Эту популярную среди маркетологов гипотезу проверил «Галамарт», проведя несколько AB-тестов с двумя вариантами рассылок.
Результат. Оказалось, что с подборкой товаров click rate конверсия в заказ и средний чек ниже, чем без подборки.
Вариант email-рассылки
Количество участников
Open rate
Click rate
Без подборки товаров
25 506
21,6%
5,3%
С подборкой товаров
45 542
22%
5,1%
Клиент с большей вероятностью оформляет заказ, если получает одно предложение, потому что ему не нужно тратить время и силы на выбор.
9. Число товаров в письме «брошенная категория»
Гипотеза. Увеличение количества товаров в письме с 12 до 18 повысит click rate.
Divan.ru отправляет «брошенную категорию», если клиент смотрел товарные категории, но не смотрел конкретные товары и не добавлял их в корзину. В компании предположили, что письмо с увеличенным количеством товаром будет эффективнее, потому что клиент с большей вероятностью найдет нужный товар. Во время AB-теста сделали два варианта рассылки с разным количеством товаров.
Фрагмент письма «Брошенная категория»
Результат. Количество товаров в письме не повлияло ни на клики, ни на конверсию.
Вариант письма
Click rate
Конверсия в заказы по last click
12 товаров в рассылке
5%
0,1%
18 товаров в рассылке
4,9%
0,1%
Добавление количества товаров или увеличение длины письма после определенного объема уже ни на что не влияет: люди просто не досматривают слишком объемные письма.
Этот объем может быть разным и сильно зависит от верстки. По моему опыту могу сказать, что речь идет о двух-трех скроллах экрана как на десктопе, так и в мобильной версии.
10. Имя сотрудника в теме
Гипотеза. Сlick rate рассылки от имени сотрудника в теме письма будет выше, чем обезличенной.
В Teana тестировали, как имя сотрудника в теме письма повлияет на click rate. Они отправили два варианта писем с разными темами: «Я твой промокод» и «Аня из Teana».
Результат. Письмо с темой «Ани из Teana» показало больший click rate и конверсию, чем с темой «Я твой промокод».
Тема письма
Open rate
Click rate
Конверсия в заказ
Я твой промокод!
19,94%
0,96%
0,55%
Аня из Teana
13,67%
1,14%
2,30%
Метод атрибуции — last click. Конверсия за 7 дней теста. Различия статистически значимы с доверительной вероятностью 95%
Стоит разобраться в причинах таких результатов и их интерпретации. Возможно, что на click rate и конверсию повлияла не рассылка от имени сотрудника, а фактор новизны. Может, кому-то надоел обещанный промокод. Или привлекло упоминание бренда в теме письма.
Рассылку открыло меньшее количество людей, но более целевая группа. Поэтому, скорее всего, сыграло упоминание бренда.
11. Общий баннер в шапке письма
Гипотеза. Без общего баннера с информацией об акции или распродаже в шапке письма клиенты будут кликать чаще, потому что выберут интересную для себя категорию товаров со скидкой.
Маркетологи детского магазина одежды Nils проводили AB-тест в рассылке о распродаже.
Вариант письма с общим баннером вверху
Вариант письма без общего баннера
Результат. В варианте без баннера клиенты кликали чаще на 1,3 процентных пункта — это на 30% чаще.
Click rate
Вариант с баннером
3,7%
Вариант без баннера
5%
12. Автоматические персональные рекомендации
Гипотеза. Автоматические персональные рекомендации на основе машинного обучения принесут больше кликов и продаж, чем подборка товаров, собранная маркетологом.
Гипотезу проверяли в «Первом мебельном». Письма рассылали по всей подписанной базе клиентов.
Результат. Рассылка с автоматической подборкой рекомендаций оказалась эффективнее. Подстановка персональных рекомендаций увеличивает click rate на ~6% и конверсию в заказы на 47%.
Вариант письма
Click rate
Конверсия в заказы
Вариант с ручной подборкой
3,3%
0,030%
Вариант с автоматическими персональными рекомендациями
3,5%
0,044%
13. Меню сайта в письме
Гипотеза. Добавление верхнего меню с кнопками, ведущими на самые популярные разделы сайта, повысит click rate письма.
TOPTOP проверил, как новый элемент дизайна письма повлияет на действия аудитории.
Меню в шапке письма TOPTOP
Результат. По варианту писем с кнопками кликали чаще, чем по варианту без них. Статистическая достоверность — 95%.
14. День недели и время отправки
Гипотеза. День недели и время отправки влияют на CTOR.
Пример Dostavista. Компания отслеживала не click rate, а CTOR (отношение кликов к открытым письмам), потому что CTOR показывает более точную картину, так как размеры выборок могут немного отличаться.
До проверки гипотез массовые рассылки Dostavista отправляла по пятницам. Во время AB-теста делали рассылку в понедельник, вторник, среду и четверг. Время отправки выбрали исходя из предположения о том, что клиент обычно делает в это время: 8:30 (дорога на работу), 12:00 (время перед обедом), 16:00 (полдник), 18:30 (дорога домой) и 21:00 (время дома). Часовые пояса не имели значения: большинство клиентов в базе из Москвы и Санкт-Петербурга.
Для тестирования 20 вариантов времени отправки потребовался один макет письма и 20 триггеров
Результат. Среди 20 вариантов самый высокий CTOR оказался у письма, отправленного в четверг в 21:00.
15. Бонус или скидка в брошенной корзине
Гипотеза. Бонус в брошенной корзине даст большую конверсию в заказ, чем скидка.
Tom Tailor проверял, как работает триггерная цепочка «брошенная корзина». В первом письме из цепочки клиент получает напоминание о добавленных товарах, во втором — дополнительную мотивацию на покупку в виде бонусов или скидки.
-
×1,3конверсия в кликах
Провели AB-тест: части клиентов предлагали 500 бонусов, а другим — скидку 5%.
Результат. У предложения с бонусами конверсия в заказ и в кликах выше, чем у скидки, при достоверности 95%.
В компании посчитали этот результат неожиданным, потому что бонусами можно оплатить не более 50% заказа и с учетом органического чека скидка выгоднее для клиента.
Тесты на сайте
1. Дизайн элементов сайта
Первая гипотеза. Если наведем порядок в блоке «Итого» (улучшим дизайн корзины), клиентам будет проще переходить на следующий этап и они будут больше заказывать.
В 2020 году сеть винных супермаркетов «Ароматный мир» начала менять онлайн-витрину на сайте. Они проверяли, как аудитория реагирует на изменения, показывая двум группам клиентов два варианта сайта: с новым и старым блоком корзины.
Старый вариант блока оформления заказов в корзине
Новый вариант блока оформления заказов в корзине
-
+3,1%общий прирост конверсии сайта
Результат. Вариант с новым дизайном блока корзины оказался эффективнее: общий прирост конверсии сайта составил 3,1%.
Вторая гипотеза. Если карточка товара будет полностью «влезать» на первый экран сайта, клиенты будут больше добавлять в корзину и заказывать.
Старый вариант страницы товара
Новый вариант страницы товара
Результат. Новый вариант страницы товара эффективнее по конверсии в заказ. После его внедрения общая конверсия сайта выросла на 2,3%.
Третья гипотеза. Если первый ряд товаров будет полностью помещаться на первом экране сайта, клиенты будут заказывать больше.
Старый вариант страницы категории показал лучшие результаты по конверсии в заказ, чем новый вариант
Новый вариант страницы категории увеличил количество переходов в карточку товара, но уменьшил количество добавлений в корзину
Результат. Новый вариант проиграл по конверсии в заказ. Чтобы разобраться, почему предположение не подтвердилось, маркетологи провели дополнительное исследование.
Оказалось, что переходить в карточку товара действительно стали больше, а вот добавлять в корзину — меньше. Мы не знаем точную причину, почему люди изменили свое поведение. Ясно одно — желательно, чтобы посетители сразу добавляли товары в корзину со страницы категории, а не уходили в карточку товара.
2. Товарные рекомендации
Zarina настраивала рекомендации в карточке товара. Для этого они провели два АB-теста с виджетами рекомендаций.
Первая гипотеза. Карточка товара с рекомендациями принесет больший доход, чем без рекомендаций.
Во время AB-теста запустили два варианта карточек товаров: без рекомендаций и с рекомендациями «Похожие товары».
За 21 день теста было 363 194 экспериментальных сеанса.
Результат. Вариант карточки товара с рекомендациями оказался эффективнее, чем вариант без рекомендаций, потому что принес больше дохода за сеанс. Статистическая достоверность теста — 95%.
Вторая гипотеза. Рекомендации похожих и сопутствующих товаров в карточке принесут больший доход за сеанс, чем рекомендации только похожих или только сопутствующих.
Всего было три карточки товаров — «Похожие товары», «Сопутствующие + похожие товары», «Сопутствующие товары». За 21 день AB-теста было 956 522 экспериментальных сеанса.
Результат. Вариант карточки товара с рекомендациями «Сопутствующие + похожие товары» оказался эффективнее, чем остальные варианты. Он принес больше дохода за сеанс. Статистическая достоверность теста — 95%.
3. Обращение к клиенту по имени
Гипотеза. Обращение к клиенту по имени в веб-пуше «Брошенный просмотр» повышает click rate.
12 STOREEZ отправлял такой веб-пуш, если клиент просматривал товар, но не добавил его в корзину и покинул сайт. Маркетологи были уверены, что имя клиента в пуше повысит click rate.
Вариант 1. Обращение обезличено
Вариант 2. К клиенту обращаются по имени
Результат. Наличие имени в пуше никак не повлияло на click rate.
Вариант письма
Click rate
Без имени
2,3%
С именем
2%
4. Время появления попапа
Гипотеза. Если показывать попап с формой подписки посетителям не через 15, а через 30 секунд, количество конверсий вырастет.
Эту гипотезу проверял Birkenstock. В тесте участвовали две группы аудитории: каждая видела попап либо через 15, либо через 30 секунд.
Результат. Выиграл попап, который появлялся на сайте через 30 секунд: коэффициент транзакций — 3,07%, против коэффициента 15-секундного варианта — 2,21%. Статистическая достоверность теста — 100%.
Если тест сконструирован правильно, то, скорее всего, дело в том, что у пользователей было больше времени на изучение сайта, поэтому они больше готовы к действию.
Что такое правильно сконструированный тест: посетителей разделили на группы с момента начала просмотра страницы. Конверсия считается от тех, кто зашел на страницу, а не от тех, кто видел попап.
Если же конверсию считать от тех, кто видел попап, то можно попасть в ловушку. В группе «30 секунд» может остаться сильно меньше пользователей. И в итоге конверсия выше, а общее количество ниже и выручка будет ниже.
5. Условия получения промокода
Гипотеза. Если посетителям сайта не придется оставлять свой email взамен на промокод, они будут чаще оформлять заказы.
Birkenstock проверял, будут ли посетители охотнее делать заказы, если они сразу получат в попапе промокод без формы подписки и сбора email. Во время AB-теста одна группа аудитории видит попап с промокодом и не оставляет email, вторая — видит попап с формой подписки, оставляет email взамен на промокод.
Результат. Значимой разницы нет. Статистическая достоверность теста — 95%.
6. Дополнительная кнопка в попапе
Гипотеза. Чем короче путь до целевого действия в попапе, тем выше конверсия.
12 STOREEZ предлагает новым клиентам оставить свой email, чтобы получить плейлист для утренних пробежек. У одной группы клиентов попросили почту сразу, а второй сначала предложили плейлист и только потом попросили почту. Варианты попапа отличаются только дополнительной кнопкой «Прислать плейлист» — текст и картинка одинаковые.
Вариант 1. Сразу просим электронную почту
Вариант 2. Сначала предлагаем плейлист, затем просим подписаться на рассылку
Результат. Попап с дополнительной кнопкой собрал больше контактов.
Вариант попапа
Конверсия в оставленные контакты
С одной кнопкой
0,98%
С двумя кнопками
2,6%
Результат AB-теста стал для меня открытием, поэтому хочется проверить его на других механиках. Обычно на курсах маркетинга говорят: если от клиента нужно что-то получить, стоит сразу попросить об этом и перенаправить на сайт или в приложение. Тест показал, что это не всегда так.
Любопытный результат. Возможно, дело в том, что пользователь во втором варианте лучше понимает, что происходит, он погрузился в контекст.
Есть и психологический момент, когда пользователь уже сказал один раз «да» и хочет довести действие до конца.
Интересно было бы провести AB-тест, но в первом варианте кнопку назвать «прислать».
Достоверность любого AB-теста зависит от того, правильно ли он сконструирован и как интерпретируют его результаты. Повлиять на интерпретацию с помощью автоматизации нельзя, потому что результаты трактует маркетолог. Как именно это происходит, зависит от опыта, насмотренности и скрупулезности конкретного специалиста.
Выяснить же, как конструировать AB-тест, можно с помощью калькулятора достоверности AB-тестирования. Этот инструмент поможет рассчитать размер выборки, необходимый для вашего исследования, и подвести предварительные итоги тестирования, то есть объяснить, отличаются ли результаты в тестируемых вариантах, какой вариант лучше и можно ли считать результаты значимыми.
