Подробное описание технической реализации и методологии, результаты AB-тестов и расчет дополнительного дохода.
21 апреля 2021
Кейс 21vek.by и Popmechanic: +330 000 $ дополнительного дохода с помощью AB‑тестов
Крупнейший онлайн-гипермаркет Беларуси 21vek.by обратился в Popmechanic, чтобы улучшить сайт через быструю проверку гипотез. В статье — подробное описание технической реализации и методик, результаты AB-тестов и расчет дополнительного дохода в 330 тысяч долларов.
Делимся перепечаткой материала из блога Popmechanic.
Рассказываем, как увеличили конверсию в подписку на 43%, проверили десятки гипотез, повысили конверсию сайта и принесли +330 000 $ дополнительного дохода с помощью AB‑тестов для оптимизации конверсии сайта. А еще делимся файлом с примерами 100+ механик для повышения конверсии сайта.
О клиенте
21vek.by — крупнейший онлайн-гипермаркет Беларуси, работающий с 2004 года.
Ассортимент превышает 600 тыс. товаров. Трафик сайта — более 3 млн посетителей в месяц.
Задача
Коллеги из 21vek.by обратились в Popmechanic с задачей быстрого тестирования гипотез по увеличению конверсии сайта. Хотелось, чтобы маркетолог без привлечения службы разработки мог сам протестировать влияние показа любого баннера, промокода, всплывающего блока на коэффициент транзакции и доход.
Основная цель обращения к Popmechanic — улучшение сайта для роста бизнес-показателей.
Раньше любые небольшие изменения сайта мы могли реализовать только через наших разработчиков, и это занимало много времени.
А с Popmechanic такой проблемы нет. Можно очень быстро запустить эксперименты и протестировать свои гипотезы. А позже передать в полноценную разработку, будучи уверенным в результате — в увеличении конверсии.
Мы совместно определили возможные механики для улучшений и составили список гипотез для проверки.
Делимся результатами AB‑тестов.
Цель 1. Увеличиваем конверсию в подписку
Решили протестировать несколько разных типов форм подписки.
Попробуйте угадать, какая форма собирала больше подписчиков?
Результаты AB‑теста в таблице ниже:
Форма подписки
Количество показов формы
Количество лидов
Коэффициент конверсии в подписку
Процент улучшения
Простая
227 813
3563
1,6
—
Двухшаговая
233 272
5162
2,2
37,5
Форма подписки
Количество показов формы
Количество лидов
Коэффициент конверсии в подписку
Процент улучшения
Простая
529 478
8366
1,6
—
Двухшаговая
539 539
11 959
2,2
42,95
Выводы
Идея сделать из простой формы на один шаг двухшаговую выглядела нелогичной. Обычно усложнение и увеличение шагов заполнения негативно влияет на конверсию. В данном случае получилось наоборот — сработал психологический эффект: мы предлагаем сначала ответить на вопрос простым нажатием, а потом оставить email. Кажется, в этой механике играет роль страх быть непоследовательным.
Рекомендуем протестировать такую механику подписки и для вашего сайта. Например, спросить: «Хотите скидку 5%?» или «Хотите получить приглашение на закрытую распродажу?» — и запросить email на втором шаге, если посетитель выбирает вариант «Хочу».
Цель 2. Увеличиваем доход за сеанс и коэффициент транзакций с помощью AB‑тестов
Кроме тестов форм подписки, мы запустили десятки разных тестов с контрольной группой.
Как это работает?
Трафик сайта разделяется на несколько групп. Одна из групп видит изменения на сайте, другая — нет. То есть мы создаем контрольную группу, чтобы оценить, как влияет показ определенной механики на поведение посетителей сайта и целевые метрики.
В таблице ниже представлена часть тестов, которые дали достоверный результат по улучшению целевых показателей.
Эксперимент
Вариант эксперимента
Изменение дохода за сеанс, бел. руб.
Изменение транзакций за сеанс, в %
контрольная группа
группа с показом механики
контрольная группа
группа с показом механики
Всплывающий блок с социальным доказательством в карточке товара
Показ блока «Этот товар смотрели Х раз»
5,75
5,81
без достоверных изменений
без достоверных изменений
Показ блока «Этот товар купили Х раз»
5,75
5,78
2,32
2,37
Растяжка-лента с акционным промокодом и таймером в период акций
Показ ленты «Скидка 7% на все»
5,25
5,70
1,85
2,06
Показ ленты «Скидки до 20%»
4,53
5,14
1,73
1,86
Промокод на 3% скидки на другие товары в карточке товара не в наличии
Показ всплывающего промокода на карточках товаров не в наличии
6,88
9,31
1,10
1,47
15 бонусных баллов дополнительно за покупку некоторых товаров
Показ всплывающего блока с дополнительными баллами
11,38
12,98
2
2,26
Показ встроенного блока с дополнительными баллами
11,38
11,46
2
2,07
Показ количества бонусных баллов при покупке товара, встроенный блок
Мобильная версия
3,78
3,80
1,65
1,67
Десктопная версия
7,99
8,35
2,88
2,92
Почему стартовые цифры контрольной группы разные?
Вы можете заметить, что для разных механик стартовые цифры конверсии и дохода за сеанс разные. Это связано с тем, что тесты проводились в разное время, для теста могла быть выделена отдельная категория посетителей. Например, тест только среди тех, кто посещал карточки товаров.
То есть в данном случае корректно сравнивать показатели с контрольной группой и за конкретный период, а не по сайту в целом за время. Более детальное описание каждого эксперимента мы опишем в своем блоге.
Разберем эксперимент 5 из таблицы детальнее
Гипотеза эксперимента
Мы выдвинули гипотезу о том, что можно повысить количество транзакций, если в карточке товара показывать количество бонусных баллов, которые получит клиент при покупке. Так как не все посетители сайта знают об этой программе, это может быть решающим фактором покупки при условии равных цен с другим интернет-магазином.
Внешний вид механики
Сделали в конструкторе блок с расчетом бонусных баллов в зависимости от цены товара по формуле, которая используется для программы лояльности:
Количество бонусных баллов для товаров по скидке = Цена товара × 0,01
Количество бонусных баллов для товаров без скидки = Цена товара × 0,03
Встроенный блок с показом бонусных баллов на следующую покупку
Результаты
Мы запустили два отдельных AB‑теста для проверки гипотезы — для мобильных и десктопных устройств.
На мобильном получили такие показатели: с вероятностью 95% показ бонусных баллов повышает коэффициент транзакций с 1,65 до 1,67%. На первый взгляд разница может показаться незначительной. Но при трафике контрольной группы в 1 728 556 посетителей мы получили 28 500 конверсий при коэффициенте транзакций 1,65%.
А что если бы коэффициент транзакций контрольной группы был тоже 1,67%? В таком случае количество транзакций предположительно было бы 28 866. То есть даже небольшое изменение коэффициента транзакций на 0,02% за тестовой период принесло на 366 транзакций больше.
Сколько конкретно денег принес запуск механик и AB‑тесты?
Попробуем посчитать точнее, сколько дополнительных транзакций и дохода мы получили благодаря запущенным механикам.
Для тех экспериментов, где достоверность увеличения дохода была более 90%, мы решили посчитать, насколько был увеличен доход при показе механики в сравнении с контрольной группой с учетом вычисленного дохода за сеанс.
Эксперимент
Улучшение показателей в сравнении с контрольной группой, на бел. руб.
Вероятность улучшения по сравнению с исходным вариантом, в %
Лента с акционным промокодом и таймером «Скидка 7% на все»
162 034
100
Социальное доказательство в карточке товара «Этот товар смотрели Х раз»
83 513
90
Социальное доказательство в карточке товара «Этот товар купили Х раз»
37 689
90
Лента с акционным промокодом и таймером «Скидки до 20%»
578 934
100
15 бонусных баллов при покупке товара в карточке товара, всплывающий блок
3 482
100
Всего принесли показом механик, в сравнении с контрольной группой
865 652 бел. руб. = 330 563 $
Выводы:
- Не все механики позитивно влияют на конверсию. Часть проведенных тестов показала отрицательный результат. Именно поэтому важно тестировать изменения на сайте, а уже после этого их внедрять.
- Многие из механик — контринтуитивны.
- Попапы сильнее влияют на целевые метрики в сравнении с встроенными формами, что показал эксперимент с блоками о бонусных баллах в карточках товара. Поэтому рекомендуем не отказываться от этого инструмента, а тестировать и использовать его для наиболее конверсионных и важных механик.
- Используйте акционные баннеры с таймерами, если у вас действуют акционные предложения. Простая лента с промокодом и таймером может значительно повысить конверсию на сайте в период акции.
- Если у вас есть программа лояльности и бонусные баллы за покупку — протестируйте показ этой информации в карточке товара.
- Даже небольшие изменения в карточках товара, показ акционных баннеров могут принести сотни тысяч долларов дополнительного дохода при больших объемах трафика.
Техническая реализация и методики
Разберем на примере одной механики, как непосредственно создается механика и запускается тест, какие инструменты используются, сколько времени это занимает.
Шаг 1: выбор механики
Для этого наша команда анализирует сайт и подбирает наиболее подходящие механики.
Делимся нашим файлом для внутреннего использования с примерами.
Этот файл поможет вам найти идеи для тестов и сформулировать гипотезы.
Например, мы хотим протестировать показ количества бонусных баллов, которые получит пользователь при покупке товара.
Шаг 2: формулировка гипотезы
Важно определить, что будет целью использования механики и за какими показателями мы будем следить.
Например, показ количества бонусных баллов, которые получит пользователь при покупке товара, поможет увеличить коэффициент конверсии сайта на 10%.
Шаг 3: выбор шаблона из каталога Popmechanic, адаптация его под внешний вид сайта и настройка условий показа
Сервис Popmechanic позволяет быстро устанавливать различные встроенные и всплывающие формы по заданным условиям.
Выберем подходящий шаблон с каталога сервиса, адаптируем его: например, каталог для выбора готовых шаблонов.
Настраиваем условия показа формы:
Пример возможностей настроек для механики в ЛК Popmechanic
Показывать форму посетителям из России на всех URL, кроме содержащих «cart», для тех посетителей, которые более трех раз заходили на сайт ранее и перешли сейчас с UTM-campaign, содержащей «2020».
Тестируем и запускаем механику на сайте.
В Popmechanic можно кастомизировать формы, есть много готовых шаблонов, которые можно скорректировать под свой сайт. Все настройки очень гибкие, есть интеграция с Google Optimize и в целом есть возможность любой интеграции через webhook.
Шаг 4: настройка эксперимента в Google Optimize
Google Optimize позволяет:
- Разделить равномерно трафик сайта на несколько сегментов.
- Настроить возможность показывать или не показывать механики одному из сегментов.
- Выбрать целевые метрики на основе целей в Google Analytics.
- Посмотреть отчет по результатам эксперимента с процентом достоверности показателей и рекомендациями.
Шаг 5: ждем результаты теста
Google Optimize покажет вам через время после запуска теста один из статусов:
- определен более конверсионный вариант;
- между вариантами нет разницы;
- недостаточно данных и необходимо продолжить эксперимент.
Минимальное время для теста зависит от количества посетителей сайта и условий теста.
В примере ниже, например, показ формы с количеством бонусных баллов в карточке товара с вероятностью 100% увеличивает коэффициент транзакций:
Скриншот Google Optimize после проведения теста
Шаг 6: подтверждаем или не опровергаем гипотезу
Рекомендуем создать файл с проведенными на сайте экспериментами, чтобы понимать ценность механик, улучшать показатели и передавать знания о поведении на сайте коллегам.
Заключение и что дальше
Совместно с коллегами из компании 21vek.by мы проверили более 10 гипотез. Заработали больше 300 тысяч долларов. Выбрали и оставили наиболее конверсионные механики. Повысили конверсию в подписку на 43%.
Планируем тестировать еще много механик и улучшать существующие показатели.
Первоисточник: popmechanic.io
