Крупнейший онлайн-гипермаркет Беларуси 21vek.by обратился в Popmechanic, чтобы улучшить сайт через быструю проверку гипотез.
В материале — подробное описание технической реализации и методик, результаты AB-тестов и расчет дополнительного дохода в 330 тысяч долларов. Делимся перепечаткой материала из блога Popmechanic.
Крупнейший онлайн-гипермаркет Беларуси 21vek.by обратился в Popmechanic, чтобы улучшить сайт через быструю проверку гипотез. В статье — подробное описание технической реализации и методик, результаты AB-тестов и расчет дополнительного дохода в 330 тысяч долларов.
Делимся перепечаткой материала из блога Popmechanic.
Рассказываем, как увеличили конверсию в подписку на 43%, проверили десятки гипотез, повысили конверсию сайта и принесли +330 000 $ дополнительного дохода с помощью AB‑тестов для оптимизации конверсии сайта. А еще делимся файлом с примерами 100+ механик для повышения конверсии сайта.
21vek.by — крупнейший онлайн-гипермаркет Беларуси, работающий с 2004 года.
Ассортимент превышает 600 тыс. товаров. Трафик сайта — более 3 млн посетителей в месяц.
Коллеги из 21vek.by обратились в Popmechanic с задачей быстрого тестирования гипотез по увеличению конверсии сайта. Хотелось, чтобы маркетолог без привлечения службы разработки мог сам протестировать влияние показа любого баннера, промокода, всплывающего блока на коэффициент транзакции и доход.
Основная цель обращения к Popmechanic — улучшение сайта для роста бизнес-показателей.
Раньше любые небольшие изменения сайта мы могли реализовать только через наших разработчиков, и это занимало много времени.
А с Popmechanic такой проблемы нет. Можно очень быстро запустить эксперименты и протестировать свои гипотезы. А позже передать в полноценную разработку, будучи уверенным в результате — в увеличении конверсии.
Алина Расюк, Head of digital marketing 21vek.by
Мы совместно определили возможные механики для улучшений и составили список гипотез для проверки.
Делимся результатами AB‑тестов.
Решили протестировать несколько разных типов форм подписки.
Попробуйте угадать, какая форма собирала больше подписчиков?
Результаты AB‑теста в таблице ниже:
| Форма подписки | Количество показов формы | Количество лидов | Коэффициент конверсии в подписку | Процент улучшения |
| Простая | 227 813 | 3563 | 1,6 | — |
| Двухшаговая | 233 272 | 5162 | 2,2 | 37,5 |
| Форма подписки | Количество показов формы | Количество лидов | Коэффициент конверсии в подписку | Процент улучшения |
| Простая | 529 478 | 8366 | 1,6 | — |
| Двухшаговая | 539 539 | 11 959 | 2,2 | 42,95 |
Выводы
Идея сделать из простой формы на один шаг двухшаговую выглядела нелогичной. Обычно усложнение и увеличение шагов заполнения негативно влияет на конверсию. В данном случае получилось наоборот — сработал психологический эффект: мы предлагаем сначала ответить на вопрос простым нажатием, а потом оставить email. Кажется, в этой механике играет роль страх быть непоследовательным.
Рекомендуем протестировать такую механику подписки и для вашего сайта. Например, спросить: «Хотите скидку 5%?» или «Хотите получить приглашение на закрытую распродажу?» — и запросить email на втором шаге, если посетитель выбирает вариант «Хочу».
Кроме тестов форм подписки, мы запустили десятки разных тестов с контрольной группой.
Трафик сайта разделяется на несколько групп. Одна из групп видит изменения на сайте, другая — нет. То есть мы создаем контрольную группу, чтобы оценить, как влияет показ определенной механики на поведение посетителей сайта и целевые метрики.
В таблице ниже представлена часть тестов, которые дали достоверный результат по улучшению целевых показателей.
| Эксперимент | Вариант эксперимента | Изменение дохода за сеанс, бел. руб. | Изменение транзакций за сеанс, в % | ||
| контрольная группа | группа с показом механики | контрольная группа | группа с показом механики | ||
| Всплывающий блок с социальным доказательством в карточке товара | Показ блока «Этот товар смотрели Х раз» | 5,75 | 5,81 | без достоверных изменений | |
| Показ блока «Этот товар купили Х раз» | 5,75 | 5,78 | 2,32 | 2,37 | |
| Растяжка-лента с акционным промокодом и таймером в период акций | Показ ленты «Скидка 7% на все» | 5,25 | 5,70 | 1,85 | 2,06 |
| Показ ленты «Скидки до 20%» | 4,53 | 5,14 | 1,73 | 1,86 | |
| Промокод на 3% скидки на другие товары в карточке товара не в наличии | Показ всплывающего промокода на карточках товаров не в наличии | 6,88 | 9,31 | 1,10 | 1,47 |
| 15 бонусных баллов дополнительно за покупку некоторых товаров | Показ всплывающего блока с дополнительными баллами | 11,38 | 12,98 | 2 | 2,26 |
| Показ встроенного блока с дополнительными баллами | 11,38 | 11,46 | 2 | 2,07 | |
| Показ количества бонусных баллов при покупке товара, встроенный блок | Мобильная версия | 3,78 | 3,80 | 1,65 | 1,67 |
| Десктопная версия | 7,99 | 8,35 | 2,88 | 2,92 | |
Вы можете заметить, что для разных механик стартовые цифры конверсии и дохода за сеанс разные. Это связано с тем, что тесты проводились в разное время, для теста могла быть выделена отдельная категория посетителей. Например, тест только среди тех, кто посещал карточки товаров.
То есть в данном случае корректно сравнивать показатели с контрольной группой и за конкретный период, а не по сайту в целом за время. Более детальное описание каждого эксперимента мы опишем в своем блоге.
Мы выдвинули гипотезу о том, что можно повысить количество транзакций, если в карточке товара показывать количество бонусных баллов, которые получит клиент при покупке. Так как не все посетители сайта знают об этой программе, это может быть решающим фактором покупки при условии равных цен с другим интернет-магазином.
Сделали в конструкторе блок с расчетом бонусных баллов в зависимости от цены товара по формуле, которая используется для программы лояльности:
Количество бонусных баллов для товаров по скидке = Цена товара × 0,01
Количество бонусных баллов для товаров без скидки = Цена товара × 0,03
Мы запустили два отдельных AB‑теста для проверки гипотезы — для мобильных и десктопных устройств.
На мобильном получили такие показатели: с вероятностью 95% показ бонусных баллов повышает коэффициент транзакций с 1,65 до 1,67%. На первый взгляд разница может показаться незначительной. Но при трафике контрольной группы в 1 728 556 посетителей мы получили 28 500 конверсий при коэффициенте транзакций 1,65%.
А что если бы коэффициент транзакций контрольной группы был тоже 1,67%? В таком случае количество транзакций предположительно было бы 28 866. То есть даже небольшое изменение коэффициента транзакций на 0,02% за тестовой период принесло на 366 транзакций больше.
Попробуем посчитать точнее, сколько дополнительных транзакций и дохода мы получили благодаря запущенным механикам.
Для тех экспериментов, где достоверность увеличения дохода была более 90%, мы решили посчитать, насколько был увеличен доход при показе механики в сравнении с контрольной группой с учетом вычисленного дохода за сеанс.
| Эксперимент | Улучшение показателей в сравнении с контрольной группой, на бел. руб. | Вероятность улучшения по сравнению с исходным вариантом, в % |
| Лента с акционным промокодом и таймером «Скидка 7% на все» | 162 034 | 100 |
| Социальное доказательство в карточке товара «Этот товар смотрели Х раз» | 83 513 | 90 |
| Социальное доказательство в карточке товара «Этот товар купили Х раз» | 37 689 | 90 |
| Лента с акционным промокодом и таймером «Скидки до 20%» | 578 934 | 100 |
| 15 бонусных баллов при покупке товара в карточке товара, всплывающий блок | 3 482 | 100 |
| Всего принесли показом механик, в сравнении с контрольной группой | 865 652 бел. руб. = 330 563 $ | |
Выводы:
Разберем на примере одной механики, как непосредственно создается механика и запускается тест, какие инструменты используются, сколько времени это занимает.
Для этого наша команда анализирует сайт и подбирает наиболее подходящие механики.
Делимся нашим файлом для внутреннего использования с примерами.
Этот файл поможет вам найти идеи для тестов и сформулировать гипотезы.
Например, мы хотим протестировать показ количества бонусных баллов, которые получит пользователь при покупке товара.
Важно определить, что будет целью использования механики и за какими показателями мы будем следить.
Например, показ количества бонусных баллов, которые получит пользователь при покупке товара, поможет увеличить коэффициент конверсии сайта на 10%.
Сервис Popmechanic позволяет быстро устанавливать различные встроенные и всплывающие формы по заданным условиям.
Выберем подходящий шаблон с каталога сервиса, адаптируем его: например, каталог для выбора готовых шаблонов.
Настраиваем условия показа формы:
Показывать форму посетителям из России на всех URL, кроме содержащих «cart», для тех посетителей, которые более трех раз заходили на сайт ранее и перешли сейчас с UTM-campaign, содержащей «2020».
Тестируем и запускаем механику на сайте.
В Popmechanic можно кастомизировать формы, есть много готовых шаблонов, которые можно скорректировать под свой сайт. Все настройки очень гибкие, есть интеграция с Google Optimize и в целом есть возможность любой интеграции через webhook.
Алина Расюк, Head of digital marketing 21vek.by
Google Optimize позволяет:
Google Optimize покажет вам через время после запуска теста один из статусов:
Минимальное время для теста зависит от количества посетителей сайта и условий теста.
В примере ниже, например, показ формы с количеством бонусных баллов в карточке товара с вероятностью 100% увеличивает коэффициент транзакций:
Рекомендуем создать файл с проведенными на сайте экспериментами, чтобы понимать ценность механик, улучшать показатели и передавать знания о поведении на сайте коллегам.
Совместно с коллегами из компании 21vek.by мы проверили более 10 гипотез. Заработали больше 300 тысяч долларов. Выбрали и оставили наиболее конверсионные механики. Повысили конверсию в подписку на 43%.
Планируем тестировать еще много механик и улучшать существующие показатели.
Первоисточник: popmechanic.io
