Хороший маркетинг — это доказательный маркетинг.

Любое нововведение надо измерять, чтобы понять, приносит оно деньги или нет. Простой и доступный способ измерения эффекта — АБ-тест. Все больше компаний начинают их делать, потому что АБ-тесты — это действительно хорошо.

Но если не соблюсти несколько правил, то все насмарку: вроде бы результаты тестов положительные, конверсия растет, а выручка — нет.

Три главных правила:

  1. Разница в результатах должна быть значима
  2. Один тест — одна гипотеза
  3. Инвестиции в улучшения должны окупаться

1. Разница значима?

Всегда, всегда, всегда нужно помнить про статистику. Разница в результатах может быть как закономерностью, так и случайностью.

Например, на кассе вы опросили 10 покупателей, меняли ли они номер мобильного телефона за последнее время. Выяснилось, что 1 человек не пользуется телефоном вообще. Сделаете ли вы вывод, что 10% ваших покупателей не пользуются телефоном? Вряд ли. Вы скажете, что это какая-то случайность. Такие люди, наверное, есть, но их точно меньше 10%. Но если вы опросили 1000 человек и 100 человек сказали, что отказались от использования мобильного телефона? Вы были бы безумно удивлены, но отмахнуться от 10% стало бы тяжелее.

Чтобы понять, когда и насколько можно доверять данным, есть разработанные методологии и готовые инструменты. Например, вот этот калькулятор.

Как применять это на практике?

Предположим, вы провели тест: одной группе клиентов отправили письмо с простой картинкой, а другой группе — с анимированной. Получилось, что в одном варианте конверсия 14%, а в другом — 17%. Казалось бы — ура, рост конверсии на 21,5%! Но достаточно ли наблюдений (писем или показов страницы сайта)?

Берем цифры и подставляем в калькулятор (нижний слайдер ставьте на 95%):

2016-06-14_1849

Для того, чтобы правильно спланировать этот тест еще до его проведения, можно рассчитать, сколько минимум нужно отправленных писем каждого варианта, чтобы сразу получить достоверную оценку результатов.

Для нашего примера калькулятор показывает, что только если в каждом варианте более 3 000 писем, можно сказать, что вариант с конверсией 17% успешнее, чем вариант с конверсией в 14%.

2016-06-14_1855

 

  • Если нужно определить, какого объема должна быть выборка в каждом варианте (сколько писем, сколько показов странички сайта), вам нужно подставить две цифры в эту форму. Первая цифра — какая конверсия была до изменений или ожидается в одном из вариантов. Вторая цифры — минимум на сколько  вы хотите эту конверсию увеличить.
  • Если нужно понять, можно ли верить разнице конверсии в двух вариантах, нужно подставить абсолютные значения в следующую форму.
  • Если надо определить, различаются ли средние чеки в двух вариантах, нужно подставить столбцы со значениями в третью форму

Если тест проводили не вы, а вам предоставляют отчет, убедитесь, что была проведена проверка на значимость или запросите данные и самостоятельно проверьте их на калькуляторе. Если хотите почитать об этом всем побольше, то вот ключевые слова: доверительный интервал, 95% доверительная вероятность, уровень значимости 5%, ХИ-квадрат, T-тест, t-критерий Стьюдента.

Если возник спорный случай или не получается разобраться, пишите нам на news@mindbox.ru, мы постараемся помочь.

2. Тест точно проверяет нужную гипотезу?

Как построить эксперимент так, чтобы измерить именно то, что хочется измерить?

Кажется, что все просто? Давайте разберем на примере.

Есть гипотеза: товарные рекомендации в письме увеличивают выручку.

Кажется, что АБ-тест должен быть такой: первый вариант письма — без рекомендаций, второй — с рекомендациями. 2016-06-14_1910

Но это не так.

Давайте разберемся:

Когда мы говорим, что хотим измерить эффективность рекомендаций, мы имеем в виду измерение специального способа (алгоритма) подбора товаров. Считается, что именно качественный подбор растит конверсию.  Но что мы делаем, когда добавляем  рекомендации? На самом деле мы делаем две вещи:

  1. добавляем блок товаров в письмо
  2. выбираем с помощью рекомендательного алгоритма правильные товары в этот блок

Получается, что мы нарушили правило «один тест — одна гипотеза», и проверяем сразу два изменения.

В результате мы не сможем понять, что же именно изменило конверсию: само по себе наличие дополнительного блока с товарами или алгоритм их подбора?

2016-06-14_1917

 

Что делать?

Применить правило «один тест — одна гипотеза» и  добавить еще один вариант: письмо с блоком товаров, подобранных случайным образом.

2016-06-14_1918

Сравнивая конверсии попарно, можно определить, какой вклад делает каждая составляющая.

2016-06-14_1920

Сколько надо писем, чтобы такая разница была значима? Немало. В первой паре 15% и 17% будут достоверно различны, если  в каждом варианте будет больше 5 000 писем. Для второй же пары в 17% и 18% нужно уже больше 22 000 писем в каждом варианте.

3. Окупаются ли инвестиции?

Хорошо, допустим, мы грамотно провели тест и проверка на значимость показала, что конверсия или средний чек увеличились. Это хорошо и должно привести к увеличению выручки.

Теперь давайте разберемся, сколько нам стоил этот рост выручки, и окупились ли улучшения. В случае товарных рекомендаций, например — это затраты на разработку (или покупку) алгоритма + затраты на его обновление и поддержку.

Если эффект от рекомендаций дает прирост на 1%, т.е. 1 дополнительный заказ на 100 «обычных», хватает ли этого, чтобы окупить затраты?

Итог

  1. Проверяйте результаты на статистическую значимость
  2. Разбирайте тест на элементарные составляющие, 1 тест — 1 гипотеза
  3. Грамотно считайте деньги

Если вы делаете много тестов, выбираете выигрышные варианты, но в итоге у вас не растет выручка — это признак, что что-то вы делаете не так. АБ-тесты должны работать на ваш бизнес.

Если статья ответила не на все ваши вопросы, пишите на news@mindbox.ru, постараемся помочь и добавим пример в статью.

Комментарии

В настоящее время нет комментариев.

Запрос на подключение

Р в месяц

Свяжемся в течение рабочего дня, продемонстрируем продукт и обсудим сроки внедрения

Без долгосрочных обязательств и разовых платежей

Аванс — месяц, бесплатный период — месяц

10 000 покупателей

10 000 1 000 000

Запрос на подключение

Кол-во контактов*
  • 50 000
  • 100 000
  • 150 000
  • 200 000
  • 250 000
  • 300 000
  • 350 000
  • 400 000
Параметры:

Обратная связь