Как отличить кейс здорового человека от кейса курильщика: универсальная шкала для оценки

23 Ноя ‘17

Интернет перенасыщен кейсами по росту конверсии через разные способы персонализации — от триггерных рассылок до а/б тестирования различных рекомендательных платформ.

Часть из них — про “лапшу на ушах”, часть — про пользу. Иногда отличить одно от другого бывает сложно, поэтому мы придумали простую шкалу критериев: c ee помощью можно буквально за минуту разобраться, насколько можно (или нельзя) доверять заявленным в кейсе результатам.

Критерии Да Нет
Как оценивался рост измеряемой метрики?

  • “Было VS Стало”: 0 баллов
  • A/B-тест, где соблюдено правило “1 гипотеза – 1 тест”: 1 балл
  • Контрольная группа: 2 балла
0…2
Раскрыты детали построения теста или контрольной группы? 1 0
Оценен и показан доверительный интервал? 1 0
Оцениваются именно оплаченные заказы? 1 0
Есть ли график или данные за сравнимые периоды из прошлого? 1 0
Зависит ли доход сервиса-автора кейса от продвигаемой метрики (например, CPO-модель)? 0 1
Результат обоснуется через большого количество трендовых терминов: искусственный интеллект, предиктивная аналитика, бигдата, нейросети, НЛП, нейропсихология, блокчейн. 0 1
Приведены ли исторические данные по оцениваемой метрике за предыдущие периоды? 1 0
Подтвержден ли кейс клиентом (отзыв, ФИО)? 1 0

 

Оценка полученного результата в баллах:

8 и более – это победа

5-7 – нормальный результат, можно брать

4 и меньше – лапша или сомнения

Проверим, как это работает на наших кейсах

Кейс компании 12Storeez

Анализ роста проводился по принципу “Было vs Стало” (0 баллов) с детальной историей внедрения (1 балл). За три месяца работы с Mindbox доход Email-канала относительно общего дохода вырос почти в 2 раза (оценивается конечный статус заказа – 1 балл). Результаты графически подтверждены в кейсе (1 балл):


Текст структурированный и четкий, не содержит трендовых терминов, что облегчает понимание (1 балл). Положительный отзыв клиента подтверждает результаты работы, еще 1 балл. Привязан ли доход сервиса к продвигаемой метрики? Нет, не привязан (фиксированная подписка, никакиx CPO и success fees) – 1 балл. Суммируем, получаем итоговую оценку по шкале: 6.

Проанализировали итоговую оценку по шкале, делаем выводы:

  • кейсу можно верить;
  • есть что улучшить: например измерять через контрольную группу.

Кейс компаний Shophair

Анализ роста проводился с использованием контрольной группы (2 балла); детали построения теста раскрыты, также представлена история внедрения (1+1 = 2 балла).


Подведение результатов от действий сопровождается графиком, где наглядно изображена эффективность Email-канала до и после подключения Mindbox и по Google Analytics, и относительно контрольной группы. Согласно GA, Email-канал вырос в 2 раза всего за 3 месяца (1 балл).

Описание результатов не содержит в себе трендовых и лишних терминов, информация структурирована и соответствует заявленным целям работы с метрикой (1+1=2 балла). Отзыв клиента подтверждает итоги работы, представленные в кейсе (1 балл). Доход сервиса от продвигаемой метрики не зависит — 1 балл. В результате получаем 10 баллов — epic win!

Подведем итог оценки кейсов к наглядному виду:

Критерии Балл 12Storeez Балл Shophair
Как проводился анализ роста:

  • “Было VS Стало”: 0 баллов
  • A/B-тест, где соблюдено правило “1 гипотеза – 1 тест”: 1 балл
  • Контрольная группа: 2 балла
0 2
Раскрыты детали построения теста или контрольной группы? 0 1
Оценен и показан доверительный интервал? 0 1
Оцениваются именно оплаченные заказы? 1 1
Результаты графически подтверждены в кейсе? 1 1
Зависит ли доход сервиса от продвигаемой метрики? 1 1
Много трендовых терминов для обоснования результата (искусственный интеллект, предиктивная аналитика, бигдата, нейросети, НЛП)Результат обоснуется через большого количество трендовых терминов: искусственный интеллект, предиктивная аналитика, бигдата, нейросети, НЛП, нейропсихология, блокчейн. 1 1
Приведены ли исторические данные по оцениваемой метрике за предыдущие периоды? 1 1
Подтвержден ли кейс клиентом (отзыв, ФИО)? 1 1
Суммарный балл 6 10

Похоже, работает!

Пробуйте методологию на других кейсах, и не забывайте написать нам про результаты 🙂

 

Запрос на подключение

Кол-во контактов*
  • 50 000
  • 100 000
  • 150 000
  • 200 000
  • 250 000
  • 300 000
  • 350 000
  • 400 000

Форма обратной связи

Свяжемся в течение
рабочего дня

Заявка на партнерство

Свяжемся в течение
рабочего дня

Обратная связь