Используя шкалу для оценки конверсии от Mindbox, можно буквально за минуту разобраться, насколько можно (или нельзя) доверять заявленным в кейсе результатам.
23 ноября 2017
Как отличить кейс здорового человека от кейса курильщика: универсальная шкала для оценки
Интернет перенасыщен кейсами по росту конверсии через разные способы персонализации — от триггерных рассылок до а/б тестирования различных рекомендательных платформ. Часть из них — про "лапшу на ушах", часть — про пользу. Иногда отличить одно от другого бывает сложно, поэтому мы придумали простую шкалу критериев: c ee помощью можно буквально за минуту разобраться, насколько можно (или нельзя) доверять заявленным в кейсе результатам.
| Критерии | Да | Нет |
Как оценивался рост измеряемой метрики?
|
0…2 | |
| Раскрыты детали построения теста или контрольной группы? | 1 | 0 |
| Оценен и показан доверительный интервал? | 1 | 0 |
| Оцениваются именно оплаченные заказы? | 1 | 0 |
| Есть ли график или данные за сравнимые периоды из прошлого? | 1 | 0 |
| Зависит ли доход сервиса-автора кейса от продвигаемой метрики (например, CPO-модель)? | 0 | 1 |
| Результат обоснуется через большого количество трендовых терминов: искусственный интеллект, предиктивная аналитика, бигдата, нейросети, НЛП, нейропсихология, блокчейн. | 0 | 1 |
| Приведены ли исторические данные по оцениваемой метрике за предыдущие периоды? | 1 | 0 |
| Подтвержден ли кейс клиентом (отзыв, ФИО)? | 1 | 0 |
Оценка полученного результата в баллах:
Проверим, как это работает на наших кейсах
Кейс компании 12Storeez Анализ роста проводился по принципу “Было vs Стало” (0 баллов) с детальной историей внедрения (1 балл). За три месяца работы с Mindbox доход Email-канала относительно общего дохода вырос почти в 2 раза (оценивается конечный статус заказа - 1 балл). Результаты графически подтверждены в кейсе (1 балл):
Текст структурированный и четкий, не содержит трендовых терминов, что облегчает понимание (1 балл). Положительный отзыв клиента подтверждает результаты работы, еще 1 балл. Привязан ли доход сервиса к продвигаемой метрики? Нет, не привязан (фиксированная подписка, никакиx CPO и success fees) - 1 балл. Суммируем, получаем итоговую оценку по шкале: 6. Проанализировали итоговую оценку по шкале, делаем выводы:
- кейсу можно верить;
- есть что улучшить: например измерять через контрольную группу.
Кейс компаний Shophair Анализ роста проводился с использованием контрольной группы (2 балла); детали построения теста раскрыты, также представлена история внедрения (1+1 = 2 балла).
Подведение результатов от действий сопровождается графиком, где наглядно изображена эффективность Email-канала до и после подключения Mindbox и по Google Analytics, и относительно контрольной группы. Согласно GA, Email-канал вырос в 2 раза всего за 3 месяца (1 балл). Описание результатов не содержит в себе трендовых и лишних терминов, информация структурирована и соответствует заявленным целям работы с метрикой (1+1=2 балла). Отзыв клиента подтверждает итоги работы, представленные в кейсе (1 балл). Доход сервиса от продвигаемой метрики не зависит — 1 балл. В результате получаем 10 баллов — epic win! Подведем итог оценки кейсов к наглядному виду:
| Критерии | Балл 12Storeez | Балл Shophair |
Как проводился анализ роста:
|
0 | 2 |
| Раскрыты детали построения теста или контрольной группы? | 0 | 1 |
| Оценен и показан доверительный интервал? | 0 | 1 |
| Оцениваются именно оплаченные заказы? | 1 | 1 |
| Результаты графически подтверждены в кейсе? | 1 | 1 |
| Зависит ли доход сервиса от продвигаемой метрики? | 1 | 1 |
| Много трендовых терминов для обоснования результата (искусственный интеллект, предиктивная аналитика, бигдата, нейросети, НЛП)Результат обоснуется через большого количество трендовых терминов: искусственный интеллект, предиктивная аналитика, бигдата, нейросети, НЛП, нейропсихология, блокчейн. | 1 | 1 |
| Приведены ли исторические данные по оцениваемой метрике за предыдущие периоды? | 1 | 1 |
| Подтвержден ли кейс клиентом (отзыв, ФИО)? | 1 | 1 |
| Суммарный балл | 6 | 10 |
Похоже, работает! Пробуйте методологию на других кейсах, и не забывайте написать нам про результаты :-)