«ВсеИнструменты.ру» протестировали автосегментацию email-подписчиков: по контрольной группе рост open rate — от 1,5 п. п., click rate — от 4,8 п. п.

ВсеИнструменты.ру — магазин товаров для дома, дачи, стройки и ремонта. Основан в 2006 году
Масштаб бизнеса. 
Более 30 млн посещений сайта ежемесячно, 956 магазинов в России
автор
Дмитрий Комиссаров,
руководитель департамента интернет-рекламы «ВсеИнструменты.ру»
Задача
Повысить прокси-метрики рассылок: open rate, click rate, unsubscribe rateСэкономить время на сегментации получателей
Решение
Использовать автосегментацию получателей по интересам

ИТ. 

Сайт на собственном бэкенде, приложения на iOS и Android, платформа автоматизации маркетинга Mindbox
Результат
От 1,5 п. п. — прирост open rate относительно контрольной группыОт 4,8 п. п. — прирост click rate относительно контрольной группы4 часа → 30 минут — экономия времени при подготовке сегмента для рассылок

Срок. 

3 месяца
Для «ВсеИнструменты.ру» email — основной канал общения с клиентами. Помимо автоматических рассылок, в нем ежедневно уходит десяток массовых. Для них базу сегментируют по предпочтениям, то есть по категориям товаров, которые клиент чаще всего покупал или просматривал. Аналитик делал расчеты и строил такие сегменты вручную, пока в Mindbox не появился новый инструмент — автосегментация на основе вычисляемых полей. Она определяет любимую категорию клиента — и он получает скидку.
В кейсе рассказываем, как «ВсеИнструменты.ру» стали экономить до 3,5 часов ручного труда и теперь сегментируют базу без аналитика. А главное — как измерили эффект автосегментации при помощи тестов с контрольной группой.

Результаты сегментации на вычисляемых полях в сравнении с контрольной группой

  • от 1,5 п. п.
    прирост open rate
  • от 4,8 п. п.
    прирост click rate

Статзначимость теста — 95%

Как сегментировали базу до появления вычисляемых полей (спойлер — долго и сложно)

Ежедневно «ВсеИнструменты.ру» отправляют порядка 10 ручных рассылок. В них знакомят клиентов с брендами, рассказывают об акциях, выборочно продвигают товарные категории. Под каждую такую рассылку строят узкий сегмент, для которого предложение будет релевантным.
Для этого первое время использовали фильтры Mindbox. Клиентов группировали по предпочтениям — в зависимости от того, какие товары и категории они чаще всего покупали или просматривали. Затем добавляли дополнительные условия, например, покупка определенного бренда в прошлом, частота покупки или наличие покупок за определенный период.
При этом важно было сделать сегменты для рассылок взаимоисключающими, чтобы не спамить. Например, если человек покупал в категориях «Сад», «Инструмент» и «Отдых», нужно было убедиться, что он не получит сразу три рассылки. В Mindbox это нетрудно настроить, если рассылки уходят друг за другом. Но, если несколько писем отправляются параллельно, сделать взаимоисключающие сегменты — проблема.
Из-за этого «ВсеИнструменты.ру» начали собирать сегменты на своей стороне. Проблема была в том, что в их собственном хранилище нет данных о просмотрах и заказах с сайта — вся информация о предпочтениях клиента накапливалась в Mindbox. Аналитик выгружал ее, формировал сегменты и файлом передавал обратно на платформу. Автоматизировать процесс не могли: для разработки, интеграции и техподдержки нужно было привлекать IT-команду, а ресурса не было. Так что на подготовку 10 рассылок в день аналитик тратил в среднем 4 часа.

Как автоматизировали сегментацию по любимой категории товаров

Картинка
В профиле клиента «ВсеИнструменты.ру» могут быть указаны и самая часто покупаемая, и самая часто просматриваемая категория либо одна из двух. Зависит от того, есть ли в Mindbox данные о покупках и просмотрах
«ВсеИнструменты.ру» используют вычисляемые поля, которые каждую ночь анализируют просмотры и заказы покупателя, а затем определяют, какой товарной категорией он интересовался чаще всего. Например, клиент дважды покупал стройматериалы и трижды — инструменты. В этом случае вычисляемое поле покажет, что его любимая товарная категория — «Инструменты». Покупателей, которые чаще всего покупают или просматривают одну и ту же категорию товаров, можно объединить в сегмент и отправить им тематическую рассылку.

Как измеряли эффект от автосегментации при помощи контрольной группы

Вычисляемые поля в первую очередь протестировали на партнерских рассылках. Ниже — результаты AB-тестов.

Методика

В качестве метрик выбрали open rate, click rate, unsubscribe rate. На конверсию в заказ и выручку с письма не стали ориентироваться: с учетом долгого цикла покупки результатов пришлось бы ждать 3 месяца. Кроме того, спустя столько времени сложно отследить, что на покупку повлияло это письмо. Чтобы быстро оценить эффект от рассылок по сегментам, решили сфокусироваться на прокси-метриках.
Выборка — 1,9 млн email-подписчиков. Каждый из AB-тестов проводили на всей базе. Выборку поделили на группы:
Группа
Сегментация
Охват базы
Группа А
(контрольная)
Без сегментации
48%
Группа B
Сегментация по самой покупаемой категории
40%
Группа C
Сегментация по самой просматриваемой категории
12%
Оптимально, когда группы одинаковые по величине. Но клиенты «ВсеИнструменты.ру» делятся неравномерно: у 74% из них заполнено вычисляемое поле по покупкам, у 17% — по просмотрам. Выборку для теста разбили примерно в таком же соотношении.

Тест 1

В рассылке рекламировали сварочные аппараты бренда Inforce. При сегментации выбирали клиентов, которые интересуются сварочным оборудованием. Выделили тех, кто покупал или просматривал товары в категории «Инструмент».
Картинка
Тема: Новый подход к сварке 😎

Результаты

Группа
Сегментация
Open rate
Click rate
Unsubscribe rate
А
Без сегментации
Х
Х
Х
B
По самой покупаемой категории
X + 3,1 п. п.
X + 1,1 п. п.
Х − 0,1 п. п.
C
По самой просматриваемой категории
X + 2,4 п. п.
X + 1,4 п. п.
Х − 0,1 п. п.
Статзначимость результатов в сравнении с контрольной группой — 95%

Тест 2

В письме приглашали на стрим от производителя паяльного оборудования Rexant. Там можно было получить промокод на скидку 10% на паяльники и расходные материалы. При сегментации выбирали клиентов, которые покупали или просматривали товары в категории «Строительные материалы».
Картинка
Тема: Выложим все секреты

Результаты

Группа
Сегментация
Open rate
Click rate
Unsubscribe rate
А
Без сегментации
Х
Х
Х
B
По самой покупаемой категории
X + 1,2 п. п.
X + 0,2 п. п.
Х − 0,01 п. п.
C
По самой просматриваемой категории
X + 3,4 п. п.
X + 1,1 п. п.
Х − 0,01 п. п.
Статзначимость результатов в сравнении с контрольной группой — 95%

Тест 3

В рассылке от партнеров QBRICK SYSTEM и PATROL предлагали купить ящики для инструментов и поучаствовать в розыгрыше органайзера. При сегментации выбирали клиентов, которые покупали или просматривали товары в категориях «Ручной инструмент» и «Крепеж».
Картинка
Тема: Бесполезные подарки? Галя, у нас отмена!

Результаты

Группа
Сегментация
Open rate
Click rate
Unsubscribe rate
А
Без сегментации
Х
Х
Х
B
По самой покупаемой категории
X + 1,2 п. п.
X + 0,2 п. п.
Х − 0,01 п. п.
C
По самой просматриваемой категории
X + 3,4 п. п.
X + 1,1 п. п.
Х − 0,01 п. п.
Статзначимость результатов в сравнении с контрольной группой — 95%

Вывод: сегментация по интересам улучшает показатели рассылок

Результаты проверены на калькуляторе AB-тестов

Тесты подтвердили, что сегментация на основе вычисляемых полей дает прирост open rate и click rate относительно контрольной группы и незначительно снижает unsubscribe rate. «ВсеИнструменты.ру» также сравнили между собой группы B и C — разница в показателях оказалась не статзначима.

Как масштабируют автосегментацию: категорийные промо, кросс-продажи и не только

После теста «ВсеИнструменты.ру» стали шире использовать сегментацию на основе вычисляемых полей. Например, для продвижения определенных товарных категорий, причем не только в email-канале, но и в мобильных пушах.
Картинка
Промо газонокосилок отправили сегменту с любимой категорией «Все для сада». Open rate email-рассылки — 20,5%, click rate — 1,93%, конверсия в заказ — 0,06%
Картинка
Промо для сегментов с любимыми категориями «Инструмент» и «Ручной инструмент». Click rate пуша на Android — 2,28%, конверсия в заказ — 0,09%
P. S. В этой истории мы рассказывали о нашем продукте Рассылки. Узнайте о нем подробнее на его странице или в разговоре с консультантом.