Вместе с «Фоксфордом» разобрались, как анализировать email-рассылки, чтобы повысить их эффективность и вовремя заметить проблемы: на какие метрики смотреть, что они показывают, зачем проверять статистическую значимость изменений.
24 января 2025
Статистика рассылок: как оценить эффективность
Статистика рассылок: как оценить эффективность
Бизнес часто оценивает эффективность рассылки по целевому действию: продажам, заявкам, установкам приложения. Это обоснованный подход, потому что цель email-маркетинга — дать бизнес-результат. Но такой анализ не дает полной картины: за результатом не видно причин, например, почему продажи растут или снижаются. Если узнать причину, станет понятно, что улучшать и с помощью каких инструментов.
Как анализировать рассылки, чтобы повысить их эффективность и вовремя заметить проблемы, рассказываем вместе с руководителем отдела
CRM-маркетинга в «Фоксфорде» Николаем Белоусовым.
CRM-маркетинга в «Фоксфорде» Николаем Белоусовым.
Что показывает статистика по рассылкам
Если коротко, анализ статистики помогает понять:
- доходят ли сообщения до получателей или попадают в спам;
- насколько эффективно письма конвертируются в продажи или другое целевое действие;
- насколько рассылка соответствует ожиданиям получателей — не слишком ли она назойлива, насколько интересна;
- какие бизнес-результаты дает рассылка.
К целевому действию письмо проходит через несколько этапов: доставка, открытие, переход по ссылке, целевое действие. Каждый из этапов вносит свой вклад в бизнес-результат, например в продажи. Эффективность этапов оценивают по набору статистических параметров, которые собирает сервис рассылок, почтовые сервисы или внешние сервисы аналитики.
Статистические показатели рассылок можно разделить на три группы:
- Доставляемость — показывает, доходят ли сообщения до получателей.
- Прокси-метрики, или промежуточные метрики, — показывают, насколько эффективно рассылка доводит получателя до целевого действия.
- Бизнес-результаты — продажи, скачивания приложения или лид-магнита, подписки или регистрации на мероприятии
Анализ статистики мы начинаем с доставляемости писем. Если письмо не доставлено или попало в спам, оно не принесет пользу бизнесу, потому что клиент точно не дойдет до целевого действия. Доставляемость писем — это фундамент, на котором стоят продажи через email-канал.
После доставляемости оцениваем бизнес-результаты рассылки, а потом и промежуточные метрики — open rate, CTOR, unsubscribe rate. Их анализ помогает определить, на чем нужно сфокусироваться маркетологу, чтобы повысить продажи.
Доставляемость писем
Анализ доставляемости помогает понять, попадают ли письма в почтовый ящик получателя или блокируются спам-фильтром почтового сервиса, например Mail.ru, «Яндекс», Gmail. Если почтовые сервисы считают отправителя надежным, реже отправляют его сообщения в спам или блокируют. А значит, благодаря высокой доставляемости бизнес может достигать своих целей.
Доставляемость оценивают по пяти показателям: проценту доставок или отказов, проценту доставленных в папку «Спам», проценту отписок и проценту жалоб на спам. Процент отписок и процент жалоб на спам не ухудшают текущие показатели доставляемости. Но рост процента отписок и жалоб может снизить доставляемость в будущем.
Delivery rate, или процент доставок — показывает долю отправленных писем, которые попали в почтовые ящики получателей. Допустимое значение — не менее 98%.
Bounce rate, или процент отказов — показывает долю отправленных писем, которые не попали в почтовые ящики получателей. Письма не доходят до получателей, если в адресе ошибка, адрес не активен или письмо отклонил спам-фильтр почтового сервиса. Допустимое значение — не более 2%.
Bounce rate связан с delivery rate — в сумме они всегда равны 100%. Сервис рассылок автоматически рассчитывает либо процент отказов, либо процент доставок, либо оба показателя.
Причины отказов разделяют на жесткие и мягкие, но в статистике их объединяют:
- жесткие отказы, hard bounce — адрес не существует, например, стал неактивным или в адресе ошибка;
- мягкие отказы, soft bounce — сработал спам-фильтр почтового сервиса или почтовый сервер получателя неисправен.
Чтобы снизить процент отказов, бизнес следит за актуальностью базы. Для этого используют двойное подтверждение подписки — double opt-in, или DOI. Этот метод позволяет избежать ошибок в адресах. Mindbox автоматически поддерживает актуальность базы получателей: регулярно удаляют адреса, до которых не доходят письма. Проверить базу адресов можно и сторонними сервисами, например QuickEmailVerification или Mailvalidator.
Mindbox в отчете «Здоровье email» показывает bounce rate
Процент доставленных в спам. Доставленное сообщение почтовый сервис может счесть подозрительным и поместить в папку «Спам». В этом случае delivery rate и bounce rate в статистике сервиса рассылок не меняются, но получатели реже читают письма.
Процент доставленных в спам отслеживают в постмастерах почтовых сервисов. Например, в постмастере сервиса Mail.ru у писем три статуса:
― доставлено;
― возможно, спам — доставлено в папку «спам»;
― точно спам — не доставлено.
― доставлено;
― возможно, спам — доставлено в папку «спам»;
― точно спам — не доставлено.
Чтобы снизить процент доставленных в спам, письма подписывают цифровой подписью DKIM, а на домене прописывают SPF и DMARC ― настройки, которые помогают проверить подлинность писем и обработать сообщения, не прошедшие проверку. Почтовые сервисы считают надежными отправителей с цифровыми подписями: DKIM, SPF и DMARC.
Пример статистики в постмастере Mail.ru: в сентябре 87,5% писем попало в спам, при этом процент доставки delivery rate в сервисе рассылок — 100%
Spam rate, или процент жалоб на спам — отношение числа жалоб на спам к числу доставленных писем. Допустимое значение — не более 0,2%.
Жалобы на спам не снижают delivery rate, так же как и отписки. Но жалобы потенциально опасны, потому что ухудшают репутацию отправителя. Со временем почтовые сервисы могут чаще отклонять письма или отправлять их в спам — меньше получателей увидят рассылку.
Чтобы снизить процент жалоб, рекомендуется не подписывать клиентов автоматически при регистрации на сайте, использовать двойное подтверждение подписки DOI, сделать отписку простой — не прятать ссылку для отписки.
Unsubscribe rate, или процент отписок — отношение числа отписок к числу доставленных писем. Допустимое значение — не более 1%.
Процент отписок не влияет на delivery rate. Но рост числа отписок — сигнал о проблеме. Например, бизнес стал отправлять письма чаще и клиенты начали отписываться. Даже если процент отписок меньше 1%, но за квартал вырос, скажем, с 0,1 до 0,2%, стоит изучить, что происходит. Если оставить все как есть, процент доставок будет высоким, но аудитория сократится и продажи со временем могут упасть.
Прокси-метрики, или промежуточные метрики
Прокси-метрики показывают конверсии на разных этапах с момента доставки письма. Промежуточные метрики помогают найти проблемный этап, повысить его эффективность и улучшить бизнес-результаты. Например, изменить тему, чтобы повысить открываемость, или содержание, чтобы повысить конверсию в переход по ссылке.
Open rate, или процент открытий — отношение числа открытых писем к числу доставленных. Допустимое значение — не менее 10%.
На open rate влияют имя отправителя и тема, день и время отправки, частота и объем писем — все это подбирают опытным путем. Например, «Фоксфорд» отправляет 3–4 письма в неделю, а «Офисмаг» — только одно. При этом «Фоксфорд» начинал с 1–2 писем и доходил до 7 в неделю, но уменьшил их количество из-за роста отписок.
Имя человека в поле «отправитель», например «Миша из Фоксфорда», может увеличить процент открытий— получатель воспринимает его как письмо от человека. С другой стороны, если письмо не персонифицированное, человек может почувствовать себя обманутым и перестанет открывать письма — процент открытий упадет.
День и время отправки выбирают с учетом особенностей аудитории. Например, подходящий день для отправки учителям — вторник или среда. По выходным учителя обычно не проверяют почту, а в понедельник сильно загружены и могут пропустить письмо.
Важен и контекст — отношение получателя к рассылке и отправителю. Пользователь может хуже открывать рассылку, если не доверяет компании, например, из-за слишком частых или излишне рекламных рассылок.
Click to open rate, или процент кликов от открытий (CTOR) — отношение числа уникальных переходов по ссылке к числу уникальных открытий писем. Показатель рассчитывается для уникальных пользователей: click to open rate не меняется, если получатель повторно открывает письмо и переходит по ссылке.
CTOR позволяет оценить рассылку по содержанию — без учета открываемости. Конверсия будет высокой, если письмо соответствует интересам получателя, он понимает, зачем переходить по ссылке, что произойдет дальше. Адаптивная верстка помогает пользователю легко попасть по ссылке и на компьютере, и на смартфоне.
Показатель зависит от отрасли: по данным Mindbox, за 2023 год самое низкое значение медианы CTOR — 3% в сфере товаров для детей и материнства, а самое высокое —11% в сфере ИТ и телекоммуникаций.
Click-through rate, процент кликов (CTR) — отношение числа переходов к доставленным письмам. Допустимое значение — не менее 0,8%.
CTR, похож на CTOR, но характеризует сразу два этапа: и открытие письма, и переход по ссылке. Если рассылка качественная по наполнению, но CRM-маркетолог ошибся с темой, CTR просядет из-за низкого процента открытий. По проценту кликов не определить, что стали реже открывать письма, а не переходить по ссылке, поэтому CTR анализируют в связке с open rate.
Conversion rate, конверсия в целевое действие — отношение числа целевых действий к числу переходов.
Конверсия показывает, насколько хорошо рассылка доводит до целевого действия. Если письмо ведет на сайт интернет-магазина или лендинг, conversion rate зависит от их наполнения. Конверсия может быть низкой, если содержимое страницы не соответствует письму или на странице неудобно заказывать.
Бизнес-результаты рассылки
Бизнес-результаты — это продажи или другое целевое действие, например скачивание руководства или установка приложения.
Продажи анализируют в деньгах и количестве, чтобы сравнить изменение выручки и количества заказов. Это позволяет заметить негативные тенденции до того, как они скажутся на выручке. Представим два сценария, когда меняется только количество заказов, а выручка остается прежней:
- Количество заказов уменьшилось, выручка не изменилась. Средний чек вырос и кажется, что это хорошо для бизнеса. Но покупающих клиентов стало меньше, а вместе с этим может упасть и выручка. Если результат неожиданный, бизнес может скорректировать цены или запустить рекламу, чтобы привлечь больше платежеспособных клиентов.
- Количество заказов увеличилось, выручка не изменилась. Такое случается во время распродаж или при смене ценовой политики. Кажется, что бизнес недополучает выручки, но клиентская база расширяется и выручку можно поднять апсейлом.
Mindbox показывает выручку и число продаж в отчетах
Как анализировать статистику рассылок
Показатели сравнивают с допустимыми значениями, средними или медианными показателями по отрасли и следят за трендом. Тренд на ухудшение показателей — тревожный сигнал, даже если значение не вышло за допустимые пределы.
Анализировать регулярно. Показатели доставляемости и самые важные прокси-метрики анализируют еженедельно — это процент отказов, отписок, жалоб на спам, открытий и кликов. В Mindbox они собраны в отчете «Здоровье email».
Прокси-метрики дополнительно анализируют раз в месяц, вместе с бизнес-результатами. Аналитику триггерных рассылок проводят ежедневно первые три дня после запуска, чтобы выявить ошибки на старте.
Сегментировать базу по активности. Активные клиенты охотнее открывают сообщения и чаще совершают целевое действие, неактивные клиенты реже открывают письма и чаще отписываются. Чтобы получить детальную информацию о результативности, базу получателей делят на сегменты: активные клиенты — открывали письма за последние 90 дней, стали неактивными — 90 дней не открывают письма, неактивные — не открывают сообщения полгода и дольше. Каждый сегмент анализируют отдельно, чтобы подстроиться под каждую группу клиентов.
Сравнить с допустимым значением. Mindbox использует два пороговых значения: допустимое и отличное. Показатель статистики получает одну из трех оценок: плохо — значение хуже допустимого, хорошо — лучше допустимого, отлично.
Доставляемость
Допустимо
Отлично
Bounce rate
2%
1%
Unsubscribe rate
1%
0,5%
Spam rate
0,2%
0,1%
Прокси-метрики
Допустимо
Отлично
Open rate
10%
15%
Click-through rate
0,8%
2,5%
Сравнить с бенчмарками. Аналитика по всему сервису рассылок позволяет сравнить результаты с другими компаниями. Значения бенчмарков зависят от отрасли. Например, open rate рассылок для категории «образование для детей» — 9,05%, а для «одежды, обуви и аксессуаров» — 15,18%.
Самый высокий open rate в 2023 году — 27% в сфере недвижимости, а самый низкий — 10% в сфере зоотоваров. При этом эффективность автоматических триггерных рассылок выше, чем массовых. Например, в сфере общего образования CTOR для автоматических рассылок в девять раз выше, чем для массовых. Это данные исследования email-рассылок Mindbox за 2023 год.
Бенчмарки по отрасли интегрированы в отчет «Здоровье Email» в Mindbox
Проверить значимость изменений. Изменения показателей проверяют на статистическую значимость, чтобы понять, можно сделать какой-то вывод на основе статистики или нет. Для этого рассчитывают доверительный интервал, который показывает возможный разброс реального значения показателя относительно рассчитанного. Проверить статистическую значимость помогает калькулятор достоверности АB-тестов на сайте Mindbox.
Представим, что в прошлом месяце компания отправила 2000 писем и получила 100 переходов. За первую неделю текущего месяца компания отправила 500 писем и получила 20 переходов. Кажется, что конверсия упала с 5% до 4%. Но проверка статистической значимости показывает: нельзя сделать вывод, изменилась ли конверсия — у нас недостаточный объем выборки, то есть количество отправленных писем.
Для простоты можно использовать такое правило для определения значимости изменений показателей статистики: выборка — от 2000 писем, изменение показателя — 0,5 процентных пункта для отказов и прокси-метрик. Изменение на 0,5 п. п. — это, например, рост с 1 до 1,5%.
Пример проверки статистической значимости изменений в калькуляторе достоверности АВ-тестов
Проверить долгосрочные тренды. Тренды исследуют в промежутках времени от двух месяцев: обычно по кварталам и году. Исследование тренда позволяет заметить проблему до того, как она серьезно ухудшит бизнес-результаты.
Представим, что мы анализируем процент отписок, и он несколько месяцев меньше порога в 0,5% и вроде все замечательно. Но если посмотреть изменение в динамике, может оказаться, что в начале года процент отписок был 0,1%, а сейчас постепенно стал 0,2%. Это уже тревожный сигнал, и стоит проанализировать, что не нравится клиентам, пока не стало слишком поздно.
Распространенные ошибки при анализе эффективности рассылок
Определять эффективность только по бизнес-результатам. Такой анализ выявляет проблему, но не позволяет найти ее причину. Если продажи упали, промежуточные метрики помогают найти проблемный этап и сфокусироваться на нем.
Анализировать статистику без сегментации аудитории. Большое влияние имеет контекст — отношение клиентов к рассылке. Например, активные клиенты более лояльны, а неактивные меньше. Получается, что одна и та же рассылка для разных аудиторий может дать разный результат.
Смотреть только на прокси-метрики без доставляемости и бизнес-результатов. Цель email-маркетинга — приносить пользу бизнесу: продажи, реактивации, звонки. И бизнесу неважно, что процент открытий и кликов повысились, если упали продажи. А если письмо не доставлено получателю, продаж оно точно не принесет.
Делать выводы без проверки статистической значимости. Такой анализ статистики может привести к ошибочным выводам и неадекватным реальной картине решениям.
Анализировать значения без учета динамики. Динамика изменения показателей так же важна, как и сами значения. Если процент отказов лучше порогового значения, но за полгода ухудшился в два раза, то это уже может быть проблемой.
