OneTrace.pro Справка

Контрольная группа

Контрольная группа показывает, сколько выручки приносят ваши сообщения. Небольшой случайной доле профилей OneTrace.pro не отправляет маркетинговые сообщения, а отчёт сравнивает их покупки с покупками остальных. Разница — это эффект рассылок, цепочек и других сообщений, который атрибуция по кликам показать не может: часть покупателей купила бы и без писем, а часть купила после письма, не кликнув по нему.

Откройте Аналитика → Контрольная группа. Раздел доступен с тарифа «Рост», см. Тарифы. Смотреть отчёт могут все роли с доступом к аналитике, включать и менять группу — роли с правом на настройки проекта.

Отчёт контрольной группы: дополнительная выручка, сравнение групп и накопленный эффект

Как работает группа

  • Состав случайный. Каждый профиль попадает в группу с вероятностью, равной её доле. Новые профили распределяются так же. Пока доля не меняется, профиль остаётся в своей группе.
  • Группе не уходят маркетинговые сообщения во всех каналах: рассылки, сообщения цепочек и каскадов, сообщения через API. В журнале сообщений профиля такие сообщения видны как пропущенные с причиной «контрольная группа».
  • Группе приходят транзакционные сообщения (заказ, пароль, подтверждение подписки), тестовые отправки, ручная отправка из карточки профиля и сообщения рассылок и цепочек с включённым «Отправлять и контрольной группе».
  • Участники группы проходят цепочки как все: условия, ожидания, начисление баллов и другие узлы работают, не отправляются только сообщения. Каскад для профиля из группы останавливается на первом шаге и не пробует другие каналы.
  • Сайт и реклама — как обычно. Формы, виджеты, рекомендации и выгрузки аудиторий в рекламные кабинеты работают и для группы: отчёт измеряет эффект именно сообщений.

Включение и смена доли

  1. Задайте Доля профилей — от 1 до 50 %. Обычно хватает 5–10 %: чем больше проект, тем меньше может быть доля.
  2. Нажмите Включить. С этого момента начинается период группы.

Смена доли контрольной группы

Кнопка Изменить долю открывает поле доли, Сохранить долю начинает новый период с новым составом: часть профилей, получавших сообщения, попадёт в группу, и наоборот. Выключить заканчивает период, сообщения снова уходят всем. Отчёты прошлых периодов остаются: их можно выбрать в поле Период. Включение, смена доли и выключение записываются в журнал действий.

Если тариф проекта сменится на тариф без контрольной группы, она перестанет действовать: сообщения будут уходить всем профилям.

Исключения: «Отправлять и контрольной группе»

Важное нетранзакционное сообщение, например об изменении условий, можно отправить всем. В настройках рассылки (блок «Аудитория») и во входе цепочки включите Отправлять и контрольной группе. Переключатель появляется, когда группа включена.

Такие отправки размывают замер: группа тоже получила сообщение, и эффект выглядит меньше, чем есть. Отчёт перечисляет рассылки и цепочки периода с этим переключателем.

Контрольная группа в отчёте рассылки

Получатели рассылки из контрольной группы остаются в её аудитории, но письмо им не уходит: в журнале сообщений профиля в то же время появляется пропуск с причиной «контрольная группа». В «Аудиторию» запуска они не входят, их число видно под карточками отчёта.

Если у рассылки задана цель, на вкладке Отчёт появляется блок Контрольная группа: конверсия в цель у получателей рассылки и у профилей группы за то же окно после отправки и вывод о значимости разницы. Так видно, принесла ли эта рассылка дополнительные конверсии, а не только сколько получателей совершили цель.

Блок «Контрольная группа» в отчёте рассылки

Отчёт

Для отчёта нужны событие покупки и его сумма — те же, что у отчёта «Выручка», из настроек прогнозов. Учитываются заказы периода в валюте проекта, профили — все, кто появился до конца периода.

  • Дополнительная выручка — сколько выручки принесли сообщения за период: разница выручки на профиль между остальными профилями и группой, умноженная на число остальных профилей. Под карточками — интервал 95 %: если он целиком выше нуля, эффект почти наверняка положительный.
  • Дополнительные заказы и Дополнительные покупатели считаются так же.
  • Не отправлено группе — сколько маркетинговых сообщений группа не получила за период.
  • Таблица сравнивает остальные профили и группу: профили, покупатели, конверсия в покупку, заказы, выручка, выручка на профиль и средний чек. В колонке «Разница» у конверсии — относительный прирост, у денег — разница в валюте.
  • Конверсия в покупку — тот же вывод о значимости, что у A/B-тестов (Цепочки): «лучше», «разницы нет» или «мало данных».
  • Выручка на профиль — выше или ниже у остальных профилей и доказана ли разница (z-тест Уэлча, α = 0,05). Нужно не меньше 30 профилей в каждой группе.
  • Накопленная дополнительная выручка — как эффект копится по дням (у периодов длиннее 120 дней — по неделям).

Что важно знать

  • Дайте группе время. Эффект обычно устанавливается за 2–4 недели. Первые дни много шума: решайте по устоявшейся кривой и интервалу, а не по первому значению.
  • Отрицательный эффект с доказанной разницей значит, что сообщения мешают покупкам: проверьте частоту, тихие часы и содержание. Помогут правила рассылок и лучшее время отправки.
  • Не меняйте долю без необходимости: каждое изменение начинает период заново.
  • Отчёт через API. Периоды группы и отчёт по периоду доступны в публичном API и ИИ-ассистентам через MCP с правом ключа на чтение аналитики. Включить группу или изменить долю можно только здесь, в интерфейсе.
  • Группа — не замена A/B-тестам. Чтобы сравнить два письма между собой, используйте варианты рассылки или развилку в цепочке.