OneTrace.pro Hilfe

Kontrollgruppe

Die Kontrollgruppe zeigt, wie viel Umsatz Ihre Nachrichten bringen. Einem kleinen zufälligen Anteil der Profile sendet OneTrace.pro keine Marketingnachrichten, und der Bericht vergleicht deren Käufe mit denen aller anderen. Die Differenz ist die Wirkung von Kampagnen, Journeys und anderen Nachrichten, die eine klickbasierte Attribution nicht zeigen kann: Manche Kunden hätten auch ohne E-Mails gekauft, andere haben nach einer E-Mail gekauft, ohne darauf zu klicken.

Öffnen Sie Analyse → Kontrollgruppe. Der Bereich ist ab dem Tarif „Wachstum“ verfügbar, siehe Tarife. Den Bericht sehen alle Rollen mit Zugriff auf die Analyse; einschalten und ändern können die Gruppe Rollen mit dem Recht auf die Projekteinstellungen.

Bericht der Kontrollgruppe: zusätzlicher Umsatz, Vergleich der Gruppen und kumulierte Wirkung

So funktioniert die Gruppe

  • Die Zusammensetzung ist zufällig. Jedes Profil kommt mit einer Wahrscheinlichkeit in die Gruppe, die ihrem Anteil entspricht. Neue Profile werden genauso verteilt. Solange sich der Anteil nicht ändert, bleibt ein Profil in seiner Gruppe.
  • Die Gruppe erhält keine Marketingnachrichten in allen Kanälen: Kampagnen, Nachrichten aus Journeys und Kaskaden, Nachrichten über die API. Im Nachrichtenverlauf des Profils erscheinen sie als übersprungen mit dem Grund „Kontrollgruppe“.
  • Die Gruppe erhält weiterhin Transaktionsnachrichten (Bestellung, Passwort, Bestätigung des Abonnements), Testsendungen, manuelle Sendungen aus dem Profil sowie Nachrichten von Kampagnen und Journeys mit aktiviertem Auch an die Kontrollgruppe senden.
  • Teilnehmer der Gruppe durchlaufen Journeys wie alle anderen: Bedingungen, Wartezeiten, Gutschrift von Punkten und andere Knoten funktionieren, nur Nachrichten werden nicht gesendet. Eine Kaskade für ein Profil aus der Gruppe endet beim ersten Schritt und probiert keine weiteren Kanäle.
  • Website und Werbung wie gewohnt. Formulare, Widgets, Empfehlungen und Zielgruppen-Exporte in Werbekonten funktionieren auch für die Gruppe: Der Bericht misst gezielt die Wirkung der Nachrichten.

Einschalten und Anteil ändern

  1. Legen Sie den Anteil der Profile fest – von 1 bis 50 %. Meist genügen 5–10 %: Je größer das Projekt, desto kleiner darf der Anteil sein.
  2. Klicken Sie auf Einschalten. Damit beginnt der Zeitraum der Gruppe.

Anteil der Kontrollgruppe ändern

Die Schaltfläche Anteil ändern öffnet das Feld für den Anteil, Anteil speichern beginnt einen neuen Zeitraum mit neuer Zusammensetzung: Einige Profile, die Nachrichten erhalten haben, kommen in die Gruppe und umgekehrt. Ausschalten beendet den Zeitraum, Nachrichten gehen wieder an alle. Die Berichte früherer Zeiträume bleiben erhalten und lassen sich im Feld Zeitraum auswählen. Einschalten, Änderung des Anteils und Ausschalten werden im Audit-Log erfasst.

Wechselt das Projekt zu einem Tarif ohne Kontrollgruppe, ist sie nicht mehr wirksam: Nachrichten gehen dann an alle Profile.

Ausnahmen: „Auch an die Kontrollgruppe senden“

Eine wichtige nicht transaktionale Nachricht, etwa zu geänderten Bedingungen, können Sie an alle senden. Aktivieren Sie dazu in den Einstellungen der Kampagne (Block „Zielgruppe“) und im Einstieg der Journey Auch an die Kontrollgruppe senden. Der Schalter erscheint, wenn die Gruppe eingeschaltet ist.

Solche Sendungen verwässern die Messung: Auch die Gruppe hat die Nachricht erhalten, die Wirkung erscheint kleiner, als sie ist. Der Bericht listet die Kampagnen und Journeys des Zeitraums mit diesem Schalter auf.

Kontrollgruppe im Kampagnenbericht

Empfänger der Kampagne aus der Kontrollgruppe bleiben in ihrer Zielgruppe, erhalten die E-Mail aber nicht: Im Nachrichtenverlauf des Profils erscheint zur selben Zeit ein übersprungener Eintrag mit dem Grund „Kontrollgruppe“. In die „Zielgruppe“ des Laufs zählen sie nicht, ihre Anzahl steht unter den Kacheln des Berichts.

Hat die Kampagne ein Ziel, erscheint auf dem Tab Bericht der Block Kontrollgruppe: die Zielkonversion der Kampagnenempfänger und der Profile der Gruppe im selben Zeitfenster nach dem Versand sowie ein Fazit, ob der Unterschied signifikant ist. So sehen Sie, ob die Kampagne zusätzliche Conversions gebracht hat – und nicht nur, wie viele Empfänger das Ziel erreicht haben.

Block „Kontrollgruppe“ im Kampagnenbericht

Bericht

Für den Bericht braucht es ein Kaufereignis und seinen Betrag – dieselben wie beim Bericht „Umsatz“, aus den Prognoseeinstellungen. Berücksichtigt werden Bestellungen des Zeitraums in der Projektwährung und alle Profile, die bis zum Ende des Zeitraums entstanden sind.

  • Zusätzlicher Umsatz – wie viel Umsatz die Nachrichten im Zeitraum gebracht haben: die Differenz des Umsatzes pro Profil zwischen allen anderen Profilen und der Gruppe, multipliziert mit der Zahl aller anderen Profile. Unter den Kacheln steht das 95-%-Intervall: Liegt es vollständig über null, ist die Wirkung so gut wie sicher positiv.
  • Zusätzliche Bestellungen und Zusätzliche Käufer werden genauso berechnet.
  • Der Gruppe nicht gesendet – wie viele Marketingnachrichten die Gruppe im Zeitraum nicht erhalten hat.
  • Die Tabelle vergleicht alle anderen Profile und die Gruppe: Profile, Käufer, Kaufkonversion, Bestellungen, Umsatz, Umsatz pro Profil und durchschnittlicher Bestellwert. In der Spalte „Differenz“ steht bei der Konversion der relative Zuwachs, bei Geldbeträgen die Differenz in der Währung.
  • Kaufkonversion – dasselbe Fazit zur Signifikanz wie bei A/B-Tests (Journeys): „besser“, „kein Unterschied“ oder „zu wenig Daten“.
  • Umsatz pro Profil – ob er bei allen anderen höher oder niedriger ist und ob der Unterschied belegt ist (Welch-z-Test, α = 0,05). Nötig sind mindestens 30 Profile in jeder Gruppe.
  • Kumulierter zusätzlicher Umsatz – wie sich die Wirkung Tag für Tag aufbaut (bei Zeiträumen über 120 Tagen nach Wochen).

Gut zu wissen

  • Geben Sie der Gruppe Zeit. Die Wirkung stabilisiert sich meist in 2–4 Wochen. Die ersten Tage sind stark verrauscht: Entscheiden Sie anhand der stabilen Kurve und des Intervalls, nicht anhand des ersten Werts.
  • Eine negative Wirkung mit belegtem Unterschied bedeutet, dass Nachrichten den Käufen im Weg stehen: Prüfen Sie Häufigkeit, Ruhezeiten und Inhalt. Dabei helfen die Versandregeln und die beste Versandzeit.
  • Ändern Sie den Anteil nur, wenn nötig: Jede Änderung beginnt den Zeitraum neu.
  • Bericht über die API. Die Zeiträume der Gruppe und der Bericht zu einem Zeitraum sind über die öffentliche API und für KI-Assistenten über MCP mit einem Schlüssel verfügbar, der Analysen lesen darf. Einschalten oder den Anteil ändern können Sie die Gruppe nur hier in der Oberfläche.
  • Die Gruppe ersetzt keine A/B-Tests. Um zwei E-Mails miteinander zu vergleichen, nutzen Sie Varianten einer Kampagne oder eine Verzweigung in einer Journey.