## Was ein Experiment prüft

Ein Experiment vergleicht getrennte Kampagnen anhand eines Ergebnisses:

- **Antwortquote** – beliebige Antworten geteilt durch versendete Nachrichten
- **Positive Antwortquote** – als positiv oder interessiert eingestufte Antworten geteilt durch versendete Nachrichten

Verwenden Sie eine Kampagne als Kontrolle und mindestens eine als Variante. Ändern Sie jeweils nur eine aussagekräftige Variable – etwa Betreff, Einstieg, Handlungsaufforderung oder Zielgruppe –, damit Unterschiede interpretierbar bleiben. Der bisherige Kampagnenverlauf fließt in die Ergebnisse ein. Verwenden Sie deshalb vergleichbare Gruppen und Zeiträume.

## Experiment einrichten

1. Öffnen Sie **Outreach > Experiments** und erstellen Sie einen Entwurf mit Name, Zielmetrik und Mindeststichprobe. Pro Kampagne sind 1 bis 500 Sendungen zulässig.
2. Öffnen Sie jede Kampagne und weisen Sie sie dem Experiment als **Control** (Kontrolle) oder **Variant** (Variante) zu. Vor dem Start müssen mindestens zwei Kampagnen zugewiesen sein.
3. Prüfen Sie, ob Absenderidentität, Qualität der Zielgruppe, Regeln für Folge-E-Mails und Zeitplan vergleichbar sind – sofern nicht genau einer dieser Punkte getestet wird.
4. Starten Sie das Experiment.

Kit verteilt neue Kontakte nicht automatisch auf die Kampagnen eines laufenden Experiments. Stellen Sie vor dem Start in jeder Kampagne vergleichbare Gruppen zusammen oder fügen Sie Kontakte bewusst den einzelnen Varianten hinzu. Ein sauberer Test liegt nicht vor, wenn eine Variante eine deutlich andere Gruppe enthält.

Wenn Sie eine Kampagne aus einem Experiment im Entwurfsstatus archivieren, wird sie diesem Experiment nicht mehr zugeordnet. Nach dem Start steht fest, welche Kampagnen dazugehören, damit Mindeststichprobe und Ergebnisse immer dieselben Varianten berücksichtigen.

## Ergebnis auswerten

Kit zeigt für jede Kampagne die Anzahl der Sendungen und die gesamte Antwortquote. Sobald alle Kampagnen die Mindeststichprobe erreicht haben, benachrichtigt Kit das berechtigte Team, dass das Experiment geprüft werden kann.

Die Mindestzahl löst die Prüfung aus, belegt aber keine statistische Signifikanz. Kleine Stichproben, unterschiedliche Zielgruppen, saisonale Effekte, Zustellbarkeit und mehrere gleichzeitige Änderungen können das Ergebnis verzerren. Wenn Sie **Positive reply rate** (Positive Antwortquote) gewählt haben, prüfen Sie vor der Entscheidung die Einstufung der Antworten: Die aktuelle Ergebnistabelle zeigt weiterhin die gesamte Antwortquote.

## Abschließen und anschließend übernehmen

**Conclude** (Abschließen) speichert die von Ihnen gewählte Gewinnerkampagne und beendet das laufende Experiment. Die Kampagnenkonfiguration wird dabei nicht geändert und Kontakte werden nicht verschoben.

Im Abschlussformular ist zunächst die Kampagne mit der höchsten gesamten Antwortquote ausgewählt. Betrachten Sie das nur als Ausgangspunkt, besonders bei der Zielmetrik **Positive reply rate**. Prüfen Sie das Ergebnis und wählen Sie vor dem Absenden die beabsichtigte Gewinnerkampagne aus.

Eine bereits abgeschlossene Kampagne kann nicht gewinnen und erscheint deshalb nicht in der Auswahlliste. Wird die gewählte Kampagne erst nach der Entscheidung abgeschlossen, bricht Kit **Apply winner** ab, bevor Konfigurationen, Kontakte oder Nachrichten verändert werden.

**Apply winner** (Gewinner übernehmen) ist die getrennte Aktion für die Einführung:

- Wenn nicht die Kontrollkampagne gewinnt, ersetzt ihre Konfiguration die Konfiguration der Kontrolle.
- Ausstehende Kontakte und Kontakte mit Entwurf werden aus den unterlegenen Kampagnen in die Gewinnerkampagne verschoben.
- Kontakte, die bereits recherchiert oder angeschrieben wurden oder im Ablauf weiter fortgeschritten sind, bleiben in ihrer bisherigen Kampagne.
- Ein unterlegener Kontakt, dessen E-Mail-Adresse bereits in der Gewinnerkampagne vorkommt, bleibt zurück, damit die Eindeutigkeit je Kampagne erhalten bleibt.
- Unterlegene Kampagnen werden als abgeschlossen markiert.

Die Übernahme kann in der Oberfläche nicht rückgängig gemacht werden. Prüfen Sie vor der Bestätigung die ausgewählte Kampagne, deren Absender- und KI-Einstellungen sowie die verbleibenden Kontaktzahlen.

## Checkliste für Experimente

- [ ] Vor dem Start wurde eine Zielmetrik gewählt
- [ ] Kontrolle und Varianten unterscheiden sich bewusst in genau einem Punkt
- [ ] Gruppen, Zeitplan und Absenderbedingungen sind vergleichbar
- [ ] Jede Kampagne hat die Mindeststichprobe erreicht
- [ ] Einstufung der Antworten und praktische Auswirkungen rechtfertigen die Entscheidung
- [ ] Einstellungen der Gewinnerkampagne und verbleibende Kontakte wurden vor der Übernahme geprüft