Warum die meisten A/B-Tests im Mittelstand gar nichts beweisen

Die Zahlen sind Näherungen, aber die Aussage ist eindeutig: Kleine Verbesserungen sind bei kleinem Traffic nicht nachweisbar. Wer 2.000 Besucher im Monat hat, wird eine Verbesserung um zehn Prozent niemals belegen können. 

Konsequenz bei wenig Traffic

Statt Detailtests durchzuführen, die nie ein Ergebnis liefern: 

Testen Sie Großes. Zwei grundsätzlich verschiedene Angebotsformulierungen statt zweier Buttontexte. Große Unterschiede sind mit kleinen Stichproben nachweisbar. 

Vergleichen Sie sequenziell. Vier Wochen Variante A, vier Wochen Variante B – mit dem Bewusstsein, dass äußere Einflüsse mitwirken. Die Aussage ist schwächer, aber besser als keine. 

Nutzen Sie Zwischenkennzahlen. Formularstarts oder Scrolltiefe haben höhere Fallzahlen als Abschlüsse und liefern früher Hinweise – allerdings nur als Indiz. 

Entscheiden Sie nach Logik, wo Daten fehlen. Offensichtliche Verbesserungen – fehlende Informationen ergänzen, Fehler beheben, Ladezeit senken – brauchen keinen Test, siehe Conversion-Rate-Optimierung. 

Laufzeit

Zwei Regeln: 

• Mindestens zwei vollständige Wochen. Wochentage unterscheiden sich systematisch im Nutzerverhalten; ein Test über fünf Werktage bildet das nicht ab.
• Immer volle Wochen. Ein Test von Dienstag bis Dienstag verzerrt weniger als einer von Dienstag bis Freitag.

Zusätzlich sollten Sondersituationen vermieden werden: Feiertage, Betriebsferien, größere Kampagnenänderungen, saisonale Spitzen – siehe Saisonalität im Marketing. 

Die häufigsten methodischen Fehler

• Zu früh beenden. Frühe Ergebnisse schwanken stark; ein "Gewinner" nach drei Tagen ist meist Zufall.
• Mehrere Änderungen gleichzeitig. Dann ist unklar, welche gewirkt hat.
• Mehrere Ziele parallel bewerten. Wer genug Kennzahlen betrachtet, findet immer eine, die besser aussieht.
• Auf die falsche Kennzahl optimieren. Mehr Anfragen bei schlechterer Qualität sind kein Erfolg, siehe Lead-Qualität messen.
• Ergebnisse verallgemeinern. Was auf einer Landingpage wirkt, wirkt nicht zwingend auf einer anderen.

A/B-Tests in Werbeanzeigen

Bei responsiven Anzeigenformaten kombinieren die Plattformen Elemente selbst. Klassische A/B-Tests sind dort nur begrenzt möglich. Praktikabel ist: 

• Aussagen testen, nicht Formulierungen. Zwei Anzeigen mit unterschiedlichem Versprechen liefern Erkenntnis.
• Genügend Laufzeit geben, damit Lernphasen abgeschlossen sind, siehe Kampagnenstruktur.
• Nach Kosten pro qualifiziertem Lead bewerten, nicht nach Klickrate.

Ergebnisse dokumentieren

Führen Sie ein Testprotokoll mit Hypothese, Zeitraum, Varianten, Fallzahlen, Ergebnis und getroffener Entscheidung. Auch – und gerade – negative Ergebnisse gehören hinein: Sie verhindern, dass dieselbe Idee in einem Jahr erneut getestet wird. 

Der Wert eines Tests entsteht nicht durch das Ergebnis, sondern durch die Entscheidung, die daraus folgt.

Eine pragmatische Regel

Wenn Sie unter etwa 500 Conversions pro Monat liegen, sind klassische A/B-Tests selten das richtige Werkzeug. Investieren Sie die Zeit stattdessen in offensichtliche Verbesserungen, in die Qualität des Angebots und in den Prozess nach der Anfrage – dort sind die Effekte größer und schneller sichtbar.