Gruppe.Die meisten A/B-Tests im Mittelstand sind zu klein, um etwas zu beweisen. Wie man trotzdem zu belastbaren Entscheidungen kommt.
Fachbeitrag von LeadRaum Redaktion
Die LeadRaum Redaktion bündelt Erfahrung aus über einem Jahrzehnt Performance Marketing, Kampagnensteuerung und Vertriebsprozessen. Alle Beiträge werden vor Veröffentlichung fachlich geprüft und regelmäßig aktualisiert.
Kurz beantwortet: Ein aussagekräftiger A/B-Test braucht eine vorab festgelegte Hypothese, eine berechnete Mindeststichprobe, eine Laufzeit über vollständige Wochen und eine einzige Änderung je Test. Bei geringem Traffic sind große Änderungen, sequenzielle Vergleiche und die Bewertung über längere Zeiträume die praktikablere Alternative.
A/B-Tests gelten als Königsweg der Optimierung. In der Praxis scheitern sie meist nicht an der Methode, sondern an der Datenmenge und an Entscheidungen, die vor dem Testende getroffen werden.
Vor dem Start gehören vier Dinge schriftlich festgelegt:
Der vierte Punkt verhindert das häufigste Problem: Tests, die laufen, bis das gewünschte Ergebnis erscheint. Welche Elemente einer Seite überhaupt sinnvolle Testkandidaten sind, ordnet Landingpage-Aufbau ein.
Die benötigte Stichprobe hängt von der Ausgangs-Conversion-Rate und dem Unterschied ab, den Sie erkennen wollen. Die Zusammenhänge in der Größenordnung:
| Ausgangsrate | Erkennbarer Unterschied | Ungefähr benötigte Besucher je Variante |
|---|---|---|
| 3 % | +50 % relativ | rund 1.500 |
| 3 % | +20 % relativ | rund 9.000 |
| 3 % | +10 % relativ | rund 35.000 |
| 10 % | +20 % relativ | rund 2.500 |
| 10 % | +10 % relativ | rund 9.000 |
Die Zahlen sind Näherungen, aber die Aussage ist eindeutig: Kleine Verbesserungen sind bei kleinem Traffic nicht nachweisbar. Wer 2.000 Besucher im Monat hat, wird eine Verbesserung um zehn Prozent niemals belegen können.
Statt Detailtests durchzuführen, die nie ein Ergebnis liefern:
Testen Sie Großes. Zwei grundsätzlich verschiedene Angebotsformulierungen statt zweier Buttontexte. Große Unterschiede sind mit kleinen Stichproben nachweisbar.
Vergleichen Sie sequenziell. Vier Wochen Variante A, vier Wochen Variante B, mit dem Bewusstsein, dass äußere Einflüsse mitwirken. Die Aussage ist schwächer, aber besser als keine.
Nutzen Sie Zwischenkennzahlen. Formularstarts oder Scrolltiefe haben höhere Fallzahlen als Abschlüsse und liefern früher Hinweise, allerdings nur als Indiz.
Entscheiden Sie nach Logik, wo Daten fehlen. Offensichtliche Verbesserungen (fehlende Informationen ergänzen, Fehler beheben, Ladezeit senken) brauchen keinen Test, siehe Conversion-Rate-Optimierung.
Zwei Regeln:
Zusätzlich sollten Sondersituationen vermieden werden: Feiertage, Betriebsferien, größere Kampagnenänderungen, saisonale Spitzen, siehe Saisonalität im Marketing.
Bei responsiven Anzeigenformaten kombinieren die Plattformen Elemente selbst. Klassische A/B-Tests sind dort nur begrenzt möglich. Praktikabel ist:
Führen Sie ein Testprotokoll mit Hypothese, Zeitraum, Varianten, Fallzahlen, Ergebnis und getroffener Entscheidung. Gerade negative Ergebnisse gehören ebenfalls hinein: Sie verhindern, dass dieselbe Idee in einem Jahr erneut getestet wird.
Der Wert eines Tests entsteht nicht durch das Ergebnis, sondern durch die Entscheidung, die daraus folgt.
Wenn Sie unter etwa 500 Conversions pro Monat liegen, sind klassische A/B-Tests selten das richtige Werkzeug. Investieren Sie die Zeit stattdessen in offensichtliche Verbesserungen, in die Qualität des Angebots und in den Prozess nach der Anfrage. Dort sind die Effekte größer und schneller sichtbar.
Vereinbaren Sie ein unverbindliches Beratungsgespräch mit unseren Experten.
Mindestens zwei vollständige Wochen und so lange, bis die vorab berechnete Mindeststichprobe erreicht ist. Immer in vollen Wochen messen, da sich Wochentage systematisch im Nutzerverhalten unterscheiden.
Das hängt von der Ausgangs-Conversion-Rate und der Größe des erwarteten Unterschieds ab. Bei drei Prozent Ausgangsrate braucht ein Nachweis von zehn Prozent relativer Verbesserung Zehntausende Besucher je Variante, ein Nachweis von 50 Prozent nur rund 1.500.
Große Änderungen statt Details testen, sequenziell über längere Zeiträume vergleichen, Zwischenkennzahlen mit höheren Fallzahlen heranziehen und offensichtliche Verbesserungen ohne Test umsetzen.
Weil sich bei mehreren gleichzeitigen Änderungen nicht zuordnen lässt, welche gewirkt hat. Für die Bewertung einzelner Faktoren sind separate Tests oder ein methodisch aufwendigeres multivariates Vorgehen nötig.
CRO ist kein Sammeln von Best Practices, sondern ein Prozess. Wie Sie herausfinden, woran es liegt, und in welcher Reihenfolge Sie es beheben.
Jedes Feld kostet Anfragen und liefert Qualifizierung. Wie Sie den Tausch bewusst gestalten, und welche Details Abbrüche verursachen, ohne dass es jemand merkt.
Ein guter Anzeigentext maximiert nicht die Klickrate, sondern die Zahl passender Klicks. Aufbau, Formulierungen und ein Prüfschema für den Livegang.