A/B Testing Tools

Der Editor für Varianten

Die meisten Tools bieten einen visuellen Editor, mit dem du Überschriften, Farben oder ganze Blöcke ohne Code ändern kannst. Das funktioniert bei einfachen Anpassungen gut. Sobald du strukturelle Änderungen willst, stösst der visuelle Editor an Grenzen, und du brauchst jemanden, der Code schreiben kann. Frag in der Demo konkret nach: Wie sieht eine Variante aus, bei der ein ganzer Abschnitt umgebaut wird, nicht nur ein Button umgefärbt.

Zielmessung und Events

Ein Test ist nur so gut wie das Ziel, das er misst. Prüfe, wie das Tool Conversions erfasst: Reicht ein Klick auf einen Button, oder kannst du auch einen Kaufabschluss oder ein abgesendetes Formular als Ziel definieren. Wichtig ist, ob du mehrere Ziele parallel messen kannst, weil eine Variante oft die eine Zahl hebt und eine andere senkt.

Flimmern beim Laden

Ein praktisches Problem, das in Demos gern verschwiegen wird: Wenn das Tool die Variante per JavaScript nachträglich einblendet, sehen manche Besucher kurz die Originalseite, bevor die Testvariante erscheint. Dieses Flackern nervt nicht nur, es verfälscht auch das Ergebnis. Frag, wie das Tool damit umgeht.

Statistik-Modell

Manche Tools rechnen klassisch (Signifikanz nach festgelegter Stichprobe), andere arbeiten laufend mit einem Bayes-Ansatz. Für dich als Anwender zählt vor allem: Sagt dir das Tool klar, wann ein Ergebnis belastbar ist, und warnt es dich, wenn du zu früh abbrichst. Ein Tool, das nach zwei Tagen einen Gewinner feiert, während die Datenlage dünn ist, führt dich in die Irre.

Zielgruppen und Segmentierung

Kannst du einen Test nur auf Mobilnutzer beschränken, nur auf neue Besucher oder nur auf eine bestimmte Herkunftsquelle. Und, mindestens genauso wichtig, kannst du das Ergebnis hinterher nach diesen Segmenten aufschlüsseln. Oft gewinnt eine Variante insgesamt, verliert aber bei einer wichtigen Gruppe.

Wer bedient das Ding später

Lass die Software in der Demo von der Person bedienen, die später damit arbeitet, nicht vom Vertrieb und nicht vom Chef. Wenn deine Marketingkollegin einen einfachen Test in der Demo nicht ohne Hilfe aufsetzen kann, wird sie ihn im Alltag auch nicht aufsetzen, und das Tool verstaubt.

Passt es zu deinem Traffic

Rechne vor dem Kauf ehrlich durch, wie viele relevante Besucher deine Testseite pro Woche hat. Bei niedrigem Traffic brauchst du kein Tool mit hunderten Funktionen, sondern eines, das dir überhaupt sagt, ob ein Test in vernünftiger Zeit ein Ergebnis liefern kann.

Integration mit dem Bestehenden

Schau, ob das Tool sich mit deiner vorhandenen Analyse-Software und deinem Shop- oder CMS-System verträgt. Ein Test, dessen Ergebnisse du nicht mit deinen sonstigen Zahlen verbinden kannst, bleibt eine Insel.

Support und Sprache

Kläre, in welcher Sprache der Support antwortet und wie schnell. Wenn ein laufender Test kaputtgeht und die Seite dadurch fehlerhaft aussieht, willst du nicht 18 Stunden auf eine Antwort aus einer anderen Zeitzone warten.

Beim Preis lohnt sich der Blick hinter die Monatsgebühr. Die meisten Anbieter staffeln die Kosten nach der Zahl der getesteten Besucher pro Monat. Das klingt fair, hat aber einen Haken: Wenn deine Seite mehr Traffic bekommt (was du eigentlich willst), steigen die Kosten mit, teils sprunghaft beim Überschreiten einer Stufe. Frag konkret, was passiert, wenn du das Limit reisst, ob der Test dann stoppt oder du automatisch in die nächste Preisstufe rutschst.

Versteckte Posten

Achte auf diese Kostentreiber, die selten auf der Preisseite stehen:

• Einrichtung: Manche Tools brauchen ein technisches Setup, das du entweder selbst mit Entwicklerzeit stemmst oder als Dienstleistung dazukaufst.
• Zusatzfunktionen: Personalisierung, erweiterte Segmentierung oder eine bestimmte Zahl paralleler Tests sind oft nur in höheren Paketen enthalten.
• Vertragslaufzeit: Jahresverträge sind günstiger pro Monat, binden dich aber. Bei einem Werkzeug, das du erst testen willst, ist ein kündbarer Monatsvertrag am Anfang oft die klügere Wahl, auch wenn er rechnerisch teurer wirkt.
• Interne Zeit: Der grösste versteckte Posten ist die Arbeitszeit deiner Leute. Ein Tool, das niemand bedienen kann, kostet dich Gehalt ohne Gegenwert.

Die ehrliche Rechnung

Rechne nicht die Lizenz gegen den Nutzen, sondern die Gesamtkosten aus Lizenz plus Einrichtung plus laufender Arbeitszeit gegen den Wert der Entscheidungen, die du damit besser triffst. Wenn du im Jahr nur zwei ernsthafte Tests fährst, ist ein grosses Paket rausgeworfenes Geld.

Test zu früh abgebrochen

Der Klassiker: Nach drei Tagen liegt Variante B vorn, alle jubeln, der Test wird gestoppt und B ausgerollt. Zwei Wochen später ist die Conversion nicht besser als vorher. Frühe Führungen kippen ständig, weil die Datenmenge noch zu klein ist. Leg vor dem Start fest, wie lange der Test mindestens läuft und wie viele Conversions du brauchst, und halt dich daran, auch wenn es zwischendurch verlockend aussieht.

Mehrere Änderungen gleichzeitig

Jemand ändert in einer Variante die Überschrift, die Button-Farbe und das Bild auf einmal. Variante gewinnt. Schön, aber niemand weiss, woran es lag. Wenn du lernen willst, ändere pro Test eine Sache. Wenn es dir nur ums Ergebnis geht, ist das Bündeln in Ordnung, aber sei dir bewusst, dass du dann keine übertragbare Erkenntnis hast.

Test über eine ungewöhnliche Woche

Ein Test lief über die Woche mit einer grossen Rabattaktion. Das Ergebnis war durch die Aktion verzerrt und für den Normalbetrieb wertlos. Achte darauf, dass ein Test über einen repräsentativen Zeitraum läuft, mindestens über volle Wochen, damit Wochenenden und Werktage gleichmässig drin sind.

Niemand ist zuständig

Das Tool wird gekauft, eingerichtet, und dann macht es niemand. Ohne eine Person, die Tests plant, auswertet und dokumentiert, passiert nichts. Benenne von Anfang an eine verantwortliche Person, sonst zahlst du eine Lizenz für ein schlafendes Werkzeug.

A/B Testing Tools setzen in aller Regel Cookies oder ähnliche Techniken, um sich zu merken, welcher Besucher welche Variante gesehen hat. Damit fallen sie unter die Regeln zur Einwilligung. In Deutschland gilt neben der DSGVO das Telekommunikation-Digitale-Dienste-Datenschutz-Gesetz (TDDDG), in Österreich und der Schweiz gelten vergleichbare Regelungen, wobei die Schweiz ein eigenes Datenschutzgesetz hat.

Einwilligung

Die zentrale Frage ist, ob dein Testing-Tool eine Einwilligung braucht, bevor es aktiv wird. Rein technisch notwendige Verarbeitung ist enger gefasst, als viele denken, und die reine Wunsch, Varianten zu testen, gilt normalerweise nicht als technisch notwendig. Kläre mit deinem Datenschutzbeauftragten oder einem Anwalt, ob das Tool erst nach Zustimmung im Cookie-Banner laden darf. Das hat auch praktische Folgen: Wenn viele Besucher ablehnen, testest du nur einen Teil deiner Zielgruppe.

Auftragsverarbeitung und Serverstandort

Wenn der Anbieter Daten deiner Besucher verarbeitet, brauchst du einen Vertrag zur Auftragsverarbeitung. Prüfe, wo die Daten gespeichert werden. Bei Anbietern ausserhalb der EU brauchst du eine Rechtsgrundlage für den Datentransfer. Frag den Anbieter nach dem Serverstandort und den vorliegenden Garantien, und lass dir das schriftlich geben.

Datensparsamkeit

Miss nur, was du für den Test brauchst. Wenn du personenbezogene Daten nicht benötigst, um zu wissen, welche Variante besser läuft, dann erhebe sie auch nicht. Das macht die rechtliche Bewertung einfacher und schützt dich.

Ein Hinweis, der wichtig ist: Ich bin kein Anwalt, und dieser Abschnitt ist keine Rechtsberatung. Die Lage ändert sich, und die Details hängen von deinem konkreten Einsatz ab. Hol dir für den Ernstfall fachliche Prüfung.

Schritt 1: Traffic und Ziele klären

Bevor du dir ein Tool ansiehst, beantworte zwei Fragen. Wie viele relevante Besucher hat die Seite, die du testen willst, pro Woche. Und was genau willst du verbessern, also welche konkrete Zahl (etwa abgeschlossene Käufe oder abgesendete Kontaktformulare). Ohne diese beiden Angaben kannst du kein Tool sinnvoll bewerten.

Schritt 2: Longlist auf drei kürzen

Nimm die Tools von der Vergleichsseite oben und streiche alles, was nicht zu deinem Traffic und deinem System passt. Wenn ein Tool auf grosse Enterprise-Umgebungen ausgelegt ist und du ein kleiner Shop bist, spar dir die Demo.

Schritt 3: Demo mit echten Leuten

Buch Demos für die verbliebenen Kandidaten. Wichtig: Die Person, die später arbeitet, setzt in der Demo selbst einen einfachen Test auf. Notiere, wo sie hängenbleibt. Frag in der Demo nach dem Flimmern beim Laden, nach dem Serverstandort und nach dem Verhalten beim Überschreiten der Traffic-Grenze.

Schritt 4: Testphase mit einem echten Test

Start mit einem kündbaren Vertrag und einem echten, kleinen Test. Nicht nur klicken, sondern einen Test bis zum Ergebnis durchziehen. So merkst du, ob der Alltag funktioniert, nicht nur die Verkaufspräsentation.

Schritt 5: Verantwortung festlegen

Bevor du unterschreibst, kläre intern, wer die Tests plant und auswertet und wie viel Zeit diese Person dafür bekommt. Ein Tool ohne zuständigen Menschen ist nur ein Kostenposten.

Schritt 6: Dokumentation aufsetzen

Leg von Anfang an eine einfache Liste an: Welche Hypothese, welcher Zeitraum, welches Ergebnis, welche Entscheidung. Nach einem Jahr ist diese Liste mehr wert als jede Funktion, weil du siehst, was wirklich gewirkt hat und was ihr euch hättet sparen können.