Der Veröffentlichungs- und Entwicklungsprozess bietet Entwicklern die Möglichkeit, einen A/B-Test mit Insel-Thumbnails durchzuführen, um zwei verschiedene Bilder zu vergleichen und zu sehen, welches zu mehr Klicks und einer höheren Click-Through-Rate (CTR) führt – alles anhand von echten Spielerdaten. Dadurch kann die Spielerfrequenz optimiert, Unsicherheit bei den Spielern reduziert sowie insgesamt schneller iteriert werden.
Nur ein Teammitglied mit Veröffentlichungsberechtigung kann einen A/B-Test erstellen und auswählen, welcher Thumbnail verwendet werden soll, nachdem der Test abgeschlossen ist.
A/B-Tests starten
A/B-Tests sind Teil des Veröffentlichungsprozesses, aber nicht verpflichtend. Mehr über das Einreichen eines einzelnen Thumbnails erfährst du unten im Abschnitt Tests abbrechen.
Lade unter dem Tab Werbematerial deine beiden Thumbnails hoch. So beginnst du den A/B-Test:
Achte darauf, dass sich die beiden Thumbnails unterscheiden.
Füge weitere Medien-Assets hinzu, falls gewünscht.
Klicke auf Weiter, um fortzufahren.
Werbematerial – A/B-Tests von Thumbnails.
Der zusätzliche Thumbnail wird nicht als Duplikat gekennzeichnet.
Thumbnail-Prüfung
Falls ein Thumbnail-Bild die Prüfung nicht besteht, wird auch die gesamte Insel sie nicht bestehen und muss den Veröffentlichungs- und Prüfprozess erneut durchlaufen, nachdem du das problematische Bild korrigiert hast.
Neue Veröffentlichung
Während sich die Insel mitten im A/B-Test befindet, kannst du keine neue Version erstellen, sondern musst warten, bis der A/B-Test abgeschlossen ist und du ein Bild ausgewählt hast. Sobald du dies getan hast, wird die Schaltfläche Neue Version erstellen verfügbar.
Tests abbrechen
Du kannst Tests jederzeit abbrechen, indem du eines der getesteten Bilder auswählst.
Wenn du mitten in der Erstellung einer neuen Version steckst und keinen A/B-Test durchführen möchtest, hast du die Möglichkeit, einen einzelnen Thumbnail zu verwenden und fortzufahren.
Wähle A/B-Test abbrechen aus.
Klicke auf Weiter. Du erhältst einen Eingabeaufruf.
A/B-Test abbrechen Wähle Verwende einen Thumbnail aus.
Bestätige, dass du mit einem einzelnen Thumbnail fortfahren willst.
Setze den Veröffentlichungsprozess mit einem einzelnen Thumbnail fort.
Thumbnail-Testmetriken
Nach der Veröffentlichung der Insel werden von jedem Thumbnail Daten erfasst. Jeder Thumbnail wird zu gleichen Teilen an potenzielle Spieler gesendet. Thumbnails, die A/B-Tests durchlaufen, werden im Entdecken-Bildschirm, beim Durchsuchen und in Suchergebnissen angewendet. Sobald ein Spieler einen bestimmten Thumbnail einer Insel sieht, wird er auch danach ausschließlich diesen Thumbnail sehen.
Tests dauern maximal 90 Tage. Die Ergebnisse findest du auf der Veröffentlichungsseite der Insel unter dem Releases-Modul. Die folgenden A/B-Testdaten sind verfügbar:
Impressionen
Klicks
Click-Through-Rate (CTR)
Testergebnisse
Du kannst den Test jederzeit beenden, indem du nach Testbeginn einen Thumbnail auswählst. Wenn du den Test nicht selbst beendest, wählt das System nach 90 Tagen basierend auf den besten Ergebnissen selbst einen Thumbnail für dich aus.
So wählst du einen Thumbnail aus:
Klicke in der Zeile des Thumbnails auf den „Bild auswählen“-Bereich. Ein Popup-Fenster wird geöffnet.
Wähle ein Bild aus. Klicke auf Auswählen.
Klicke auf „Auswählen“.
Der gewählte Thumbnail wird als „Ausgewählt“ markiert und bleibt im Releases-Tab hervorgehoben, während der nicht ausgewählte Thumbnail nicht mehr auswählbar ist. Klappe die A/B-Test-Ansicht ein, um unter der Version den Abschlussstatus einschließlich Datum zu sehen. Dort erfährst du, ab wann der ausgewählte Thumbnail allen Spielern für die Insel angezeigt wird.
Wenn du nach der 90-tägigen Testphase keinen Thumbnail auswählst, wählt das System automatisch einen Thumbnail aus. Wenn ein aussagekräftiges Ergebnis erzielt wurde, wählt es den Thumbnail mit der höheren CTR. Wurde kein aussagekräftiges Ergebnis erzielt, verwendet es Thumbnail A – also den zuerst hochgeladenen Thumbnail.
Keine ausreichenden Ergebnisse
Es kann passieren, dass es nach Ablauf der Testphase keinen eindeutigen Sieger gibt. In diesem Fall wird dein A/B-Testergebnis mit Keine ausreichenden Ergebnisse gekennzeichnet.
Du kannst an diesem Punkt trotzdem einen Thumbnail auswählen. Wenn du das tust, teilt dir eine Popup-Meldung mit, dass es keinen eindeutigen Gewinner gab.
Letzte Schritte der A/B-Testphase:
Klicke auf Bild auswählen, um den ausgewählten Thumbnail zu verwenden. Ein Popup-Fenster wird geöffnet.
Klicke auf Auswählen, um die Testphase abzuschließen.
Wenn du dich entscheidest, einen neuen A/B-Test zu erstellen, muss der Veröffentlichungs- und Prüfprozess erneut durchlaufen werden.
FAQ zu A/B-Tests
Im Folgenden findest du einige allgemeine Fragen zum A/B-Testvorgang.
Was sind A/B-Tests von Thumbnails?
A/B-Thumbnail-Tests bieten eine Möglichkeit, verschiedene Thumbnails zu vergleichen, um festzustellen, welches Bild bei der Click-Through-Rate (CTR) am besten abschneidet. Die Funktion liefert datengestützte Erkenntnisse, die dir helfen, die Spielerfrequenz deiner Insel zu optimieren, indem du den effektivsten Thumbnail verwendest.
Für wen ist diese Funktion gedacht?
Er wurde entwickelt, damit du deine Thumbnails effektiv anpassen kannst, um die Click-Through-Rate zu verbessern.
Wie funktioniert der A/B-Test?
Wenn du zwei Thumbnail-Varianten hochlädst, verteilt das System jede Variante gleichmäßig auf die Betrachter (50/50-Aufteilung). Basierend auf den Messwerten für die Click-Through-Rate (CTR) wird der Thumbnail mit der besten Performance empfohlen.
Wie kann ich während des Veröffentlichungsvorgangs einen A/B-Thumbnail-Test einrichten?
Während des Schritts Werbematerial hochladen des Veröffentlichungsprozesses kannst du einen weiteren Thumbnail zum Teten hochladen.
Wichtig:
Der A/B-Test gilt erst als erfolgreich erstellt, nachdem die Insel die Prüfung bestanden hat.
Wenn eine der Thumbnail-Varianten die Prüfung nicht besteht, wird der gesamte eingereichte Inhalt (einschließlich der Insel) zurückgewiesen.
In der Ablehnungs-E-Mail wird eine eindeutige Erklärung dazu gegeben, welche Thumbnail-Variante abgelehnt wird, oder ob beide abgelehnt werden.
Wenn eine Bildvariante gemeldet wird, werden beide Bilder entfernt.
Wie viele Thumbnails kann ich gleichzeitig testen?
Du kannst zwei Thumbnail-Varianten pro Test hochladen. Es ist nur ein Test pro Inselversion zulässig.
Kann ich mehrere A/B-Tests gleichzeitig durchführen?
Zu Beginn kannst du gleichzeitigt nur einen Test pro Version laufen lassen. Du wirst gebeten, den Test zu beenden, wenn du eine neue Version erstellen möchtest.
Wie lange läuft ein A/B-Test?
Die Dauer des Tests hängt von der Geschwindigkeit der Datenerfassung ab, die in der Regel zwischen einigen Tagen und einigen Wochen braucht, basierend auf der Größe des Publikums und auf der Spielerfrequenz. Die Höchstdauer eines A/B-Tests beträgt 90 Tage. Wenn du nicht selbst einen Thumbnail auswählst, wird für dich nach 90 Tagen ein Standard-Thumbnail ausgewählt. Vorher musst du den Test manuell beenden.
Welche Messwerte bestimmen, welcher Thumbnail gewinnt?
Das System berücksichtigt die Click-Through-Rate (CTR), um den Thumbnail mit der besten Performance zu bestimmen.
Auf welcher Basis empfiehlt das System einen siegreichen Thumbnail?
Das System analysiert die gemessene Click-Through-Rate (CTR) und die erfassten Impressionen, um zu bestimmen, welche Variante am besten abgeschnitten hat. Zwar wird auf visuelle Weise kein Gewinner erklärt, aber es wird angezeigt, dass eine signifikante Konfidenz erreicht wurde. Du kannst dann den Thumbnail nach deinem eigenen Ermessen auswählen.
Kann ich den Gewinner-Thumbnail manuell auswählen?
Ja, du kannst die Empfehlung des Systems übergehen und manuell einen Thumbnail auswählen.
Was bedeutet eine signifikante Konfidenz bei A/B-Tests?
Bei A/B-Tests bedeutet eine signifikante Konfidenz, dass eine statistische Gewissheit besteht (mit einem Konfidenzniveau von 90 %), dass der Unterschied in der Performance (CTR) zwei verschiedener Thumbnails nicht auf Zufall beruht.
Wird mit einem „p-Wert“ gemessen (z. B. p < 0,1 für ein Konfidenzniveau von 90 %).
Erfordert ausreichend Daten (Impressionen/Klicks), um Zufälle auszuschließen.
Bei Erreichen der signifikanten Konfidenz wird der Gewinner-Thumbnail verlässlicher bestimmt.
Wird sie nicht erreicht, ist der Test uneindeutig (kein deutlicher Gewinner).
Beispiel:
Wenn die CTR von Thumbnail B um 5 % größer ist als die von A und ein Konfidenzniveau von 90 % besteht, kannst du darauf vertrauen, dass B tatsächlich besser abschneidet. Dadurch wird verhindert, dass du Entscheidungen basierend auf irreführenden oder verrauschten Daten triffst.
Wie wird nach 90 Tagen ein Standard-Thumbnail für mich ausgewählt?
Wenn du nach 90 Tagen nicht selbst einen Thumbnail auswählst, bestimmt das System anhand der folgenden Regeln, welcher Thumbnail verwendet werden soll:
Wenn ein signifikantes Ergebnis erzielt wurde, wird das Bild mit der besseren Performance als Insel-Thumbnail zugewiesen.
Wenn kein signifikantes Ergebnis erzielt wurde, wird Thumbnail A (der zuerst hochgeladene Thumbnail) als Insel-Thumbnail zugewiesen.
Wo kann ich die Testergebnisse sehen?
Die Ergebnisse werden im Releases-Modul auf der Seite für Projektveröffentlichungen im Creator-Portal angezeigt. Bei jeder Variante werden ihre Impressionen, Klicks und ihre CTR aufgeführt. Außerdem wird angezeigt, ob der Test zu ausreichenden Ergebnissen geführt hat – mit anderen Worten, ob das angezeigte Ergebnis statistisch vertrauenswürdig ist.
Werden Spieler die unterschiedlichen Thumbnails bemerken?
Nein, den Spielern wird eine Variante zugewiesen, wenn sie den Thumbnail der Insel zum ersten Mal in Fortnite sehen. Diese Zuweisung erfolgt für ihr jeweiliges Spielerkonto. Die Spieler sehen nur eine Thumbnail-Variante, um Verwirrung zu vermeiden.