Pendant le processus de publication et de développement, les développeurs peuvent exécuter un test A/B sur des vignettes d'île afin de comparer deux images différentes et de déterminer laquelle génère le plus de clics et un taux de clics (TDC) supérieur. En s'appuyant sur des données réelles de joueurs, ce test vous permet d'optimiser la participation, de réduire les conjectures et d'effectuer des itérations plus rapides.
Seuls les membres d'équipe autorisés à publier peuvent créer un test A/B et, à l'issue de celui-ci, sélectionner la vignette à utiliser.
Lancer un test A/B
Les tests A/B sont intégrés au processus de publication, mais ils sont facultatifs. Pour savoir comment soumettre une seule vignette, consultez la section Annuler un test plus bas.
Sous l'onglet Contenu promotionnel, soumettez vos deux vignettes. Pour commencer le test A/B :
Vérifiez que les deux vignettes sont bien différentes.
Ajoutez d'autres ressources multimédias, le cas échéant.
Cliquez sur Suivant pour continuer.
Contenu promotionnel - Test A/B de vignettes
La vignette supplémentaire ne sera pas détectée comme un doublon.
Modération des vignettes
Si une vignette échoue à la modération, l'île entière échouera également et devra repasser par le processus de publication et de révision une fois le problème corrigé.
Nouvelle version
Lorsque l'île est en cours de test A/B, vous ne pouvez pas créer d'autre version avant d'avoir terminé le test et sélectionné une image. Une fois que cela est fait, le bouton Créer une nouvelle version devient disponible.
Annuler le test
Pour annuler le test, vous pouvez à tout moment sélectionner l'une des images mises en ligne.
Si vous êtes en train de créer une nouvelle version et que vous ne souhaitez pas effectuer de tests A/B, vous pouvez utiliser une seule vignette pour continuer.
Sélectionnez Annuler le test A/B.
Cliquez sur Suivant. Vous recevrez une invite.
Annuler le test A/B Sélectionner Utiliser une seule vignette.
Confirmez que vous souhaitez n'utiliser qu'une seule vignette.
Continuez le processus de publication avec une seule vignette.
Données de test de vignettes
Une fois l'île publiée, chaque vignette collecte des données. Chaque vignette est distribuée équitablement à des joueurs potentiels. Les vignettes qui ont fait l'objet d'un test A/B sont appliquées à la page Découvrir dans le jeu, ainsi qu'aux fonctions de navigation et de recherche. Si une vignette spécifique s'affiche pour un joueur d'une île, il ne verra désormais que celle-ci.
Les tests durent au maximum 90 jours. Les résultats sont disponibles sur la page Publication de l'île sous le module de version. Les données de test A/B suivantes seront fournies :
Vues
Clics
Taux de clics (TDC)
Résultats des tests
Pour mettre fin à un test lancé, il vous suffit de sélectionner une vignette. Si passé 90 jours vous n'avez pas terminé le test, le système sélectionnera une vignette par défaut pour vous en fonction des performances.
Pour sélectionner une vignette :
Cliquez sur l'invite de sélection d'image dans la ligne des vignettes. Une fenêtre contextuelle s'ouvre.
Sélection d'une image Cliquez sur Sélectionner.
Clic sur Sélectionner
La vignette de votre choix est alors marquée comme Sélectionnée et apparaît en surbrillance dans l'onglet Version ; celle que vous avez écartée ne sera plus sélectionnable. Réduisez la vue du test A/B pour afficher sous la version publiée le statut du test terminé accompagné d'une date. Il s'agit de la date à laquelle la vignette sélectionnée apparaîtra comme image de l'île pour tous les joueurs.
Si 90 jours après le test vous n'avez choisi aucune vignette, le système la choisira automatiquement. Si le résultat obtenu est significatif, l'image dont le TDC est le plus élevé sera sélectionnée comme vignette. Dans le cas contraire, l'image A (la première vignette) sera mise en ligne.
Résultats insuffisants
Il se peut qu'aucune image ne l'emporte clairement à l'issue de la période de test. Dans ce cas, le résultat de votre test A/B indiquera Résultats insuffisants.
Vous pouvez encore sélectionner une vignette à ce stade. Un message contextuel s'ouvrira pour vous informer que le test n'est pas concluant.
Pour conclure le test A/B :
Cliquez sur Sélectionner une image pour continuer à utiliser la vignette sélectionnée. Une fenêtre contextuelle s'ouvre.
Cliquez sur Sélectionner pour terminer la phase de test.
Si vous décidez de créer un nouveau test A/B, vous devrez recommencer le processus de publication et de modération.
FAQ sur les tests A/B
Vous trouverez ci-après quelques questions sur le processus de test A/B.
Qu'est-ce qu'un test A/B de vignettes ?
Les tests A/B de vignettes permettent de comparer différentes images pour déterminer celle qui présente les meilleurs résultats en termes de taux de clics (TDC). Cette fonctionnalité fournit des données pour vous aider à optimiser la participation à votre île en utilisant la vignette la plus efficace.
À qui s'adresse cette fonctionnalité ?
Cette fonctionnalité a été conçue pour vous permettre de choisir rigoureusement vos vignettes en vue d'améliorer le taux de clics.
Comment fonctionne le test A/B ?
Lorsque vous mettez en ligne deux variantes de vignettes, le système les répartit équitablement entre des joueurs (50/50). Il est recommandé d'utiliser la vignette la plus performante en termes de taux de clics (TDC).
Comment puis-je configurer un test A/B de vignettes pendant la publication ?
Pour réaliser un test, vous pouvez ajouter une vignette supplémentaire au cours de l'étape de Mise en ligne de contenu promotionnel du flux de publication.
Important :
Pour créer correctement le test A/B, l'île doit avoir été validée par la modération.
Si la modération échoue pour l'une des variantes de vignette, la soumission complète (y compris l'île) sera rejetée.
Un e-mail fournira les raisons précises du rejet de la ou des variantes.
Si une variante d'image est signalée, les deux images sont supprimées.
Combien de vignettes puis-je tester à la fois ?
Vous pouvez mettre en ligne deux variantes de vignettes par test. Un seul test par version est autorisé.
Puis-je exécuter plusieurs tests A/B simultanément ?
Lors du lancement, vous ne pouvez exécuter qu'un seul test actif par version à la fois. Si vous créez une nouvelle version, vous serez invité à terminer le test.
Combien de temps dure un test A/B ?
La durée du test dépend de la vitesse de collection des données et peut aller de quelques jours à plusieurs semaines, en fonction de la taille du public et des niveaux de participation. La durée maximale d'un test A/B est de 90 jours. Si vous ne sélectionnez pas vous-même une vignette, elle sera sélectionnée par défaut pour vous après 90 jours. Avant cela, il vous faudra terminer le test manuellement.
Quelles données déterminent la sélection de la vignette gagnante ?
Le système prend en compte le taux de clics (TDC) pour déterminer la vignette la plus performante.
Comment le système recommande-t-il une vignette gagnante ?
Le système analyse le taux de clics (TDC) et les données de vues pour déterminer la variante la plus performante. Même si nous n'annonçons pas l'image retenue de manière visuelle, vous pourrez observer qu'une confiance significative est atteinte. Vous pourrez alors décider par vous-même quelle vignette sélectionner.
Puis-je sélectionner manuellement une vignette gagnante ?
Oui, vous pouvez ignorer la recommandation du système et sélectionner manuellement la vignette de votre choix.
Qu'est-ce que la confiance significative dans les tests A/B ?
Dans les tests A/B, une confiance significative signifie qu'il existe une certitude statistique (fixée à 90 % de confiance) que la différence de performances (TDC) entre deux vignettes n'est pas due au hasard.
Le test est évalué à l'aide d'une « valeur p » (par exemple, p < 0,1 signifie une confiance de 90 % dans le résultat).
Les données (vues/clics) doivent être suffisantes pour écarter toute fluctuation aléatoire.
Si la certitude statistique est atteinte, la vignette retenue est en toute fiabilité annoncée comme plus performante.
Sinon, le test n'est pas clairement concluant.
Exemple :
Si le TDC de la vignette B est 5 % supérieur à celui de la vignette A, avec un niveau de confiance de 90 %, vous pouvez être sûr que la vignette B est réellement plus performante. Vous évitez ainsi de prendre des décisions basées sur des données trompeuses ou difficiles à interpréter.
Comment une vignette par défaut est-elle sélectionnée pour moi après 90 jours ?
Après 90 jours, si vous ne sélectionnez pas vous-même une vignette, le système la choisit par défaut en fonction des règles suivantes :
Si un résultat significatif est obtenu, l'image la plus performante est désignée comme vignette de l'île.
Sinon, la vignette A (la première mise en ligne) sera désignée.
Où puis-je consulter les résultats des tests ?
Les résultats sont affichés dans le module de version, sur la page de version du projet du portail de créateur, et indiquent les performances en termes de vues, de clics et de TDC de chaque variante. Il sera également spécifié si le test a obtenu des résultats suffisants, c'est-à-dire s'ils sont statistiquement fiables.
Les joueurs remarqueront-ils que les vignettes changent ?
Non, une variante sera assignée aux joueurs la première fois qu'ils verront la vignette de l'île dans Fortnite. Cette assignation intervient au niveau de leur compte joueur. Pour éviter toute confusion, une seule vignette s'affichera pour les joueurs.