퍼블리싱 및 개발 과정에서 개발자는 섬 섬네일에 A/B 테스트를 실시하여, 어떤 이미지가 더 많은 클릭과 높은 클릭률을 유도하는지 확인 가능합니다. 테스트는 실제 플레이어 데이터를 기반으로 하므로, 참여도를 최적화하고, 불확실성을 줄이고, 더욱 빨리 반복 작업할 수 있습니다.
퍼블리싱 권한이 있는 팀원만이 A/B 테스트를 생성하고, 테스트가 완료되면 사용할 섬네일을 선택할 수 있습니다.
A/B 테스트 시작
A/B 테스트는 퍼블리싱 과정의 일부지만 필수는 아닙니다. 단일 섬네일 제출에 대해 자세히 알아보려면 아래에서 테스트 취소 섹션을 참고하세요.
홍보 자료 탭에서 섬네일 2개를 제출합니다. A/B 테스트 시작 방법:
두 섬네일이 다른지 확인합니다.
다른 미디어 에셋을 추가합니다.
다음을 클릭해 계속합니다.
홍보 미디어 - A/B 섬네일 테스트.
추가 섬네일은 중복으로 표시되지 않습니다.
섬네일 검토
하나의 섬네일 이미지가 검토에 실패할 경우, 섬 전체도 검토에 실패하며, 검토에 실패한 이미지 수정 후 퍼블리싱 및 검토 절차를 다시 거쳐야 합니다.
신규 출시 버전
섬 A/B 테스트가 진행 중인 동안에는 신규 출시 버전을 만들 수 없으며, A/B 테스트가 완료되고 이미지를 선택할 때까지 기다려야 합니다. 이 과정을 마치면 신규 출시 버전 생성 버튼을 이용할 수 있게 됩니다.
테스트 취소
테스트 중인 이미지 중 하나를 선택하여 언제든 테스트를 취소할 수 있습니다.
신규 출시 버전 생성 도중이며 A/B 테스트를 실시하고 싶지 않은 경우, 단일 섬네일을 선택해 계속 진행할 수 있습니다.
A/B 테스트 취소를 선택합니다.
다음을 클릭합니다. 메시지가 표시됩니다.
A/B 테스트 취소 단일 섬네일 사용을 선택합니다.
단일 섬네일로 계속하려는 것이 맞는지 확인합니다.
단일 섬네일로 퍼블리싱 과정을 계속 진행합니다.
섬네일 테스트 지표
각 섬네일은 섬 퍼블리싱 이후 데이터를 수집합니다. 각 섬네일은 잠재 플레이어에게 동일한 비율로 표시됩니다. A/B 테스트되는 섬네일은 게임 내 디스커버 페이지, 살펴보기 및 검색에 적용됩니다. 플레이어가 섬에서 특정 섬네일을 보게 된 경우, 이후 해당 섬네일만을 보게 됩니다.
테스트는 최대 90일 동안 실시됩니다. 결과는 출시 모듈 아래 섬의 퍼블리싱 페이지에서 볼 수 있습니다. 다음과 같은 A/B 테스트 데이터를 확인 가능합니다.
노출 수
클릭 수
클릭률
테스트 결과
테스트 시작 후 언제든 섬네일을 선택해 테스트를 종료할 수 있습니다. 90일이 지나고 테스트를 직접 종료하지 않으면 시스템에서 최선의 결과에 따라 대신 기본 섬네일을 선택합니다.
섬네일 선택 방법:
섬네일 열에서 이미지 선택 메시지를 클릭합니다. 팝업 창이 열립니다.
이미지를 선택합니다. 선택을 클릭합니다.
선택을 클릭합니다.
선택한 섬네일은 '선택됨'으로 표시되며, 출시 탭에서 강조 표시된 채로 유지되고, 선택하지 않은 섬네일은 선택할 수 없게 됩니다. A/B 테스트 보기를 축소해 출시 버전 아래에서 날짜가 기록된 완료 테스트 상태를 확인하세요. 선택한 섬네일이 모든 플레이어를 대상으로 하는 섬 이미지로 나타날 날짜가 표시됩니다.
90일의 테스트 기간이 지난 후에도 섬네일을 선택하지 않으면 시스템에서 자동으로 섬네일을 선택합니다. 충분한 결과에 도달했을 경우, 시스템에서는 클릭률이 높은 이미지를 선택된 섬네일로 지정합니다. 충분한 결과에 도달하지 못한 경우, 먼저 업로드된 섬네일인 섬네일 A를 지정합니다.
결과 부족
테스트 기간이 종료된 후에도 명백한 우세 항목이 없을 수도 있습니다. 이 경우, A/B 테스트 결과는 결과 부족으로 표시됩니다.
이 경우에도 섬네일은 선택할 수 있습니다. 선택 시 팝업 메시지가 열려 명백한 우세 항목이 없었음을 알립니다.
A/B 테스트 완료 방법:
이미지 선택을 클릭하여 선택한 섬네일을 사용해 계속합니다. 팝업이 열립니다.
선택을 클릭해 테스트 단계를 완료합니다.
새로운 A/B 테스트를 생성하려는 경우, 다시 퍼블리싱 및 검토 절차를 거쳐야 합니다.
A/B 테스트 FAQ
다음은 A/B 테스트 과정에 관한 전반적인 질문 개요입니다.
A/B 섬네일 테스트가 무엇인가요?
A/B 섬네일 테스트를 실시하면 서로 다른 섬네일을 비교해 클릭률이 가장 높은 섬네일을 결정할 수 있습니다. 이 기능은 데이터 기반 인사이트를 제공하므로, 가장 효율적인 섬네일을 사용해 섬의 참여도를 최적화할 수 있습니다.
누구를 위한 기능인가요?
이 기능은 섬네일을 개선하여 클릭률을 향상하려는 분들을 위해 마련되었습니다.
A/B 테스트의 원리는 무엇인가요?
두 개의 섬네일 버전을 업로드하면 시스템에서 각 버전을 50/50으로 균등하게 나눠 표시합니다. 가장 성과가 우수한 섬네일이 클릭률 지표에 따라 추천됩니다.
퍼블리싱 중 A/B 섬네일 테스트는 어떻게 구성하나요?
퍼블리싱 흐름의 홍보 미디어 업로드 단계에서 테스트를 위해 추가 섬네일 하나를 업로드할 수 있습니다.
중요:
A/B 테스트는 섬이 검토를 통과한 이후에만 생성할 수 있습니다.
섬네일 버전 중 하나라도 검토에 실패할 경우, 섬을 포함한 전체 제출 건이 거절됩니다.
거절 이메일에는 어떤 섬네일 버전이 거절되었는지, 두 버전 모두 거절되었는지에 관한 상세한 설명이 있습니다.
한 이미지 버전이 신고되면 두 이미지 모두 제거됩니다.
한 번에 몇 개의 섬네일을 테스트할 수 있나요?
테스트당 2개의 섬네일 버전을 업로드할 수 있습니다. 출시 버전당 하나의 테스트만 허용됩니다.
동시에 여러 A/B 테스트를 실시할 수 있나요?
출시 시점에는 출시 버전 하나당 한 번에 하나의 활성 테스트만 실시할 수 있습니다. 신규 출시 버전을 만들고 싶다면 테스트를 종료해야 합니다.
A/B 테스트는 얼마나 오래 실시되나요?
테스트 진행 기간은 데이터 수집 속도에 달려 있으며, 이용자 규모와 참여 수준에 따라 일반적으로 며칠에서 몇 주 정도 소요됩니다. A/B 테스트 최대 진행 기간은 90일입니다. 섬네일을 의도적으로 선택하지 않을 경우, 90일이 지나면 기본 섬네일이 자동 선택됩니다. 그 전에 테스트를 직접 종료해야 합니다.
어떤 지표로 우세 섬네일이 결정되나요?
시스템에서는 클릭률을 고려해 성과가 가장 높은 섬네일을 결정합니다.
시스템은 어떤 원리에 따라 우세 섬네일을 추천하나요?
시스템은 클릭률과 노출 수 지표를 분석하여 가장 성과가 높은 버전을 결정합니다. 우세 항목을 시각적으로 선언하지는 않지만, 유의 신뢰도에 도달했음은 시각적으로 표시해 드립니다. 이후 판단에 따라 섬네일을 선택할 수 있습니다.
우세 섬네일을 직접 선택할 수도 있나요?
네, 시스템의 추천을 무시하고 직접 섬네일을 선택할 수 있습니다.
A/B 테스트에서의 유의 신뢰도는 무엇인가요?
A/B 테스트에서 유의 신뢰도란 두 섬네일의 성과(클릭률)가 무작위 확률로 결정되지 않는 통계적 확실성(90% 신뢰도로 설정)을 의미합니다.
'P값'(예: 90% 신뢰도에서 p<0.1)으로 측정합니다.
요행을 배제하기 위해 충분한 데이터(노출 수/클릭 수)가 필요합니다.
신뢰도 도달 시 우세 섬네일을 신뢰도 있게 선언할 수 있습니다.
신뢰도에 도달하지 못하면 테스트는 완료되지 않습니다(명백한 우세 항목 없음).
예:
섬네일 B의 클릭률이 섬네일 A보다 5% 높을 경우(신뢰도는 90%), B의 성과가 높음을 확실히 알 수 있습니다. 이를 통해 오해의 소지가 있거나 노이즈가 있는 데이터에 기반한 결정을 내리지 않을 수 있습니다.
90일이 지나면 기본 섬네일은 어떻게 선택되나요?
90일이 지난 후 섬네일을 직접 선택하지 않으면 시스템에서 아래 규칙에 따라 기본 섬네일을 결정합니다.
충분한 결과를 확보한 경우 성과가 높은 이미지가 섬 섬네일로 지정됩니다.
충분한 결과에 도달하지 못한 경우, 먼저 업로드된 섬네일인 섬네일 A가 섬 섬네일로 지정됩니다.
테스트 결과는 어디에서 볼 수 있나요?
결과는 크리에이터 포털 프로젝트 출시 페이지의 출시 모듈에 표시되며, 각 버전의 노출 수, 클릭 수, 클릭률과 같은 성과를 볼 수 있습니다. 테스트가 충분한 결과에 도달했는지(즉, 표시된 결과가 통계적으로 믿을 만한지) 또한 볼 수 있습니다.
플레이어가 섬네일이 변경되는 것을 알 수 있나요?
아니요, 플레이어에게는 포트나이트에서 처음 본 섬의 섬네일 버전이 지정됩니다. 섬네일은 플레이어 계정 레벨에서 지정됩니다. 혼동을 방지하고자 플레이어에게는 하나의 섬네일 버전만이 표시됩니다.