В процессе публикации и разработки разработчики могут выполнить A/B тест миниатюр островов, чтобы сравнить два разных изображения и определить, какое из них поможет добиться более высоких показателей переходов и конверсии переходов (CTR): для этого будут использоваться реальные данные игроков, что поможет вам оптимизировать вовлечение, принимать решения на основе чётких данных и в целом ускорить процесс.
Только участник команды с правами на публикацию может создавать A/B тесты и выбирать, какие миниатюры будут использоваться по его результатам.
Начать A/B тестирование
A/B тестирование является частью процесса публикации, при этом не является обязательным. Подробнее о том, как отправить одну миниатюру, см. в разделе Отмена тестирования ниже.
На вкладке Рекламные материалы загрузите две миниатюры. Чтобы начать A/B тестирование:
Убедитесь, что вы загрузили разные миниатюры.
Добавьте любые другие медиаресурсы.
Для продолжения нажмите Далее.
Рекламные материалы: A/B тестирование миниатюр.
Дополнительная миниатюра не будет помечена как дубликат.
Модерация миниатюр
Если одна из миниатюр не пройдёт модерацию, то и сам остров не будет одобрен: после того, как изображение будет исправлено, нужно будет пройти процесс публикации и проверки повторно.
Новая версия
Пока остров находится в процессе A/B тестирования, новую версию создать будет нельзя и нужно будет дождаться его завершения, после чего выбрать изображение. После этого станет доступна кнопка Создать новую версию.
Отмена тестирования
Тестирование можно отменить в любой момент, выбрав любое тестируемое изображение.
Если вы находитесь в процессе создания новой версии и не планируете проводить A/B тест, можете выбрать одну миниатюру и перейти к следующему шагу.
Выберите Отменить A/B тест.
Нажмите Далее. Вы получите подсказку.
Отменить A/B тест Выберите Использовать одну миниатюру.
Подтвердите, что хотите продолжить с одной миниатюрой.
Продолжите процесс публикации с одной миниатюрой.
Показатели тестирования миниатюр
После публикации острова по каждой миниатюре собираются данные. Миниатюры распределяются поровну между потенциальным игроками. Миниатюры, для которых проводится A/B тест, добавляются к острову в разделе Поиск, а также при просмотре категорий и поиске острова. После того, как игроку единожды будет показана определённая миниатюра острова, в будущем ему также будет показываться именно она.
Тестирование длится максимум 90 дней. Результаты будут показаны на странице публикации острова в модуле Версия. Вам будут доступны следующие данные A/B тестирования:
Показы
Переходы
Кликабельность (CTR)
Результаты тестирования
Вы можете завершить тест в любой момент после его начала: для этого достаточно выбрать миниатюру. Если через 90 дней вы не завершите тест самостоятельно, система от вашего имени выберет миниатюру по умолчанию на основе полученных результатов.
Чтобы выбрать миниатюру:
В подсказке выбора изображения в строке миниатюр выберите изображения. Откроется всплывающее окно.
Выберите изображение. Нажмите Выбрать.
Нажмите «Выбрать».
Эта миниатюра будет помечена как выбранная и останется выделенной на вкладке «Версия», при этом миниатюру, которую вы не выбирали, выбрать уже будет нельзя. Сверните окно A/B тестирования, чтобы отобразить статус «Завершено» для теста с датой (располагается под данными версии). Это будет датой, когда выбранная миниатюра появится в качестве изображения острова для всех игроков.
Если не выбрать миниатюру по истечении 90 дней тестирования, система выберет её автоматически. Если у одного из изображений показатели будут значительно выше, система назначит в качестве миниатюры изображение с более высоким показателем конверсии переходов (CTR). Если результаты будут различаться несущественно, будет выбрана миниатюра A, т. е. та, которая была загружена первой.
Недостаточно результатов
Возможна такая ситуация, что по результатам тестирования явного победителя выявить не удастся. В этом случае результаты A/B теста будут помечены как Недостаточно результатов.
На данном этапе всё равно можно будет выбрать желаемую миниатюру. При этом откроется всплывающее сообщение о том, что победителя выявить не удалось.
Для завершения A/B теста:
Нажмите Выбрать изображение, чтобы продолжить использовать выбранную миниатюру. Появится всплывающее окно.
Нажмите Выбрать , чтобы завершить этап тестирования.
Если решите создать новый A/B тест, потребуется повторно пройти процесс публикации и модерации.
A/B тест: часто задаваемые вопросы
Ниже приведены наиболее частые вопросы о процессе A/B тестирования.
Что представляет собой A/B тестирование миниатюр?
A/B тест миниатюр позволяет сравнить разные миниатюры и определить, какая из них покажет лучшие результаты с точки зрения показателей кликабельности (CTR). Таким образом вы сможете собрать данные, которые помогут вам оптимизировать взаимодействие с островом за счёт использования наиболее привлекательных миниатюр.
Для кого эта функция?
Эта функция поможет вам выбрать наиболее привлекательную миниатюру, чтобы повысить показатель кликабельности.
Как работает A/B-тест?
Вы загружаете два варианта миниатюр, после чего при показе их игрокам система распределяет их поровну (50/50). Как только тест будет завершён, система предложит вам наиболее привлекательную миниатюру с учётом показателя кликабельности (CTR).
Как выполнить A/B тест миниатюр в процессе публикации?
На этапе выгрузки рекламных материалов при публикации вы можете добавить дополнительную миниатюру для теста.
Важное примечание:
A/B тест можно запустить только после того, как остров пройдёт модерацию.
Если одна из миниатюр не пройдёт модерацию, заявка будет полностью отклонена (включая сам остров).
В электронном письме с уведомлением об отклонении будет приведено чёткое разъяснение того, какой вариант миниатюр был отклонён (или что были отклонены оба варианта).
Если поступит жалоба на один вариант изображения, то будут удалены оба из них.
Сколько миниатюр можно тестировать одновременно?
За один тест можно выгрузить два варианта миниатюр. На одну версию можно выполнить только один тест.
Можно ли запустить несколько A/B тестов одновременно?
При запуске можно запустить только один активный тест на версию. Если вы заходите создать новую версию, вам будет предложено завершить тест.
Сколько времени выполняется A/B тест?
Продолжительность теста зависит от скорости сбора данных и обычно составляет от нескольких дней до нескольких недель в зависимости от размера аудитории и уровня вовлечённости. Максимальная длительность теста составляет 90 дней. По истечении 90 дней, если не выбрать миниатюру вручную, будет автоматически выбрана миниатюра по умолчанию. Перед этим вам будет необходимо завершить тест вручную.
По каким показателям определяется победившая миниатюра?
Наиболее привлекательную миниатюру система определяет по показателю кликабельности (CTR).
Как система рекомендует наиболее привлекательную миниатюру?
Система анализирует кликабельность (CTR) и число показов, после чего и определяет наиболее привлекательный вариант. Несмотря на то, что мы, как правило, не объявляем безоговорочного победителя, вам будет визуально представлено, что достигнута высокая степень определённости. После этого вы уже самостоятельно сможете выбрать миниатюру по своему усмотрению.
Можно ли выбрать лучшую миниатюру вручную?
Да, вместо рекомендации системы вы можете выбрать миниатюру самостоятельно.
Что в A/B тестировании подразумевается под «высокой степенью определённости»?
В A/B тестировании высокая степень определённости означает, что была определена высокая статистическая достоверность (на уровне 90%), разница в показателе конверсии переходов (CTR) между двумя миниатюрами не была случайной.
Определяется с помощью «p-значения» (к примеру, p < 0,1 для 90% вероятности).
Требуется достаточное количество данных (количество показов/переходов), чтобы исключить случайности.
При достижении этих значений, миниатюра, показавшая более высокие результаты, объявляется более привлекательной.
Если значимой разницы выявить не удастся, победитель не будет определён.
Пример:
Если показатель конверсии переходов миниатюры B будет на 5% выше, чем у миниатюры А, то с вероятностью 90% можно будет сказать, что миниатюра B действительно лучше. Таким образом вы сможете принять взвешенное решение на основе чётких данных тестирования.
Каким образом спустя 90 дней будет выбрана миниатюра по умолчанию?
Если по истечении 90 дней вы не выберете миниатюру самостоятельно, она будет выбрана системой с учётом следующих правил:
При достижении значимых результатов в качестве миниатюры острова будет выбрано изображение с наилучшими показателями.
Если значимой разницы выявить не удастся, в качестве миниатюры острова будет назначена миниатюра A (первая загруженная миниатюра).
Где можно просмотреть результаты теста?
Результаты отображаются в разделе версии на странице версии проекта в Творческом портале: там вы найдёте значения показов, переходов, а также показатель конверсии переходов (CTR) для каждого из вариантов. Там же вы найдёте информацию о том, набрал ли тест достаточно результатов: иными словами, стоит ли опираться на полученные данные.
Заметят ли игроки, что миниатюры меняются?
Нет, каждый из игроков будет видеть только тот вариант, который был показан им при первом просмотре миниатюры острова в Fortnite. Это фиксируется на уровне учётной записи игрока. Иными словами, каждый из игроков гарантированно будет видеть только одну версию миниатюры.