테스트 결과 리뷰하기

다음 3가지 테스트 리포트 포맷으로 리뷰할 수 있습니다.

• 로그 파일
• JSON
• HTML

로그 파일

기본적으로 자동화 테스트 프레임워크(Automation Test Framework)는 이벤트 및 테스트 상태를 기록합니다.

그 패턴은 다음과 같습니다.

• Test Started. Name={<short name>} Path={<full name>}
• Test Completed. Result={<status>}. Name={<short name>} Path={<full name>}
• BeginEvents: <test full name> (... events caught during the test) EndEvents: <test full name>
• **** TEST COMPLETE. EXIT CODE: <exit code number> ****

종료 코드 0은 테스트 실패가 없다는 뜻입니다.

JSON

명령줄 실행인자 -ReportExportPath="<output path>" 는 타깃 경로의 .json 파일에 리포트를 저장합니다.

이 파일에는 다음과 같은 테스트 실행 세부 정보가 포함되어 있습니다.

• 발생한 모든 이벤트
• 각 테스트 기간
• 디바이스 세부사항

예시

{
  "devices": [
    {
      "deviceName": "00-00-000-00",
      "instance": "878B6A854613D3B6A69CDEAFBA1C5DBA",
      "platform": "WindowsEditor",
      "oSVersion": "Windows Server 2022 (21H2) [10.0.20348.524] ",
      "model": "Default",
      "gPU": "Microsoft Basic Display Adapter",
      "cPUModel": "Intel(R) Xeon(R) Platinum 8259CL CPU @ 2.50GHz",
      "rAMInGB": 127,
      "renderMode": "D3D11_SM5",
      "rHI": "DirectX 11",
      "appInstanceLog": ""
    }
  ],
  "reportCreatedOn": "2000.01.01-12.00.00",
  "succeeded": 1,
  "succeededWithWarnings": 0,
  "failed": 0,
  "notRun": 0,
  "inProcess": 0,
  "totalDuration": 0.3,
  "comparisonExported": false,
  "comparisonExportDirectory": "",
  "tests": [
    {
      "testDisplayName": "Test1",
      "fullTestPath": "Project.Functional Tests.SomeGroup.Test1",
      "state": "Skipped",
      "deviceInstance": [
        "878B6A854613D3B6A69CDEAFBA1C5DBA"
      ],
      "duration": 0,
      "dateTime": "2000.01.01-12.00.00",
      "entries": [
        {
          "event": {
            "type": "Info",
            "message": "Skipping test: Tests for review [config]",
            "context": "",
            "artifact": "00000000000000000000000000000000"
          },
          "filename": "",
          "lineNumber": -1,
          "timestamp": "2000.01.01-12.00.00"
        }
      ],
      "warnings": 0,
      "errors": 0,
      "artifacts": []
    },
    {
      "testDisplayName": "Test2",
      "fullTestPath": "Project.Functional Tests.SomeGroup.Test2",
      "state": "Success",
      "deviceInstance": [
        "878B6A854613D3B6A69CDEAFBA1C5DBA"
      ],
      "duration": 0.3,
      "dateTime": "2000.01.01-12.00.00",
      "entries": [],
      "warnings": 0,
      "errors": 0,
      "artifacts": []
    }
  ]
}
Copy full snippet

{ "devices": [ { "deviceName": "00-00-000-00", "instance": "878B6A854613D3B6A69CDEAFBA1C5DBA", "platform": "WindowsEditor", "oSVersion": "Windows Server 2022 (21H2) [10.0.20348.524] ", "model": "Default", "gPU": "Microsoft Basic Display Adapter", "cPUModel": "Intel(R) Xeon(R) Platinum 8259CL CPU @ 2.50GHz", "rAMInGB": 127, "renderMode": "D3D11_SM5", "rHI": "DirectX 11", "appInstanceLog": "" } ], "reportCreatedOn": "2000.01.01-12.00.00", "succeeded": 1, "succeededWithWarnings": 0, "failed": 0, "notRun": 0, "inProcess": 0, "totalDuration": 0.3, "comparisonExported": false, "comparisonExportDirectory": "", "tests": [ { "testDisplayName": "Test1", "fullTestPath": "Project.Functional Tests.SomeGroup.Test1", "state": "Skipped", "deviceInstance": [ "878B6A854613D3B6A69CDEAFBA1C5DBA" ], "duration": 0, "dateTime": "2000.01.01-12.00.00", "entries": [ { "event": { "type": "Info", "message": "Skipping test: Tests for review [config]", "context": "", "artifact": "00000000000000000000000000000000" }, "filename": "", "lineNumber": -1, "timestamp": "2000.01.01-12.00.00" } ], "warnings": 0, "errors": 0, "artifacts": [] }, { "testDisplayName": "Test2", "fullTestPath": "Project.Functional Tests.SomeGroup.Test2", "state": "Success", "deviceInstance": [ "878B6A854613D3B6A69CDEAFBA1C5DBA" ], "duration": 0.3, "dateTime": "2000.01.01-12.00.00", "entries": [], "warnings": 0, "errors": 0, "artifacts": [] } ] }

HTML

HTML 리포트에 대한 자세한 내용은 자동화 테스트 리포트 서버 구성하기를 참조하세요.