Visual Studio ALM의 Analysis Services 데이터베이스에서 테스트 큐브 뷰를 사용하여 테스트 결과 분석 및 보고

  • 아티클

SQL Server용 Visual Studio Team Foundation Server Analysis Services 큐브의 테스트 큐브 뷰를 사용하여 테스트 결과 및 테스트 실행 보고와 관련된 측정값, 차원 및 특성만 볼 수 있습니다. 예를 들어 이러한 측정값을 사용하여 각 빌드의 전체 품질, 특정 빌드가 영향을 준 테스트 및 실행된 테스트 사례 수를 확인할 수 있습니다. 또한 결과 변경 내용에 대한 질문에 대답할 수 있습니다.

테스트 측정값 그룹은 테스트 결과 관계형 테이블을 기반으로 하며, 테스트의 속성 또는 독립된 결과로 테스트 결과를 보고할 수 있게 합니다. 자세한 내용은 테스트 결과 테이블을 참조하십시오.

테스트 측정 그룹

테스트 큐브 뷰를 사용하면 다음 질문에 대답하는 보고서를 만들 수 있습니다.

상태 보고서:

  • 특정 사용자 스토리 또는 제품 영역의 테스트 상태란 무엇입니까?

  • 실패 및 통과한 테스트 수 기반의 빌드 품질이란 무엇입니까?

  • 실행되지 않는 테스트 사례는 몇 개입니까?

  • 실행되지 않는 테스트 사례는 무엇입니까?

추세 보고서:

  • 일정 기간 동안 차단, 통과 또는 실패한 테스트는 몇 개입니까?

  • 재발하는 테스트는 몇 개입니까?

  • 시간에 따라 수동 테스트 작업에 어느 정도의 일관성이 있습니까?

참고

Visual Studio ALM(Application Lifecycle Management)용 데이터 웨어하우스에서 SQL Server Enterprise Edition을 사용하는 경우 큐브 목록에는 Team System과 큐브 뷰 집합이 포함됩니다.큐브 뷰는 전체 Team System 큐브에서 모든 차원과 측정값 그룹을 스크롤할 필요가 없도록 포커스가 지정된 데이터 뷰를 제공합니다.

여러 테스트 측정값 및 차원 특성을 사용하려면 테스트 팀에서 Team Foundation Server의 데이터 저장소에 테스트 결과를 게시해야 합니다. 자세한 내용은 이 항목의 뒷부분에 있는 테스트 및 빌드 관리에 필요한 작업을 참조하십시오.

항목 내용

  • 예제: 사용자 스토리 테스트의 진행률 보고서

  • 테스트 측정값

  • 테스트 큐브 뷰에서 필터링 및 분류를 지원하는 차원 및 특성

    • 빌드, 빌드 버전 및 빌드 플랫폼 차원

    • 테스트 사례, 테스트 구성, 테스트 계획 및 테스트 도구 모음 차원

    • 테스트 결과 차원

    • 테스트 실행 차원

    • 작업 항목 및 연결된 작업 항목 차원

  • 필요한 작업

예제: 사용자 스토리 테스트의 진행률 보고서

Excel에서 PivotTable 및 PivotChart 보고서를 사용하여 다음 그림의 보고서와 같이 사용자 스토리의 테스트 진행률이 표시되는 상태 보고서를 만들 수 있습니다.

사용자 스토리 테스트 상태 Excel 보고서

MSF(Microsoft Solutions Framework) Agile 및 CMMI용 프로세스 템플릿에는 각각 Excel의 사용자 스토리 테스트 상태 Excel 보고서(Agile) 및 요구 사항 테스트 상태 Excel 보고서(CMMI)가 포함되어 있습니다.

피벗 필드 지정 및 필터링

사용자 스토리 테스트 진행률에 대한 피벗 필드

다음 단계를 수행하여 사용자 스토리 테스트의 진행률 보고서를 만들 수 있습니다.

  1. Excel에서 Team Foundation Server에 대한 Analysis Services 큐브에 연결한 다음 PivotChart 보고서를 삽입합니다.

    자세한 내용은 작업 항목 쿼리에서 Excel 보고서 만들기을 참조하십시오.

  2. 차트를 마우스 오른쪽 단추로 클릭하고 차트 종류 변경, 영역, 누적 가로 막대형을 차례로 선택합니다.

  3. 각 보고서 필터에 대해 다음 필드를 각각 마우스 오른쪽 단추로 클릭하고 원하는 계층 구조 또는 요소를 지정한 다음 필드를 보고서 필터 영역으로 끌어옵니다.

    • 팀 프로젝트 차원의 팀 프로젝트 계층 구조

    • 팀 프로젝트 차원의 영역 경로

    • 테스트 사례 차원의 반복 경로

    • 연결된 작업 항목 차원의 작업 항목 형식

      형식을 사용자 스토리, 요구 사항 또는 보고하려는 테스트 사례가 연결되어 있는 다른 작업 항목 형식으로 지정합니다.

  4. 테스트 측정값 그룹의 점 개수 추세 필드를 값 영역으로 끌어옵니다.

  5. 테스트 결과 차원의 결과 필드를 열 레이블 영역으로 끌어옵니다.

테스트 측정값

다음 표에서는 테스트 측정값 그룹에 포함된 측정값에 대해 설명합니다. 테스트 결과 집계 및 특정 빌드의 결과로 또는 테스트 결과의 변경된 결과로 테스트 결과를 분석할 수 있습니다.

측정값

설명

빌드 결과 개수 추세

특정 빌드에서 각 결과의 최신 버전 개수입니다.

이 측정값을 사용하는 보고서의 예제는 빌드 품질 Excel 보고서를 참조하십시오.

점 개수 추세

특정 빌드에서 각 테스트 결과의 최신 버전 개수입니다. 빌드에 대해 테스트가 여러 번 실행된 경우 점 개수 추세는 빌드를 사용하는 해당 테스트의 최신 결과를 계산합니다. 빌드에 포함되지 않은 테스트 사례는 "실행 안 함"으로 계산됩니다.

이 측정값을 사용하여 현재 빌드에서 실패한 테스트 및 테스트 수를 확인합니다.

결과 개수

각 테스트 결과의 최신 버전 개수입니다. 전체 테스트 볼륨을 확인하려는 경우 이 측정값을 사용합니다.

이 측정값을 사용하는 보고서의 예제는 빌드 품질 지표 보고서를 참조하십시오.

결과 전환 횟수

특정 빌드에서 결과가 변경된 모든 결과 개수입니다. 특정 빌드에 의해 영향을 받는 테스트를 확인하려는 경우 이 측정값을 사용합니다.

테스트 사례 개수

테스트 사례 수입니다. 특정 테스트 실행 또는 빌드에 대해 실행된 테스트 사례 수를 확인하려는 경우 이 측정값을 사용합니다.

테스트 큐브 뷰에서 필터링 및 분류를 지원하는 차원 및 특성

이 단원에서 설명하는 특성을 사용하여 측정값을 집계하거나 보고서를 필터링하거나 보고서 축을 지정할 수 있습니다. 이러한 특성은 공유 차원 작업에서 설명하는 팀 프로젝트 및 날짜 공유 차원에 추가로 제공됩니다.

빌드, 빌드 버전 및 빌드 플랫폼 차원

다음 표에 설명된 특성을 사용하여 빌드 정의, 빌드 버전 또는 빌드 플랫폼에 따라 테스트 보고서를 필터링할 수 있습니다.

크기

특성

설명

빌드

빌드 정의 이름

빌드가 실행된 빌드 정의에 할당된 이름입니다.

이 특성을 사용하는 보고서의 예는 빌드 품질 Excel 보고서를 참조하십시오.

빌드 ID

빌드에 할당된 번호입니다. 특정 빌드 정의를 실행할 때마다 빌드 ID가 1씩 증가합니다.

빌드 이름

빌드를 고유하게 식별하는 이름 또는 식입니다. 자세한 내용은 빌드 번호를 사용하여 완료된 빌드에 의미 있는 이름 지정을 참조하십시오.

빌드 시작 시간

빌드가 시작된 날짜 및 시간입니다.

빌드 형식

빌드가 실행된 이유입니다. 빌드 형식은 빌드에 대해 정의된 트리거와 연결됩니다. Team Foundation Server에서 지원되는 빌드 형식은 수동, 연속(체크 인이 수행될 때마다 트리거됨), 롤링(이전 빌드가 완료될 때까지 체크 인 누적), 제어된 체크 인 및 일정이 있습니다. 자세한 내용은 빌드 트리거 및 이유 지정을 참조하십시오.

저장 위치

빌드에 대해 정의하고 URL(Uniform Resource Locator)로 지정된 저장 폴더입니다. URL은 웹 브라우저가 인터넷 리소스를 찾는 데 사용할 프로토콜을 지정합니다. URL에는 리소스가 있는 서버의 이름이 포함됩니다. 리소스의 경로를 포함할 수도 있습니다.

자세한 내용은 저장 폴더 설정을 참조하십시오.

빌드 버전

빌드 버전

(게시된 테스트 결과만) 테스트 실행의 일부로 게시된 완료된 빌드 집합에 할당되는 빌드 범주를 지정하는 이름입니다. 예를 들어 빌드 버전을 사용하여 베타 릴리스 또는 최종 릴리스를 지정할 수 있습니다.

빌드 플랫폼

빌드 플랫폼

종단 간(데스크톱 아님) 빌드가 수행된 컴퓨터 플랫폼의 이름(예: x86 또는 Any CPU)입니다. 자세한 내용은 빌드 프로세스에 기본 템플릿 사용을 참조하십시오.

테스트 사례, 테스트 구성, 테스트 계획 및 테스트 도구 모음 차원

테스트 사례, 테스트 구성, 테스트 계획 및 테스트 도구 모음 차원은 Visual Studio 2010 Ultimate 또는 Visual Studio Test Professional의 Microsoft Test Manager를 사용하여 테스트를 조정, 구성, 자동화 및 실행하는 방법에 해당합니다.

테스트 사례는 팀에서 Microsoft Test Manager를 사용하여 실행 및 관리할 수 있는 수동 및 자동화된 테스트를 모두 정의하기 위해 테스트 팀에서 사용하는 작업 항목 형식에 해당합니다. 테스트 계획은 테스트 구성 및 테스트 도구 모음으로 구성됩니다. 테스트 구성은 테스트를 실행하려는 소프트웨어 또는 하드웨어를 정의합니다. 테스트 도구 모음은 테스트 사례를 함께 그룹화할 수 있도록 계획 내에 계층 구조를 정의합니다.

자세한 내용은 응용 프로그램 테스트을 참조하십시오.

크기

특성

설명

테스트 사례

영역 계층 구조 등

작업 항목 및 테스트 사례 차원에는 상태, 작업 항목 형식 및 작업 항목 ID와 같이 작업 항목과 관련된 모든 특성이 포함됩니다. 테스트 사례 차원의 구조에 대한 자세한 내용은 작업 항목 큐브 뷰를 사용하여 작업 항목 및 테스트 사례 데이터 분석 및 보고을 참조하십시오.

각 특성에 대한 설명은 Visual Studio ALM의 작업 항목 필드 참조을 참조하십시오.

날짜, 영역 및 반복 계층 구조를 사용하는 방법에 대한 자세한 내용은 Analysis Services 큐브의 공유 차원을 참조하십시오.

이 측정값 그룹에는 작업 항목 형식 정의의 사용자 지정 필드가 Dimension을 보고 가능 특성으로 지정할 때 추가 특성이 포함됩니다. 선택적 reportable 특성 및 특성 값을 사용하는 방법에 대한 자세한 내용은 보고를 지원하도록 작업 항목 필드 추가 또는 수정을 참조하십시오.

테스트 구성

구성 ID 및 구성 이름

시스템이 할당하는 번호 및 테스트 구성의 이름입니다.

테스트 계획

영역 계층 구조, 영역 경로, 반복 계층 구조 및 반복 경로

테스트 계획에 할당된 제품 영역 및 중요 시점입니다.

자세한 내용은 작업 항목 큐브 뷰를 사용하여 작업 항목 및 테스트 사례 데이터 분석 및 보고을 참조하십시오.

월별 또는 주별 종료 날짜 계층 구조

월별 또는 주별 시작 날짜 계층 구조

테스트 계획 소유자가 테스트 계획에 할당할 수 있는 선택적 값입니다. 테스트 계획을 시작할 날짜 및 테스트 계획을 마칠 날짜를 나타냅니다.

날짜 계층 구조를 사용하는 방법에 대한 자세한 내용은 Analysis Services 큐브의 공유 차원을 참조하십시오.

테스트 계획 ID 및 테스트 계획 이름

시스템이 할당하는 번호 및 테스트 계획 소유자가 할당하는 이름입니다.

테스트 계획 소유자

테스트 계획을 만들었거나 테스트 계획의 소유자로 현재 할당된 테스트 팀 멤버의 사용자 이름입니다.

테스트 계획 ID 및 상태

시스템이 할당하는 번호 및 테스트 계획의 상태 이름입니다. 예를 들어 비활성은 테스트 계획이 정의되고 있음을 나타내고 활성은 테스트 계획이 검토 및 실행될 준비가 되었음을 나타냅니다.

테스트 도구 모음

테스트 도구 모음 계층 구조

프로젝트 컬렉션, 팀 프로젝트 및 테스트 도구 모음을 기준으로 여러 필터를 지정하는 메커니즘을 제공합니다.

도구 모음 경로

모든 팀 프로젝트 컬렉션의 모든 팀 프로젝트에 대해 구성된 테스트 도구 모음의 계층 구조에 해당합니다.

테스트 결과 차원

다음 표에서는 큐브의 테스트 측정값과 관련된 모든 차원 및 특성을 보여 줍니다. 오류 유형 또는 해결에 대해 보고하려면 먼저 테스트 팀이 테스트 작업의 일부로 이 정보를 입력해야 합니다.

특성

설명

오류 유형 및 오류 유형 ID

테스트 실패 이유(없음, 알려진 문제, 새 문제 또는 재발) 중 하나에 해당합니다.

Microsoft Test Manager는 각 원인에 번호나 ID를 자동으로 할당합니다. 테스트 팀은 실패한 각 테스트에 오류 유형을 할당할 수 있지만, 반드시 할당해야 하는 것은 아닙니다.

참고

오류 유형 집합에 추가하거나 변경할 수는 없습니다.

오류 유형을 기준으로 테스트 결과를 보여 주는 추세 보고서의 예는 오류 분석 Excel 보고서를 참조하십시오.

결과 및 결과 ID

테스트 결과입니다(예: 성공, 실패, 또는 결과 불충분).

테스트 계획 및 테스트 구성의 결과를 보여 주는 추세 보고서의 예는 테스트 계획 진행률 보고서를 참조하십시오.

준비 상태 및 준비 상태 ID

테스트 실행에서 특정 테스트의 상태입니다. 유효한 값은 완료됨, InProgress, 없음, NotReady 및 준비됨입니다.

해결 상태

(옵션) 테스터가 실패한 테스트의 원인을 식별한 해결의 이름입니다. 기본적으로 모든 MSF 프로세스 템플릿은 확인 필요, 테스트 문제, 제품 문제 및 구성 문제의 해결 상태를 갖습니다. 테스트 팀은 실패한 각 테스트에 해결 상태를 할당할 수 있지만, 반드시 할당해야 하는 것은 아닙니다.

참고

tcm 명령줄 도구를 사용하여 이러한 상태를 변경하거나 상태를 추가할 수 있습니다.테스트 환경 사용자 지정 및 관리[tcm 및 Microsoft Test Manager]을 참조하세요.

테스트 결과 실행 주체

테스트가 실행된 사용자 또는 다른 계정의 이름입니다.

이 특성을 사용하는 보고서의 예는 테스트 팀 생산성 Excel 보고서를 참조하십시오.

테스트 결과 소유자

테스트 결과의 소유자로 할당된 사용자 또는 다른 계정의 이름입니다. 할당은 tcm /resultowner 스위치를 사용하여 설정된 값에 해당합니다.

테스트 결과 우선 순위

테스트 실행에서 특정 테스트의 우선 순위입니다.

테스트 실행 차원

다음 표에서는 테스트 실행 차원에 대해 정의된 특성을 설명합니다. 이러한 특성은 대부분 테스트 팀이 테스트를 실행할 때 지정하는 매개 변수에 해당합니다.

특성

설명

완료 날짜, 만든 날짜, 월별 또는 주별 시작 날짜 계층 구조

테스트 실행을 만들었거나 완료 또는 시작한 날짜입니다. 이러한 특성을 사용하여 보고서를 필터링하거나 구성할 수 있습니다. 자세한 내용은 Analysis Services 큐브의 공유 차원을 참조하십시오.

자동화

테스트 실행에 자동화된 테스트가 하나 이상 포함되어 있음을 나타내는 플래그입니다.

이 특성을 사용하는 보고서의 예는 빌드 품질 Excel 보고서를 참조하십시오.

빌드 확인 실행

테스트 실행에 빌드의 기본 기능을 검사하는 빌드 확인 테스트가 포함되는지 여부를 나타내는 플래그입니다. 이 플래그는 tcm /buildverification 스위치에 해당합니다.

이 특성을 사용하는 보고서의 예는 빌드 품질 Excel 보고서를 참조하십시오.

테스트 실행 ID

시스템이 테스트 실행에 할당한 번호입니다.

테스트 실행 소유자

테스트 팀이 만들었거나 게시한 테스트 실행에 할당된 소유자에 해당합니다. tcm /owner 스위치에 해당합니다.

테스트 실행 상태 및 ID

테스트 실행 상태에 할당된 이름 또는 번호(예: 중단됨, 완료됨, 진행 중, 시작되지 않음 또는 알 수 없음)입니다.

테스트 실행 제목

테스트 팀이 만들었거나 게시한 테스트 실행에 할당된 제목에 해당합니다. tcm /title 스위치에 해당합니다.

작업 항목 및 연결된 작업 항목 차원

테스트 사례를 사용자 스토리, 요구 사항, 버그 등의 다른 작업 항목에 연결할 수 있습니다. 연결된 작업 항목 차원을 사용하여 연결된 작업 항목과 관련된 테스트 결과를 제공하는 보고서를 만들 수 있습니다. 이 항목의 앞부분에서 설명된 사용자 스토리지 테스트의 진행률 보고서는 연결된 작업 항목의 사용 예를 제공합니다.

각 특성에 대한 설명은 Visual Studio ALM의 작업 항목 필드 참조을 참조하십시오.

필요한 작업

테스트 활동 및 테스트 결과에 대한 유용한 데이터를 포함하는 보고서를 만들려면 팀 멤버가 다음 항목의 정보를 검토해야 합니다.

참고 항목

개념

테스트 계획 진행률 보고서

Visual Studio의 Analysis Services 큐브에 제공된 측정값 그룹 및 큐브 뷰

기타 리소스

테스트 관리 보고서