Excel-Bericht "Status des Testteams"

  • Artikel

Für Softwaretests zuständige Teams können den Bericht "Status des Testteams" verwenden, um Testaktivitäten zu überwachen und Berichte zum Status des Teams bei der Erstellung und Automatisierung von Tests und Durchführung von Regressionstests zu erstellen. Der Bericht "Status des Testteams" enthält insgesamt sechs Berichte (siehe unten). Diese Berichte basieren auf Daten, die für Testfälle gesammelt wurden, die für das Teamprojekt und die Testergebnisse definiert wurden.

  • Testplanstatus: Mithilfe dieses Berichts kann das Team feststellen, wie viele Tests es bereits durchgeführt hat und ob es wahrscheinlich ist, dass die Testaktivitäten termingerecht abgeschlossen werden.

  • Testfall-Erstellungsstatus: Mithilfe dieses Berichts kann das Team den Status in Bezug auf die Fertigstellung der Testdefinitionen und ihre Ausführbarkeit nachverfolgen.

  • Teststatus nach Suite: Mithilfe dieses Berichts kann das Team feststellen, wie viele Tests es in den einzelnen Testsammlungen abgeschlossen hat.

  • Teststatus nach Bereich: Mithilfe dieses Berichts kann das Team feststellen, wie viele Tests es in den einzelnen Produktbereichen abgeschlossen hat.

  • Fehleranalyse: Mithilfe dieses Berichts kann das Team die festgestellten Regressionen überwachen.

  • Status des Automat.-Entwurfs: Mithilfe dieses Berichts kann das Team die Anzahl von Testfällen nachverfolgen, die noch automatisiert werden müssen.

Dieser Bericht zum Status des Testteams ist erst verfügbar, wenn das Team Testpläne erstellt und mit der Ausführung von Tests mit Microsoft Test-Manager beginnt. Weitere Informationen finden Sie unter Testen der Anwendung.

Hinweis

Der Bericht "Status des Testteams" kann in Team Explorer über den Ordner für die Testteamverwaltung unter dem Ordner Excel-Berichte für das Teamprojekt aufgerufen werden.Sie können auf diesen Ordner nur zugreifen, wenn das Teamprojektportal aktiviert und für die Verwendung von SharePoint-Produkte konfiguriert wurde.Weitere Informationen finden Sie unter Freigeben von Informationen mithilfe des Projektportals.

Erforderliche Berechtigungen

Zum Anzeigen des Berichts müssen Sie einer Gruppe zugewiesen sein oder zu einer Gruppe gehören, der in SharePoint-Produkte die Berechtigung Lesen für das Teamprojekt zugewiesen wurde.

Zum Ändern oder Anpassen des Berichts müssen Sie Mitglied der TfsWarehouseDataReaders-Sicherheitsrolle in SQL Server Analysis Services sein. Sie müssen außerdem einer Gruppe zugewiesen sein oder zu einer Gruppe gehören, der in SharePoint-Produkte die Berechtigung Mitglieder für das Teamprojekt zugewiesen wurde. Weitere Informationen finden Sie unter Gewähren von Zugriff auf die Datenbanken des Data Warehouse für Visual Studio ALM.

Daten in den Berichten

Im Bericht für das Testteamprojekt sind Daten enthalten, die auf PivotTable-Berichten basieren, über die auf im Data Warehouse gespeicherte Daten zugegriffen wird. Die Daten werden aus den Ergebnissen abgeleitet, die die Teammitglieder erzeugen, wenn sie Testfälle definieren und Tests mithilfe von Microsoft Test-Manager ausführen. Weitere Informationen finden Sie unter Ausführen von manuellen Tests mit Team Web Access und Nachverfolgen von Testergebnissen.

Testfall-Erstellungsstatus und Status des Automatisierungsentwurfs

Mit dem Bericht "Testfall-Erstellungsstatus" kann das Team seinen Status beim Definieren und Entwerfen von Testfällen überwachen. Dieser Bericht zeigt in einem Burndowndiagramm, wie viele Testfälle in den letzten sechs Wochen den Zustand "Entwurf" und "Bereit" aufgewiesen haben.

Excel-Bericht "Testfallerstellung"

Mit dem Bericht "Status des Automat.-Entwurfs" kann das Team den Status beim Automatisieren von Testfällen überwachen. Dieser Bericht zeigt in einem Burndowndiagramm, wie viele Testfälle in den letzten sechs Wochen den Zustand "Automatisiert" erreicht haben.

Excel-Bericht für Status des Automatisierungsentwurfs

In der folgenden Tabelle werden die Berichtsfilter und Felder beschrieben, die in den PivotTable-Berichten zum Generieren der Berichte "Testfall-Erstellungsstatus" und "Status des Automat.-Entwurfs" verwendet werden.

Filter

Felder

  • Teamprojekt - Teamprojekthierarchie: Schließt Arbeitsaufgaben ein, die für das ausgewählte Teamprojekt definiert sind.

  • Arbeitsaufgabe - Iterationshierarchie: Schließt Arbeitsaufgaben ein, die den ausgewählten Iterationspfaden zugewiesen sind.

  • Arbeitsaufgabe - Bereichshierarchie: Schließt Arbeitsaufgaben ein, die den ausgewählten Produktbereichen zugewiesen sind.

  • Arbeitsaufgabe - Arbeitsaufgabentyp: Schließt nur die ausgewählten Arbeitsaufgaben ein. Für diese Berichte wird ein Testfall ausgewählt.

  • (Measure) Arbeitsaufgabe - Anzahl der Arbeitsaufgaben: Die Anzahl von Arbeitsaufgaben. Im Bericht wird dieses Feld verwendet, um alle Arbeitsaufgaben in den angegebenen Zuständen zu zählen.

  • Datum - Festlegungen - Letzte 6 Wochen: Die Zeitspanne der in den Bericht einzuschließenden Aktivität.

Spezifisches Feld für den Bericht "Testfall-Erstellungsstatus":

  • Arbeitsaufgabe - Zustand: Der Zustand des Testfalls. Im Bericht wird dieses Feld verwendet, um die Spaltenbezeichnungen zu definieren und die Testfälle zum Einschließen der Zustände Entwurf und Bereit zu filtern.

Spezifisches Feld für den Bericht "Status des Automat.-Entwurfs":

  • Arbeitsaufgabe - Microsoft.VSTS.TCM - Ist automatisiert: Der Automatisierungsstatus eines Testfalls. Im Bericht wird dieses Feld verwendet, um die Spaltenbezeichnungen als Automatisiert und Nicht automatisiert zu definieren.

Testplanstatus

Der Bericht "Testplanstatus" enthält ein gestapeltes Flächendiagramm der Testergebnisse aus allen Testfällen. Im Bericht werden die Testergebnisse in das zuletzt aufgezeichnete Ergebnis gruppiert und die Daten für die letzten vier Wochen gezeichnet. Mögliche Testergebnisse sind Nie ausgeführt, Blockiert, Fehler und Erfolgreich.

Bericht "Testplanstatus"

Anhand dieses Berichts kann das Team den Status in einem Sprint oder in einer Iteration oder im Zeitverlauf bestimmen. Das Team kann anhand der Daten z. B. die folgenden Fragen beantworten:

  • Wie viele Tests hat das Team abgeschlossen?

  • Werden die Tests vom Team wahrscheinlich fristgerecht fertig gestellt?

  • Wie viele Tests müssen noch ausgeführt werden?

  • Wie viele Tests werden bestanden?

  • Wie viele Tests schlagen fehl?

  • Wie viele Tests werden blockiert?

Testergebnisse nach Testsammlung oder Produktbereich

In den Berichten "Teststatus nach Suite" und "Teststatus nach Bereich" wird die Anzahl aller Testergebnisse aufgelistet, die für alle Testfälle gesammelt wurden, die auf aufgezeichneten Ergebnissen basierten. In den Berichten werden die Testergebnisse entweder nach Testsammlung oder Produktbereich gruppiert. Die möglichen Testergebnisse sind Nie ausgeführt, Blockiert, Fehler und Erfolgreich.

Das Team kann diese Berichte verwenden, um Testsammlungen bzw. Produktbereiche zu untersuchen, deren Testergebnisse eine hohe Fehleranzahl oder nie ausgeführte Testfälle aufweisen.

Regressionstests

Mit dem Bericht "Fehleranalyse" kann das Testteam die Anzahl der ermittelten Regressionen überwachen. Regressionen sind Fehler in der getesteten Software, die in früheren Versionen nicht aufgetreten sind. Ein Team, das Regressionstests ausführt, konzentriert sich speziell auf die Suche nach Fehlern, die nur in einer neuen Version der Software aufgetreten sind.

Der Fehleranalysebericht enthält ein gestapeltes Flächendiagramm, in dem die kumulierte Anzahl aller fehlerhaften Testergebnisse angezeigt wird. Im Bericht werden die Ergebnisse für alle Testfälle und Testkonfigurationen nach Fehlertyp gruppiert, und die Ergebnisse für die letzten sechs Wochen werden gezeichnet. Die Fehlertypen sind Regression, Keine, Neues Problem und Bekanntes Problem.

Excel-Bericht "Fehleranalyse"

Das System untersucht jede Testkonfiguration, für die der Testfall ausgeführt wurde, und versucht, das vorherige Ergebnis für die gleiche Konfiguration des Testfalls zu identifizieren. Der Fehlertyp, der der Kombination aus Testfall und Konfiguration zugewiesen wird, wird auf Grundlage der folgenden Kriterien bestimmt:

  • Regression: Wenn das unmittelbar vorhergehende Ergebnis Erfolgreich war.

  • Keine: Wenn das unmittelbar vorhergehende Ergebnis nichtErfolgreich oder Fehler war.

  • Neues Problem: Wenn kein unmittelbar vorhergehendes Ergebnis gefunden wurde.

  • Bekanntes Problem: Wenn das unmittelbar vorhergehende Ergebnis Fehler war.

Mit diesem Bericht kann das Team Antworten auf die folgenden Fragen finden:

  • Bei wie vielen Tests insgesamt wird eine Regression festgestellt?

  • Bleibt die Gesamtanzahl von Regressionen oder Testfehlern innerhalb des erwarteten Bereichs oder der Ziele des Teams?

  • Behandelt das Team Probleme, sobald sie identifiziert werden? Werden die bekannten Probleme rechtzeitig behandelt?

Ein fehlerfreier Bericht "Fehleranalyse" zeigt eine moderate Anzahl von neuen Problemen, bekannten Problemen und Regressionen an. Wenn in mindestens einem dieser Bereiche Spitzen auftreten, möchte das Team das Problem möglicherweise genauer untersuchen. Spitzen weisen möglicherweise auf Probleme mit der Testaktivität oder der Qualität des vom Team eingecheckten Codes hin. Das Team sollte auch den Status der letzten Builds, den Fehlerstatus und Codeänderungen überprüfen, um festzustellen, ob sich die Änderungen der Testaktivität durch die Metrik für diese Faktoren erklären lässt.

Berichtsfilter und -felder

In der folgenden Tabelle werden die Berichtsfilter und Felder beschrieben, die in den PivotTables zum Generieren der Berichte "Testplanstatus", "Teststatus nach Suite", "Teststatus nach Bereich" und "Fehleranalyse" verwendet werden.

Filter

Felder

  • Teamprojekt - Teamprojekthierarchie: Schließt Testergebnisse ein, die für das ausgewählte Teamprojekt gesammelt wurden.

  • Testergebnis - Iterationshierarchie: Schließt Testergebnisse aus Testfällen ein, die den ausgewählten Iterationen zugewiesen sind.

  • Testplan - Testplanname: Schließt Testergebnisse aus Testfällen ein, die zu den ausgewählten Testplänen gehören.

Spezifische Filter für den Bericht "Testplanstatus":

  • Testergebnis - Bereichshierarchie: Schließt Testergebnisse aus Testfällen ein, die den ausgewählten Produktbereichen zugewiesen sind.

  • Testsammlung - Testsammlungshierarchie: Schließt Testergebnisse aus Testfällen ein, die zu den ausgewählten Testsammlungen gehören.

Spezifischer Filter für den "Bericht "Teststatus nach Suite":

  • Testergebnis - Bereichshierarchie: Schließt Testergebnisse aus Testfällen ein, die den ausgewählten Produktbereichen zugewiesen sind.

Spezifische Filter für den Bericht "Fehleranalyse":

  • Testergebnis - Bereichshierarchie: Schließt Testergebnisse aus Testfällen ein, die den ausgewählten Produktbereichen zugewiesen sind.

  • Testsammlung - Testsammlungshierarchie: Schließt Testergebnisse aus Testfällen ein, die zu den ausgewählten Testsammlungen gehören.

  • Testergebnis - Ergebnis: Schließt Testergebnisse mit dem ausgewählten Ergebnis ein. Mit diesem Feld wird im Bericht die Anzahl der Testergebnisse so gefiltert, dass nur Ergebnisse vom Typ Fehler enthalten sind.

  • Testergebnis - Ergebnis: Das Ergebnis des Tests. Mit diesem Feld werden im Bericht die Spaltenbezeichnungen definiert und die Testergebnisse gefiltert, sodass sie Ergebnisse vom Typ "Erfolgreich", "Fehler", "Blockiert" oder "Nie ausgeführt" enthalten.

  • (Measure) Test - Punktanzahl (Trend): Zählt die neueste Version jedes Testergebnisses in einem bestimmten Build. Wenn ein Test mehrmals für einen Build ausgeführt wird, wird in "Punktanzahl (Trend)" das neueste Ergebnis für den Test gezählt, für den dieser Build verwendet wird. Falls ein Testfall nicht im Build enthalten ist, wird er als "Nie ausgeführt" gezählt.

Spezifisches Feld für den Bericht "Testplanstatus":

  • Datum - Festlegungen - Letzte 6 Wochen: Die Zeitspanne der in den Bericht einzuschließenden Aktivität.

Spezifisches Feld für den "Bericht "Teststatus nach Suite":

  • Testsammlung - Testsammlungshierarchie: Die Testsammlungen, die im Bericht aufgeführt werden sollen.

Spezifisches Feld für den "Bericht "Teststatus nach Bereich":

  • Testergebnis - Bereichshierarchie: Der Satz der Testergebnisse, die in den Bericht eingeschlossen werden sollen, der auf den den ausgeführten Testfällen zugewiesenen Bereichspfaden basiert.

Spezifische Felder für den Bericht "Fehleranalyse":

  • Testergebnis - Fehlertyp: Dieses Feld wird im Bericht verwendet, um die Spalten im Bericht zu erstellen.

  • Datum - Festlegungen - Letzte 6 Wochen: Die Zeitspanne der in den Bericht einzuschließenden Aktivität.

Erforderliche Aktivitäten zum Überwachen des Status des Testteams

Damit die Berichte zum Testplanstatus hilfreich und genau sind, muss das Team die folgenden Aktivitäten ausführen:

  • Definieren Sie Testfälle und Testpläne, und weisen Sie Testplänen Testfälle zu.

  • Führen Sie Tests aus.

  • Markieren Sie bei manuellen Tests die Ergebnisse jedes Validierungsschritts im Testfall als erfolgreich oder fehlgeschlagen.

    Wichtig

    Tester müssen einen Testschritt mit einem Status markieren, wenn es sich um einen Validierungstestschritt handelt.Das Gesamtergebnis für einen Testfall gibt den Status aller vom Tester markierten Testschritte wieder.Wenn der Tester einen Testfall als fehlerhaft oder gar nicht markiert hat, weist der Testfall daher den Status "Fehler" auf.

    Bei automatisierten Tests wird jeder Testfall automatisch als erfolgreich oder fehlgeschlagen markiert.

  • (Optional) Geben Sie die Pfade Bereich und Iteration jedes Testfalls an, um die Berichte nach Produktbereich und Iteration zu filtern.

Damit die Testlückenberichte aussagekräftig und genau sind, muss das Team die in der folgenden Tabelle beschriebenen Aktivitäten ausführen:

Arbeitsblattbericht

Erforderliche Aktivitäten

  • Testfall-Erstellungsstatus

  • Status des Automat.-Entwurfs

  • Definieren Sie Testfälle, und aktualisieren Sie ihren Zustand von Entwurf in Bereit.

  • Status des Automat.-Entwurfs

  • Testplanstatus

  • Teststatus nach Suite

  • Teststatus nach Bereich

  • Fehleranalyse

  • Definieren Sie Testpläne und Testsammlungen, und weisen Sie Testplänen und Testsammlungen Testfälle zu.

  • Führen Sie Tests aus, und markieren Sie bei manuellen Tests die Ergebnisse jedes Validierungsschritts im Testfall als erfolgreich oder fehlerhaft.

  • Testfall-Erstellungsstatus

  • Status des Automat.-Entwurfs

  • Testplanstatus

  • Teststatus nach Suite

  • Teststatus nach Bereich

  • Fehleranalyse

  • (Optional) Weisen Sie jedem Testfall die Pfade Iteration und Bereich zu, damit nach diesen Feldern gefiltert werden kann. Die Werte der Felder Testergebnis - Iterationshierarchie und Testergebnis - Bereichshierarchie stammen aus den Pfaden Iteration bzw. Bereich, die den entsprechenden Testfällen zugewiesen sind.

Aktualisieren und Anpassen der Berichte

Sie können den Bericht "Testteamstatus" aktualisieren, indem Sie ihn in Office Excel öffnen und die Filteroptionen für den PivotTable-Bericht für eines der Arbeitsblätter ändern. Jeder Bericht kann wie in der folgenden Tabelle beschrieben zur Unterstützung anderer Ansichten angepasst werden.

Ansicht

Aktion

  • Erstellungs- und Automatisierungsstatus für eine Iteration

  • Testplanstatus und Testergebnisse für eine Iteration

  • Regressionstests für eine Iteration

Ändern des Filters für Iteration (Standardeinstellung = Alle)

  • Erstellungs- und Automatisierungsstatus für einen Produktbereich

  • Testplanstatus und Testergebnisse für einen Produktbereich

  • Regressionstests für einen Produktbereich

Ändern des Filters für Area (Standardeinstellung = Alle)

  • Testplanstatus und Testergebnisse für ausgewählte Testpläne

  • Regressionstests für ausgewählte Testpläne

  • Fehleranalyse für ausgewählte Testpläne

Ändern des Filters für Test Plan (Standardeinstellung = Alle)

  • Erstellungs- und Automatisierungsstatus für die letzten acht, zehn oder mehr Wochen

  • Testplanstatus für die letzten acht, zehn oder mehr Wochen

  • Regressionstests für eine Iterationsfehleranalyse für die letzten acht, zehn oder mehr Wochen

Ersetzen von @@Last 6 weeks@@ in der PivotTable-Feldliste der Spalte durch ein anderes Set

Weitere Informationen zum Arbeiten mit PivotTable-Berichten und PivotChart-Berichten sowie zum Anpassen dieser Berichte finden Sie auf den folgenden Seiten der Microsoft-Website:

Siehe auch

Weitere Ressourcen

Excel-Berichte