Testdashboard (Agile)

Artikel
06/10/2015

Mit dem Testdashboard können Sie Testaktivitäten überwachen, Statusberichte erstellen, Lücken in der Testabdeckung suchen und Testbereiche identifizieren, die ggf. genauer untersucht werden müssen. In diesem Dashboard werden fünf Berichte mit Informationen zu Tests angezeigt, die in den letzten vier Wochen durchgeführt wurden.

Sie greifen über das Teamprojektportal auf Dashboards zu. Sie können auf das Testdashboard nur zugreifen, wenn dieses Portal aktiviert wurde und die Verwendung von SharePoint Server Enterprise Edition für das Teamprojektportal zulässig ist. Weitere Informationen finden Sie unter Dashboards.

In diesem Thema

Im Dashboard angezeigte Daten
Erforderliche Aktivitäten zur Überwachung des Testaufwands
Überwachen des Teststatus
Ermitteln von Lücken in Tests
Überwachen von Testfehlern und Regressionen
Anpassen des Testdashboards

Sie können mit diesem Dashboard die folgenden Fragen beantworten:

Erfolgt die Erstellung von Testfällen nach Plan?
Hat das Team Testfälle für alle Benutzertextabschnitte definiert?
Im welchem Verhältnis stehen erfolgreiche, fehlgeschlagene und blockierte Testfälle zueinander?
Weist die Testfehlermetrik auf ein Problem hin, das genauer untersucht werden muss?
Wie lautet der Status des Builds von letzter Nacht?
Was wurde zuletzt eingecheckt?

Anforderungen

Sie können auf das Testdashboard und alle anderen Dashboards nur zugreifen, wenn das Teamprojektportal aktiviert und für die Verwendung von SharePoint Server Enterprise Edition konfiguriert wurde. Weitere Informationen finden Sie unter Dashboards.
Zum Anzeigen des Dashboards müssen Sie einer Gruppe zugewiesen sein oder zu einer Gruppe gehören, der in SharePoint-Produkte die Berechtigung Lesen für das Teamprojekt zugewiesen wurde. Zum Ändern, Kopieren oder Anpassen eines Dashboards müssen Sie einer Gruppe zugewiesen sein oder zu einer Gruppe gehören, der in SharePoint-Produkte die Berechtigung Mitglieder für das Teamprojekt zugewiesen wurde.

Zum Anzeigen einer Arbeitsaufgabe müssen Sie Mitglied der Gruppe Leser sein, oder die Berechtigung Arbeitsaufgaben in diesem Knoten anzeigen muss auf Zulassen festgelegt sein. Zum Erstellen oder Ändern einer Arbeitsaufgabe müssen Sie Mitglied der Gruppe Contributors sein, oder die Berechtigung Arbeitsaufgaben in diesem Knoten bearbeiten muss auf Zulassen festgelegt sein.

Weitere Informationen finden Sie unter Hinzufügen von Benutzern zu Teamprojekten.
Um in Office Excel einen Bericht zu ändern, müssen Sie Mitglied der Sicherheitsrolle TfsWarehouseDataReaders in SQL Server Analysis Services sein, und Sie müssen einer Gruppe zugewiesen sein oder zu einer Gruppe gehören, der die Berechtigung Mitglieder in SharePoint-Produkte für das Teamprojekt zugewiesen wurde. Weitere Informationen finden Sie unter Gewähren von Zugriff auf die Datenbanken des Data Warehouse für Visual Studio ALM.
Die Berichte Testplanstatus, Testfallbereitschaft, Status des Anforderungstests und Testaktivität sind erst verfügbar, wenn das Team Testpläne erstellt und Tests wie unter Planen von manuellen Tests mit Team Web Access beschrieben ausführt.

Im Dashboard angezeigte Daten

Mit dem Testdashboard können Sie nachvollziehen, wie gut das Team beim Testen der Benutzertextabschnitte vorankommt. Informationen zu den den Webparts, die auf dem Testdashboard angezeigt werden, finden Sie in der Abbildung und der folgenden Tabelle.

Webparts für Teststatusdashboard

Burndown-, Status- und Trenddiagramme und die Berichte Schritt 1 bis Schritt 5 werden nicht angezeigt, wenn der Server, auf dem Analysis Services gehostet werden, nicht verfügbar ist.

Webpart	Angezeigte Daten	Verwandtes Thema
	Gestapeltes Flächendiagramm der Testergebnisse aller Testfälle, die nach dem aktuellsten erfassten Ergebnis in den vergangenen vier Wochen gruppiert werden. Mögliche Testergebnisse sind Nie ausgeführt, Blockiert, Fehler und Erfolgreich.	Bericht "Testplanstatus"
	Gestapeltes Flächendiagramm, das zeigt, wie viele Testfälle in den letzten vier Wochen den Zustand Entwurf oder Bereit hatten.	Bericht "Testfallbereitschaft"
	Horizontales Balkendiagramm, das die Anzahl der Testergebnisse für jede Kombination aus Testfall und Testkonfiguration anzeigt, die für jeden Benutzertextabschnitt definiert wurde. Im Diagramm werden die Testergebnisse nach ihrem letzten Testlauf gruppiert, wobei die Optionen Erfolgreich (grün), Fehler (rot), Blockiert (lila) oder Nicht ausgeführt (grau) lauten.	Excel-Bericht Teststatus des Benutzertextabschnitts (Agile)
	Liniendiagramm mit der kumulierten Anzahl aller Ergebnisse, die für alle manuellen Testfälle während der vergangenen vier Wochen ausgeführt wurden.	Excel-Bericht Testaktivität
	Gestapeltes Flächendiagramm, das die kumulierte Anzahl aller mit einem Fehler abgeschlossenen Testfälle während der letzten vier Wochen, sortiert nach Fehlertyp, anzeigt. Die Fehlertypen sind Regression, Neues Problem und Bekanntes Problem.	Excel-Bericht Fehleranalyse
	Liste bevorstehender Ereignisse. Diese Liste wird von einem SharePoint-Webpart abgeleitet.	Nicht zutreffend
	Anzahl der aktiven, gelösten und geschlossenen Arbeitsaufgaben. Sie können die Liste der Arbeitsaufgaben öffnen, indem Sie die einzelnen Zahlen auswählen. Diese Liste wird von einem Team Web Access-Webpart abgeleitet.	Nicht zutreffend
	Liste der letzten Builds und ihrer Buildstatus. Sie können weitere Informationen anzeigen, indem Sie einen bestimmten Build wählen. Diese Liste wird von einem Team Web Access-Webpart abgeleitet. Legende: : Der Buildvorgang wurde nicht gestartet. : Der Buildvorgang wird ausgeführt. : Der Buildvorgang war erfolgreich. : Beim Buildvorgang ist ein Fehler aufgetreten. : Der Buildvorgang wurde beendet. : Der Buildvorgang war teilweise erfolgreich.	Ausführen, Überwachen und Verwalten von Builds
	Liste der letzten Eincheckvorgänge. Sie können weitere Informationen anzeigen, indem Sie einen bestimmten Eincheckvorgang wählen. Diese Liste wird von einem Team Web Access-Webpart abgeleitet.	Entwickeln von Code und Verwalten von ausstehenden Änderungen

Erforderliche Aktivitäten zur Überwachung des Testaufwands

Damit die Berichte im Testdashboard hilfreich und genau sind, muss das Team die folgenden Aktivitäten ausführen:

Definieren Sie Testfälle und Benutzertextabschnitte, und erstellen Sie Getestet von-Links zwischen Testfällen und Benutzertextabschnitten.
Definieren Sie Testpläne, und weisen Sie Testplänen Testfälle zu.
Markieren Sie bei manuellen Tests die Ergebnisse jedes Validierungsschritts im Testfall als erfolgreich oder fehlgeschlagen.

Wichtig

Tester müssen einen Testschritt mit einem Status markieren, wenn es sich um einen Validierungstestschritt handelt.Das Gesamtergebnis für einen Testfall gibt den Status aller vom Tester markierten Testschritte wieder.Wenn der Tester einen Testfall als fehlerhaft oder gar nicht markiert hat, weist der Testfall daher den Status "Fehler" auf.

Bei automatisierten Tests wird jeder Testfall automatisch als erfolgreich oder fehlgeschlagen markiert.
(Optional) Weisen Sie zum Unterstützen von Filterung jedem Testfall den Pfad Iteration und den Pfad Bereich zu.

Überwachen des Teststatus

Mit den ersten drei Berichten im Test Dashboard können Sie den Teststatus überwachen und die Fragen in der folgenden Tabelle beantworten.

Bericht	Beantwortete Fragen	Hinweise
Testfallbereitschaft	Wie viele Testfälle hat das Testteam definiert? Wie viele Testfälle können heute ausgeführt werden? Wie viele Testfälle muss das Team noch schreiben und überprüfen? Scheint die Gesamtanzahl von Testfällen hoch genug für die Anzahl der Benutzertextabschnitte, die das Team implementiert? Wie hoch ist der Prozentsatz von Testfällen, die das Testteam heute ausführen kann? Kann das Team bis zum Ende der Iteration alle Testfälle im Zustand Bereit vorliegen haben?	Bei einer positiven Entwicklung sollte eine stetige Erhöhung der Anzahl von Testfällen zu beobachten sein, die vom Team entworfen und mit dem Zustand Bereit gekennzeichnet werden. Bei einer falschen Entwicklung werden keine oder wenige Testfälle als einsatzbereit gemeldet. Wenn alle Testfälle über einen längeren Zeitraum hinweg in einem Entwurfszustand verbleiben, verhindert ein Problem ggf. den Fortschritt. Sie sollten die Ursache der Blockierung untersuchen. Eine Lücke in den Tests kann entstehen, wenn die Anzahl der Testfälle ungenügend erscheint. Die Anzahl der für ein Projekt definierten Testfälle sollte gleich oder höher als die Anzahl der Benutzertextabschnitte sein, die das Team implementiert. Die Anzahl der Testfälle ist offenbar zu niedrig.
Testplanstatus	Wie viele Testfälle sind erfolgreich? Wie viele Testfälle zeigen einen Fehler an? Wie viele Testfälle sind blockiert? Wie viele Testfälle wurden nie ausgeführt? Welcher Prozentsatz von Testfällen ist bei der Betrachtung aller Testpläne erfolgreich? Wie viele Tests hat das Team abgeschlossen? Werden die Tests vom Team wahrscheinlich fristgerecht fertig gestellt?	Während der Entwicklungszyklus fortschreitet, sollten mehr und mehr Testfälle erfolgreich sein und weniger Testfälle mit anderen Zuständen vorhanden sein. Zu viele fehlgeschlagene Testfälle weisen auf eine fehlerhafte Entwicklung hin. Je nachdem, in welcher Phase des Produktzyklus Sie sich befinden, können Sie überprüfen, warum so viele Testfälle fehlschlagen. Wenn die Anzahl fehlerhafter oder nie ausgeführter Testfälle auf gleichem Niveau bleibt, können Sie bei Bedarf die spezifischen Ursachen für einzelne Bereiche untersuchen.
Teststatus des Benutzertextabschnitts	Werden Testfälle für jeden Benutzertextabschnitt ausgeführt? Wenn Testfälle blockiert sind oder nicht ausgeführt werden, versteht das Team die blockierenden Probleme, und werden die Probleme angegangen?	Bei einer fehlerfreien Entwicklung sollten die meisten Testfälle für jeden Benutzertextabschnitt erfolgreich sein. Eine falsche Entwicklung ist gegeben, wenn zu viele Testfälle für einen bestimmten Benutzertextabschnitt den Zustand Nie ausgeführt, Blockiert oder Fehler aufweisen. In diesem Fall können Sie die Ursachen prüfen, die den Erfolg der definierten Testfälle für einen Benutzertextabschnitt verhindern.

Ermitteln von Lücken in Tests

Mit dem Bericht Teststatus des Benutzertextabschnitts können Sie feststellen, ob die Tests den gesamten Code abdecken, und die folgenden Fragen prüfen:

Welche Benutzertextabschnitte weisen eine geringe Gesamtanzahl an Testfällen auf?
Welche Benutzertextabschnitte weisen eine hohe Gesamtanzahl an Testfällen auf, die blockiert werden oder nie ausgeführt wurden?
Entspricht die Testfallabdeckung für die einzelnen Benutzertextabschnitte den Erwartungen?
Welche Benutzertextabschnitte weisen einen hohen Anteil an fehlgeschlagenen Tests auf?
Wie viele Testfälle werden durchschnittlich für jeden Benutzertextabschnitt definiert?

Überwachen von Testfehlern und Regressionen

Indem Sie Testfehler überwachen, können Sie Probleme im Code früh identifizieren und behandeln. Die letzten zwei Berichte im Testdashboard geben Ihnen einen besseren Einblick in die Anzahl der fehlerhaften Tests.

Bericht	Beantwortete Fragen	Hinweise
Manuelle Testaktivität	Sinkt die Anzahl der Tests, die vom Team niemals ausgeführt wurden? Minimiert das Team die Gesamtanzahl blockierter Tests? Schlagen im Laufe der Zeit weniger Tests fehl? Werden mehr Tests bestanden? Zeigt die Testaktivität Spitzen, die Sie sich nicht erklären können?	Der Bericht Manuelle Testaktivität enthält die Ergebnisse jeder Testfallausführung für jede Testkonfiguration und für alle Testpläne. Spitzen können erste Anzeichen für Probleme mit der Testaktivität oder der Qualität des vom Team eingecheckten Codes sein. Sie können in diesem Fall die Metriken für die letzten Builds, den Fehlerstatus und die Codeänderung überprüfen, um festzustellen, ob sich die Änderungen durch diese Werte erklären lassen.
Testfehleranalyse	Wie viele Tests ergeben eine Regression? Bleibt die Gesamtanzahl von Regressionen oder Testfehlern innerhalb des erwarteten Bereichs oder der Ziele des Teams? Behandelt das Team bekannte und neue Probleme unmittelbar nach der Identifizierung?	Ein fehlerfreier Bericht "Testfehleranalyse" zeigt eine moderate Anzahl von neuen Problemen, bekannten Problemen und Regressionen an. Wenn in diesen Bereichen Spitzen auftreten, muss das Team ggf. eine genauere Untersuchung durchführen. Spitzen weisen möglicherweise auf Probleme bei der Testaktivität oder bei der Qualität des Codes hin, der vom Team eingecheckt wird. Sie können auch die Metriken für die letzten Builds, den Fehlerstatus und die Codeänderung überprüfen, um festzustellen, ob sich die Änderungen durch einen dieser Werte erklären lassen.

Manuelle Testaktivität

Sinkt die Anzahl der Tests, die vom Team niemals ausgeführt wurden?
Minimiert das Team die Gesamtanzahl blockierter Tests?
Schlagen im Laufe der Zeit weniger Tests fehl?
Werden mehr Tests bestanden?
Zeigt die Testaktivität Spitzen, die Sie sich nicht erklären können?

Der Bericht Manuelle Testaktivität enthält die Ergebnisse jeder Testfallausführung für jede Testkonfiguration und für alle Testpläne. Spitzen können erste Anzeichen für Probleme mit der Testaktivität oder der Qualität des vom Team eingecheckten Codes sein.

Sie können in diesem Fall die Metriken für die letzten Builds, den Fehlerstatus und die Codeänderung überprüfen, um festzustellen, ob sich die Änderungen durch diese Werte erklären lassen.

Testfehleranalyse

Wie viele Tests ergeben eine Regression?
Bleibt die Gesamtanzahl von Regressionen oder Testfehlern innerhalb des erwarteten Bereichs oder der Ziele des Teams?
Behandelt das Team bekannte und neue Probleme unmittelbar nach der Identifizierung?

Ein fehlerfreier Bericht "Testfehleranalyse" zeigt eine moderate Anzahl von neuen Problemen, bekannten Problemen und Regressionen an. Wenn in diesen Bereichen Spitzen auftreten, muss das Team ggf. eine genauere Untersuchung durchführen. Spitzen weisen möglicherweise auf Probleme bei der Testaktivität oder bei der Qualität des Codes hin, der vom Team eingecheckt wird.

Sie können auch die Metriken für die letzten Builds, den Fehlerstatus und die Codeänderung überprüfen, um festzustellen, ob sich die Änderungen durch einen dieser Werte erklären lassen.

Anpassen des Testdashboards

Sie können das Testdashboard folgendermaßen anpassen:

Ändern Sie die Filter für jeden Bericht in Office Excel, um bestimmte Produktbereiche oder Iterationen in den Fokus zu rücken.
Filtern Sie den Bericht Manuelle Testaktivität in Office Excel nach bestimmten Testplänen oder nach manuellen oder automatisierten Testfällen.
Fügen Sie vorhandene Excel-Berichte zum Dashboard hinzu, z. B. Fehlerstatus, Codeänderung oder Codeabdeckung.
Erstellen und fügen Sie Berichte in Office Excel hinzu, die den Fortschritt nach Teammitgliedern anzeigen. Ein Beispiel finden Sie unter Excel-Bericht Fehler nach Zuweisung.

Weitere Informationen zum Arbeiten mit Berichten in Office Excel und zum Anpassen dieser Berichte finden Sie auf den folgenden Seiten der Microsoft-Website: