Ausführen von automatisierten Tests anhand eines Build-, Bereitstellungs- und Testworkflows

Sie können automatisierte Tests in einer Lab-Umgebung mithilfe eines Workflows zum Erstellen, Bereitstellen und Testen ausführen, indem Sie den Build für den Workflow in die Warteschlange setzen oder indem Sie den Workflow so konfigurieren, dass er in einem geplanten Intervall ausgeführt wird. Informationen zum Erstellen eines Workflows zum Erstellen, Bereitstellen und Testen und zum Planen von Workflows finden Sie unter Automatische Erstellungs-, Bereitstellungs- und Testworkflows. Beispielsweise können Sie tägliche Builds der Anwendung auf einem Server erstellen und bereitstellen und Tests auf dem Server mithilfe eines Clients ausführen. Nachdem Sie die automatisierten Tests ausführt haben, können Sie die Testergebnisse analysieren, um die Qualität der Builds zu überprüfen. Testergebnisse werden jedes Mal gespeichert, wenn der Workflow zum Erstellen, Bereitstellen und Testen abgeschlossen wird. Anhand dieser Ergebnisse können Sie anzeigen, wie stabil der Build ist, und entscheiden, ob dieser Build für manuelle Tests verwendet werden soll.

Wenn Sie eine SCVMM-Umgebung verwenden, können Sie mit den Buildergebnisse auch eine Verbindung mit einer Momentaufnahme der Lab-Umgebung herstellen, die nach Bereitstellung der Anwendung erstellt wurde. Dadurch können Sie den Zustand der Umgebung nach einem Testfehler anzeigen, auch wenn ein neuer Testlauf die Umgebung bereits mit einer fehlerfreien Momentaufnahme wiederhergestellt hat.

In diesem Thema wird beschrieben, wie ein Workflow zum Erstellen, Bereitstellen und Testen ausgeführt oder geplant wird, um die automatisierten Tests in einer Standardumgebung oder einer SCVMM-Umgebung auszuführen und dann die Testergebnisse anzuzeigen. Außerdem wird in diesem Thema erläutert, wie Sie von den Buildergebnissen aus eine Verbindung mit einer Momentaufnahme nach der Bereitstellung herstellen, wenn eine SCVMM-Umgebung verwendet wird.

Mit den folgenden Prozeduren führen Sie automatisierte Tests in der Anwendung in einer Lab-Umgebung mithilfe eines Workflows zum Erstellen, Bereitstellen und Testen durch und analysieren anschließend die Testergebnisse:

• Überprüfen der Voraussetzungen

• Starten des Builds

• Herstellen einer Verbindung mit der Umgebung aus den Buildergebnissen

• Anzeigen und Analysieren der Testergebnisse für den Build

Voraussetzungen

Bevor Sie die geplanten Tests in einer Lab-Umgebung konfigurieren und ausführen, sollten Sie anhand dieser Liste überprüfen, ob die folgenden Aufgaben ausgeführt wurden:

Erforderliche Aufgaben

1. Konfigurieren Sie einen Testcontroller. Siehe Einrichten von Test Controllern in Lab-Umgebungen.

2. Konfigurieren Sie einen Buildcontroller und einen Build-Agent, der die Team Foundation Server-Verwaltung verwendet. Siehe So konfigurieren Sie einen Buildcomputer.

3. Erstellen Sie eine Lab-Umgebung, und konfigurieren Sie sie mit den erforderlichen Rollen für die Anwendung. Siehe Testen in einer Lab-Umgebung.

4. (Empfohlen) Wenn Sie eine SCVMM-Umgebung verwenden, erstellen Sie eine Momentaufnahme der Umgebung, die als unveränderter Zustand für Ihren Workflow herangezogen wird. Siehe Verwenden von Umgebungsmomentaufnahmen mit SCVMM-Umgebungen.

5. Fügen Sie die automatisierten Tests einem Testplan hinzu. Siehe Automatisieren eines Testfalls mit Microsoft Test Manager.

6. Erstellen Sie Testeinstellungen für automatisierte Tests, und weisen Sie die Tests den Rollen in der Lab-Umgebung zu. Siehe Erstellen von Testeinstellungen für automatisierte Systemtests mit Microsoft Test Manager.

7. Erstellen Sie einen Workflow zum Erstellen, Bereitstellen und Testen. Siehe Automatische Erstellungs-, Bereitstellungs- und Testworkflows.

Starten des Builds

Sie können die automatisierten Tests von einem Workflow aus ausführen, indem Sie einen Build in die Warteschlange stellen.

So stellen Sie den Build in die Warteschlange

1. Um den Workflow zum Erstellen, Bereitstellen und Testen zu beginnen, öffnen Sie das Kontextmenü für die Builddefinition im Ordner "Builds", und wählen Sie Neuen Build in Warteschlange aus.

   Das Dialogfeld Build zur Warteschlange hinzufügen wird angezeigt.

2. Überprüfen Sie die Informationen für den Workflow, und wählen Sie anschließend Warteschlange.

   Die Ansicht "Build Explorer" wird angezeigt.

3. Doppelklicken Sie auf den Build, um während des Buildvorgangs die Buildzusammenfassung anzuzeigen.

   Der Buildstatus wird angezeigt.

4. (Optional) Wenn Sie während des Buildvorgangs die Lab-Umgebung anzeigen möchten, öffnen Sie Microsoft Test-Manager, suchen Sie das Lab-Center, wählen Sie Lab, und wählen Sie anschließend die Umgebung in der Liste aus.

   Bei erfolgreichem Abschluss des Workflows zum Erstellen, Bereitstellen und Testen wird ein grünes Häkchen angezeigt. Sind Fehler aufgetreten, können Sie Protokoll anzeigen wählen, um Details anzuzeigen.

Herstellen einer Verbindung mit der Umgebung aus den Buildergebnissen

Wenn bei einem Test während des Workflowprozesses ein Fehler auftritt, empfiehlt es sich unter Umständen, eine Verbindung mit der Lab-Umgebung herzustellen und das Problem zu untersuchen. Sie können entweder eine Verbindung mit der Momentaufnahme nach der Bereitstellung herstellen, sofern diese Option im Buildworkflow aktiviert wurde und Sie eine SCVMM-Umgebung verwenden, oder mit der Umgebung im aktuellen Zustand, wie in dieser Abbildung gezeigt:

So stellen Sie in den Buildergebnissen eine Verbindung mit der Umgebung her

1. Öffnen Sie vom Ordner Builds in Team Explorer das Kontextmenü für die Builddefinition, die den Workflow enthält, und zeigen Sie auf Builds anzeigen.

   Die Ansicht Build Explorer wird angezeigt.

2. Wählen Sie die Registerkarte Abgeschlossen, um den abgeschlossenen Build anzuzeigen.

3. Doppelklicken Sie auf den Build, den Sie anzeigen möchten.

   Die Ansicht "Buildzusammenfassung" wird angezeigt.

4. Wählen Sie den Link neben "Umgebungsmomentaufnahme <Buildname und -nummer> anzeigen".

   Das Dialogfeld Mit Umgebung verbinden wird angezeigt.

5. Hinweis

   Dieser Schritt gilt nur für SCVMM-Umgebungen.Wenn Sie eine Standardumgebung verwenden, lassen Sie diesen Schritt aus.

   Wählen Sie Mit Momentaufnahme in dieser Umgebung verbinden, wenn Sie eine SCVMM-Umgebung verwenden und eine Verbindung mit der Momentaufnahme herstellen möchten, die nach der Anwendungsbereitstellung erstellt wurde.

   Hinweis

   Durch Herstellen einer Verbindung mit dieser Momentaufnahme werden alle Änderungen verworfen, die nach dem Erstellen dieser Momentaufnahme nach der Bereitstellung vorgenommen wurden.Sollen alle Änderungen erhalten bleiben, stellen Sie eine Verbindung mit der Umgebung in ihrem aktuellen Zustand her, und erstellen Sie eine Momentaufnahme, bevor Sie die Momentaufnahme nach der Bereitstellung wiederherstellen.Informationen zum Erstellen einer Momentaufnahme finden Sie unter How to: Save the Current State of Your Environment.

6. Wählen Sie Mit der Umgebung im aktuellen Zustand verbinden, wenn Sie eine Verbindung mit der Umgebung im aktuellen Zustand herstellen möchten, nachdem alle Tests aus dem Workflow ausgeführt wurden.

7. Wählen Sie Verbinden aus.

   Der Microsoft-Umgebungs-Viewer wird angezeigt, und die Verbindung mit der Umgebung wird hergestellt. Nun können Sie mögliche Probleme untersuchen.

Anzeigen und Analysieren der Testergebnisse für den Workflow zum Erstellen, Bereitstellen und Testen

In der Buildzusammenfassung können Sie eine Zusammenfassung der Testergebnisse anzeigen. Sie können die Testergebnisse jedoch auch mit Microsoft Test-Manager anzeigen und analysieren, da die Ergebnisse als Teil des Testplans gespeichert werden. Das ist in der nächsten Abbildung dargestellt. Siehe Erstellen von Berichten zum Testfortschritt von Testplänen.

So können Sie die Testergebnisse in Microsoft Test-Manager anzeigen und analysieren

1. Öffnen Sie Microsoft Test-Manager.

   Hinweis

   Wählen Sie zur Anzeige des Microsoft Test-Manager-Fensters Start und dann Alle Programme aus.Zeigen Sie auf Microsoft Visual Studio 2013, und wählen Sie dann Microsoft Test Manager.

2. Wählen Sie zum Anzeigen der Testergebnisse in der Centergruppenauswahl den Pfeil nach unten und anschließend Test-Center.

3. Wählen Sie in der Menüleiste für Centergruppen Test, und wählen Sie in der Testauflistungshierarchie eine der Testauflistungen aus, die Sie im Buildworkflow verwendet haben.

   Die Testergebnisse für die im Buildworkflow ausgewählte Konfiguration werden angezeigt.

4. Wählen Sie Testläufe analysieren, um den vollständigen Testlauf zu analysieren.

   Die Aktivität Testläufe analysieren wird angezeigt. Es werden alle Testläufe für diesen Testplan angezeigt.

   Hinweis

   Der Testlauftitel spiegelt den Namen der Builddefinition wider.Die Testlauf-ID wird auf der Buildzusammenfassungsseite für den Build angezeigt, damit der Testlauf identifiziert werden kann.

5. Doppelklicken Sie auf einen Testlauf, um ihn zu öffnen und die Details anzuzeigen. Die Testlaufdetails werden angezeigt.

6. (Optional) Um den Titel des Testlaufs in einen aussagekräftigeren Namen zu ändern, geben Sie den neuen Namen in das Feld Titel ein.

7. (Optional) Wenn der Test fehlgeschlagen ist, können Sie den Grund für den Fehler aktualisieren. Klicken Sie auf Lösung, und wählen dann den Grund für den Fehler aus der Liste aus.

8. (Optional) Um dem Testergebnis Kommentare hinzuzufügen, wählen Sie das Symbol Kommentare. Geben Sie Ihren Kommentar ein, und wählen Sie dann Kommentare speichern.

9. (Optional) Um die Details eines einzelnen Tests anzuzeigen, doppelklicken Sie auf den Test.

   Das Testergebnis wird angezeigt. Dabei werden die Details zum Testlauf, die Anlagen zu den für dieses Testergebnis gesammelten Daten sowie der Verlauf der Testergebnisse für diesen Test angezeigt. Sie können diese Ansicht schließen, um zum Testlauf zurückzukehren.

   Hinweis

   Wenn Sie feststellen, dass ein Fehler vorliegt, können Sie einen Fehler aus dieser Ansicht erstellen.

10. Um Änderungen für diesen Testlauf zu speichern, wählen Sie auf der Symbolleiste Speichern.

Siehe auch

Konzepte

Testen in einer Lab-Umgebung