Gewusst wie: Ausführen von manuellen Tests und Erstellen von reproduzierbaren Fehlern mit virtuellen Umgebungen

Wenn Sie über Visual Studio Lab Management verfügen, können Sie manuelle Tests unter Verwendung von virtuellen Umgebungen ausführen. Sie erstellen die virtuellen Computer oder Vorlagen für die Rollen, die für die Anwendung erforderlich sind, und wählen diesen Satz von Rollen in den Testeinstellungen aus. Weitere Informationen zu Umgebungen, Testeinstellungen und Rollen finden Sie unter Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten sowie unter Einrichten von Computern und Sammeln von Diagnoseinformationen mithilfe von Testeinstellungen.

Beim Einrichten der virtuellen Umgebung für das Ausführen manueller Tests werden virtuelle Computer oder Vorlagen für die Back-End-Rollen der Anwendung erstellt. So können Sie beispielsweise eine virtuelle Umgebung mit virtuellen Computern oder Vorlagen für die Webserver- und die Datenbankserverrolle in der Umgebung erstellen. Anschließend können Sie die manuellen Tests auf einem Desktopcomputer ausführen, der nicht Teil der Umgebung ist. Alternativ können Sie auch einen Browser ausführen, um von diesem Computer aus eine Verbindung mit dem Webserver herzustellen (siehe folgende Abbildung).

Wenn Sie im Rahmen der manuellen Tests einen Fehler in der Anwendung feststellen, können Sie eine Momentaufnahme der virtuellen Umgebung erstellen, mit der Entwickler eine Verbindung mit dem Ist-Zustand der Server in der Umgebung zum Zeitpunkt des Fehlers herstellen können. Dadurch lässt sich die Anzahl der Fehler verringern, die von den Entwicklern nicht reproduziert werden können. Der Zustand der Umgebung wird für die Entwickler gespeichert, sodass er jederzeit für eine Untersuchung herangezogen werden kann. Darüber hinaus können weitere Tests in der gleichen Umgebung ausgeführt werden. Wenn die Entwickler die Umgebung verwenden möchten, können sie mithilfe des Links im Fehler eine Verbindung mit der Momentaufnahme herstellen.

Besteht die Gefahr, dass die Umgebung gelöscht wird, bevor der Fehler von einem Entwickler überprüft wurde, kann der Tester nach Abschluss der Tests eine Kopie der Umgebung in der Bibliotheksfreigabe speichern. Mithilfe des Links im Fehler kann der Entwickler eine Kopie der gespeicherten Umgebung erstellen und diese verwenden.

Wenn Sie die Back-End-Ebenen der Anwendung erstellen und für die virtuelle Umgebung bereitstellen möchten, um die manuellen Tests auf einfache Weise einzurichten, können Sie hierzu eine Builddefinition erstellen. Für die Workflowintegrationsfunktionen benötigen Sie einen Buildcontroller. Weitere Informationen finden Sie unter Gewusst wie: Bereitstellen einer Anwendung in einer virtuellen Umgebung.

Vorbereitungsmaßnahmen

Führen Sie zunächst die folgenden Schritte aus, um manuelle Tests unter Verwendung der Umgebung ausführen zu können:

• Erstellen Sie für jede Rolle, die in der virtuellen Umgebung erforderlich ist, einen virtuellen Computer oder eine Vorlage.

• Installieren Sie auf jedem virtuellen Computer einen Lab-Agent.

• Installieren Sie auf jedem virtuellen Computer einen Test-Agent. Dadurch können Sie mithilfe des virtuellen Computers in der Umgebung Daten und Diagnoseinformationen sammeln, wenn Sie die Tests ausführen. Darüber hinaus können Sie eine Momentaufnahme der Umgebung erstellen, wenn Sie beim Ausführen der Tests einen Fehler feststellen.

• Wenn Sie die Anwendung mithilfe der Workflowintegrationsfunktion bereitstellen möchten, müssen auf den virtuellen Computern auch Build-Agents installiert werden.

• Installieren Sie Visual Studio Test Professional 2010 oder Visual Studio Ultimate auf einem der Computer, die zum Ausführen der manuellen Tests verwendet werden.

• Erstellen Sie mithilfe von Microsoft Test Manager die manuellen Testfälle, und fügen Sie sie einer Testsammlung in einem Testplan hinzu. Weitere Informationen finden Sie unter Definieren des Testaufwands mit Testplänen.

Prozeduren

Verwenden Sie die folgenden Prozeduren, damit Sie die manuellen Tests ausführen und reproduzierbare Fehler erstellen können. Wenn Sie ein Problem finden, können Sie zum Überprüfen von Informationen eine Verbindung mit den virtuellen Computern in der Umgebung herstellen oder eine Momentaufnahme der Umgebung erstellen und diese in einem Fehler speichern, sodass ein Entwickler die Umgebung verwenden kann, um den Fehler zu reproduzieren.

• Ausführen manueller Tests unter Verwendung virtueller Umgebungen

• Herstellen einer Verbindung mit den virtuellen Computern in der Umgebung

• Erstellen einer Momentaufnahme der virtuellen Umgebung

• Herstellen einer Verbindung mit einer Momentaufnahme einer virtuellen Umgebung

Ausführen manueller Tests unter Verwendung virtueller Umgebungen

So führen Sie manuelle Tests unter Verwendung virtueller Umgebungen aus

1. Erstellen Sie eine virtuelle Umgebung, und fügen Sie für jede Rolle die erforderlichen virtuellen Computer oder Vorlagen hinzu. Weitere Informationen finden Sie unter Konzepte und Richtlinien für virtuelle Umgebungen und Gewusst wie: Erstellen einer Umgebung aus virtuellen Computern oder Vorlagen.

   Wichtig

   Damit beim Ausführen der manuellen Tests Daten und Diagnoseinformationen auf den virtuellen Computern in der Umgebung gesammelt werden, muss in der virtuellen Umgebung die Testfunktion aktiviert werden.

   Hierzu müssen Sie über einen Testcontroller verfügen, der für die Umgebung verwendet werden kann. Weitere Informationen finden Sie unter Gewusst wie: Hinzufügen von Testcontrollern für Tests mit dem Lab-Management.

2. Wählen Sie zum Starten der virtuellen Umgebung in der Ansicht "Umgebungen" die Umgebung aus, und klicken Sie auf Start.

   Vergewissern Sie sich, dass die Computer in der Umgebung gestartet wurden und die Testfunktion aktiviert ist, sofern diese Funktion für die Umgebung ausgewählt wurde. Der Status der Testfunktion wird in der Ansicht Umgebungen in den Details für die Umgebung neben Test angezeigt.

   Tipp

   Wurde die gewünschte Umgebung in der Bibliothek gespeichert, muss die Umgebung zunächst bereitgestellt werden, um die virtuellen Computer mithilfe der gespeicherten Abbilder zu erstellen, damit die Umgebung gestartet werden kann.

3. Empfehlung: Klicken Sie auf der Symbolleiste auf den Dropdownpfeil neben Als 'Verwendet' markieren, um zu verhindern, dass andere Benutzer während der Testausführung versehentlich eine Verbindung mit der Umgebung herstellen. Geben Sie in einem Kommentar an, von wem die Umgebung verwendet wird, und klicken Sie auf Als 'Verwendet' markieren.

   Versucht nun ein anderer Benutzer, eine Verbindung mit der verwendeten Umgebung herzustellen, wird im Dialogfeld Mit Umgebung verbinden eine Warnung mit den eingegebenen Kommentaren angezeigt. Dieser Benutzer kann jedoch weiterhin eine Verbindung mit der Umgebung herstellen und die Warnung ignorieren.

   Tipp

   Verwendete Umgebungen können auch mithilfe des Microsoft-Umgebungs-Viewers markiert werden.

4. Installieren Sie die Back-End-Ebenen der Anwendung auf den virtuellen Computern in der Umgebung. Unter Umständen muss auf dem Desktopcomputer zudem der lokale Client für die Anwendung installiert werden, damit eine Verbindung mit den Back-End-Ebenen hergestellt werden kann. Mit der Workflowintegrationsfunktion können die entsprechenden Back-End-Ebenen der Anwendung unter Verwendung einer Builddefinition automatisch installiert werden. Weitere Informationen hierzu finden Sie unter Gewusst wie: Bereitstellen einer Anwendung in einer virtuellen Umgebung. Alternativ kann die Anwendung auch manuell installiert werden.

   Tipp

   Es empfiehlt sich, nach der Anwendungsinstallation eine Momentaufnahme der Umgebung zu erstellen, damit dieser unveränderte Zustand mit installierter Anwendung jederzeit zur Verfügung steht.

5. Erstellen Sie mithilfe von Microsoft Test Manager Testeinstellungen mit dem Satz von Rollen für die virtuelle Umgebung, und wählen Sie die Daten und die Diagnoseinformationen aus, die für die einzelnen Rollen gesammelt werden sollen. Weitere Informationen zum Erstellen von Testeinstellungen für manuelle Tests finden Sie unter Erstellen von Testeinstellungen für manuelle Tests.

6. Gehen Sie folgendermaßen vor, um dem Testplan die Testeinstellungen und die erstellte virtuelle Umgebung zuzuweisen und die Tests auszuführen:

   1. Klicken Sie auf dem Computer, auf dem die Tests ausgeführt werden sollen, in Microsoft Test Manager auf der Umschaltung für Centergruppen auf den Pfeil nach unten und anschließend auf Testcenter.

   2. Klicken Sie auf der Centergruppen-Menüleiste auf Plan und dann auf Eigenschaften.

      Die Eigenschaften für den derzeit ausgewählten Testplan werden angezeigt.

   3. Klicken Sie unter Manuelle Läufe auf den Dropdownpfeil für Testeinstellungen, und wählen Sie die Testeinstellung aus.

   4. Klicken Sie unter Manuelle Läufe auf den Dropdownpfeil für Testumgebung, und wählen Sie die Umgebung aus.

   5. Klicken Sie auf Speichern und schließen.

   6. Klicken Sie zum Ausführen der Tests auf Test und anschließend auf Tests ausführen. Wählen Sie die gewünschten Tests aus, und klicken Sie auf Ausführen.

7. Gehen Sie folgendermaßen vor, um die Tests mit den Testeinstellungen auszuführen, die für diesen spezifischen Testlauf erstellt wurden:

   1. Klicken Sie auf dem Computer, auf dem die Tests ausgeführt werden sollen, in Microsoft Test Manager auf der Umschaltung für Centergruppen auf den Pfeil nach unten und anschließend auf Testcenter.

   2. Klicken Sie zum Ausführen der Tests auf Test und anschließend auf Tests ausführen. Klicken Sie mit der rechten Maustaste auf die gewünschte Testsammlung oder auf die gewünschten Tests, und klicken Sie anschließend auf Ausführen mit Optionen.

      Das Dialogfeld Ausführungsoptionen wird angezeigt.

   3. Wählen Sie unter Testeinstellungen (unter Manuelle Testläufe) die erstellten Testeinstellungen aus.

   4. Wählen Sie unter Umgebung (unter Manuelle Testläufe) die virtuelle Umgebung aus, und klicken Sie auf Ausführen.

   Test Runner wird angezeigt. Der erste Test ist ausgewählt.

8. Klicken Sie zum Starten des ersten Tests auf Test starten. Weitere Informationen zum Ausführen manueller Tests finden Sie unter Gewusst wie: Ausführen von manuellen Tests.

   Sie können jetzt damit beginnen, alle ausgewählten Tests auszuführen.

9. Um die Schritte im Test auszuführen, müssen Sie die zu testende Anwendung starten. Um eine Verbindung mit dem Teil der Anwendung herzustellen, der in der Umgebung installiert ist, verwenden Sie den Client für die Anwendung. Hierbei kann es sich um einen Desktopclient oder Webbrowser handeln, der auf dem Computer installiert ist, auf dem Sie Microsoft Test Manager installiert haben.

   Wenn Sie eine netzwerkisolierte Umgebung verwenden, finden Sie weitere Informationen zum Herstellen einer Verbindung mit der Anwendung im Abschnitt zum Kommunizieren zwischen Computern in netzwerkisolierten Umgebungen und Computern im externen Netzwerk im folgenden Thema: Gewusst wie: Erstellen und Verwenden einer netzwerkisolierten Umgebung.

10. Klicken Sie in Test Runner zum Speichern der Testergebnisse auf Speichern und schließen.

    Die Ansicht Tests ausführen wird angezeigt.

Herstellen einer Verbindung mit den virtuellen Computern in der Umgebung

Wenn Sie beim Ausführen der Tests Informationen zu einem Computer in der virtuellen Umgebung überprüfen möchten, können Sie eine Verbindung mit einem der virtuellen Computer herstellen. Sie möchten beispielsweise überprüfen, ob der Wert eines Registrierungseintrags richtig ist.

So stellen Sie eine Verbindung mit den virtuellen Computern in der Umgebung her

• Um beim Ausführen eines Tests den Zustand eines Computers in der virtuellen Umgebung anzuzeigen, klicken Sie auf der Symbolleiste Testschritte für Test Runner auf Mit Umgebung verbinden.

  Der Microsoft-Umgebungs-Viewer wird angezeigt. Wählen Sie den gewünschten virtuellen Computer aus. Auf dem virtuellen Computer können auch Befehle ausgeführt werden.

  Weitere Informationen zum Herstellen von Verbindungen mit Computern in der Umgebung finden Sie unter Gewusst wie: Verbinden mit einer virtuellen Umgebung.

  Wenn Sie eine Umgebung mit Netzwerkisolation verwenden, finden Sie weitere Informationen unter Gewusst wie: Erstellen und Verwenden einer netzwerkisolierten Umgebung.

  Tipp

  Wird während der Testausführung eine Verbindung mit einer Umgebung hergestellt, darf keine Momentaufnahme wiederhergestellt werden. Wird während der Testausführung eine Momentaufnahme wiederhergestellt, werden die Test-Agents neu gestartet, und die Daten und Diagnoseinformationen für den Testlauf können nicht gesammelt werden. Wenn Sie eine Momentaufnahme wiederherstellen möchten, müssen Sie den Testlauf beenden und die Momentaufnahme wiederherstellen, bevor Sie einen Testlauf starten.

Erstellen einer Momentaufnahme der virtuellen Umgebung

So erstellen Sie eine Momentaufnahme der virtuellen Umgebung

1. Sollten Sie beim Ausführen des Tests ein Problem feststellen, klicken Sie am rechten Rand der Symbolleiste für den Bereich mit den Testschritten auf das Symbol Umgebungsmomentaufnahme erstellen. Wenn Sie nun einen Fehler erstellen, wird diesem der Link zu dieser Momentaufnahme der virtuellen Umgebung hinzugefügt.

   Tipp

   Dadurch wird eine Momentaufnahme der einzelnen virtuellen Computer in der Umgebung erstellt. Die Momentaufnahmen werden auf dem physikalischen Host gespeichert, der für den virtuellen Computer verwendet wird. Die Momentaufnahmen belegen keinen physikalischen Speicher auf dem Team Foundation Server-Computer. Dem Fehler oder den Testergebnissen wird lediglich der Link zur Momentaufnahme hinzugefügt.

   Auf der Registerkarte Details für den Fehler wird die Momentaufnahme mit dem folgenden Namen angezeigt: "TC<Testfall-ID>snapshot<Nummer der Momentaufnahme>.lvr". Darüber hinaus werden in den Fehlerdetails Daten und Diagnoseinformationen angezeigt, die auf den virtuellen Computern für die Umgebung gesammelt wurden.

   Tipp

   Der Link zur Momentaufnahme kann auch in den Testergebnissen angezeigt werden.

2. Klicken Sie in Test Runner zum Speichern der Testergebnisse auf Speichern und schließen.

   Die Ansicht Tests ausführen wird angezeigt.

Herstellen einer Verbindung mit einer Momentaufnahme einer virtuellen Umgebung

So stellen Sie eine Verbindung mit einer Momentaufnahme einer virtuellen Umgebung her

1. Um eine Verbindung mit der Momentaufnahme der virtuellen Umgebung aus den Testergebnissen herzustellen, klicken Sie in der Ansicht Tests ausführen in Microsoft Test Manager mit der rechten Maustaste auf einen Test, und zeigen Sie auf Ergebnisse anzeigen.

2. Klicken Sie auf den Link zur Momentaufnahme der Umgebung, der im Testschritt für den Zeitpunkt angezeigt wird, zu dem die Momentaufnahme erstellt wurde.

3. Klicken Sie auf Öffnen, um die Datei zu öffnen.

   Das Dialogfeld Mit Umgebung verbinden wird angezeigt.

4. Wählen Sie in diesem Dialogfeld eine der folgenden Optionen aus:

   1. Um den genauen Zustand der virtuellen Umgebung wiederherzustellen, in dem die Momentaufnahme erstellt wurde, klicken Sie auf Mit Momentaufnahme in dieser Umgebung verbinden.

      Tipp

      Die Auswahl dieser Option kann u. U. dazu führen, dass die Verbindungen der Benutzer getrennt werden, die diese Umgebung derzeit verwenden, und somit zum Verlust ihrer Arbeit. Sie können sich vergewissern, dass keine Warnmeldung aufgrund des Verwendungsstatus der Umgebung vorliegt.

   2. Wählen Sie die Option Mit der Umgebung im aktuellen Zustand verbinden aus, und klicken Sie anschließend auf Verbinden, um eine Verbindung mit der Umgebung im aktuellen Zustand herzustellen, anstatt die bei der Testausführung erstellte Momentaufnahme wiederherzustellen.

      Tipp

      Auch hierdurch könnten Sie die Verbindung eines anderen Benutzers mit dieser Umgebung trennen, aber Sie ändern den Zustand der Umgebung nicht.

   3. Ist in der Bibliotheksfreigabe eine Kopie der Umgebung gespeichert, können Sie eine Kopie der Umgebung erstellen und eine Verbindung mit dieser Kopie herstellen. Dies empfiehlt sich unter Umständen, wenn die Umgebung gerade verwendet wird oder den Testern die Verwendung der Umgebung möglich sein soll. Wenn Sie eine Kopie der Umgebung erstellen und eine Verbindung mit dieser Kopie herstellen möchten, wählen Sie die Option Mit einer neuen Instanz dieser Umgebung verbinden aus.

      Tipp

      Das Erstellen einer Kopie der Umgebung kann sehr zeitaufwändig sein und eine große Menge an Speicherplatz auf der Projektbibliotheksfreigabe beanspruchen. Wenn diese Kopie der Umgebung zur gleichen Zeit gestartet werden kann wie die Kopie des Testers, muss eine Netzwerkisolationsumgebung erstellt werden. Weitere Informationen zu Umgebungen finden Sie unter Erstellen von virtuellen Umgebungen.

5. Wenn Sie über den Fehler eine Verbindung mit der Momentaufnahme der virtuellen Umgebung herstellen möchten, können Sie den Fehler entweder mithilfe von Microsoft Test Manager in der Ansicht Fehler überprüfen oder mithilfe von Microsoft Visual Studio 2010 in der Ansicht Team Explorer öffnen. Anschließend können Sie auf der Registerkarte Details für den Fehler auf den Link zur Momentaufnahme der Umgebung klicken.

   Das Dialogfeld Mit Umgebung verbinden wird angezeigt. Wählen Sie die entsprechende Option wie im vorherigen Schritt dieser Prozedur aus. Wurde die Umgebung als verwendet markiert, wird im Dialogfeld Mit Umgebung verbinden eine Warnmeldung angezeigt.

   Tipp

   Entwickler können über den Fehler eine Verbindung mit der virtuellen Umgebung herstellen, um das Problem zu reproduzieren, damit es schneller behoben werden kann. Wenn Sie die Momentaufnahme einer Umgebung wiederherstellen, kann dies dazu führen, dass die Netzwerkverbindungen zwischen den Computern in der Momentaufnahme nicht mehr funktionieren, und alle Transaktionen, die zum Zeitpunkt der Erstellung der Momentaufnahme verarbeitet wurden, könnten fehlschlagen. Hängt das Reproduzieren eines Fehlers von TCP-Verbindungen ab, die zum Zeitpunkt der Erstellung der Momentaufnahme geöffnet und aktiv waren, können Sie den Fehler möglicherweise nicht reproduzieren.

Siehe auch

Konzepte

Verwenden eines virtuellen Labs für den Anwendungslebenszyklus

Weitere Ressourcen

Testen mithilfe von virtuellen Umgebungen