Dieser Artikel wurde maschinell übersetzt.

Visual Studio 2012

Neuerungen in Microsoft Test Manager 2012

Micheal gelernt
Sudheer Adimulam
Tim Star

In diesem Artikel werden wir einige der neuen Features in Microsoft Test Manager 2012 (MTM), die verwendet werden und "Dogfooded" von den Visual Studio ALM Rangers vorstellen.

Zur Erinnerung, sind die ALM Rangers eine Gruppe von Experten, die Förderung der Zusammenarbeit zwischen der Visual Studio-Produkt-Gruppe, Microsoft Services und Microsoft Most Valuable Professional (MVP) Gemeinschaft durch Adressierung fehlende Funktionalität, Annahme-Blocker entfernen und Veröffentlichen von best Practices und Anleitung basierend auf realen Erfahrungen.

Im folgenden werden Diskussionen über die verschiedenen Features von MTM 2012.

Explorative testen Dies wird manchmal auch als "ad-hoc-Tests," definiert als Software-Tests ohne definierten Skript durchführen. Die Idee ist zum anlehnen, der Kreativität des Testers, Oberfläche Fehler im Vergleich mit einen skriptgesteuerten schrittweisen Testfall für jeden Testlauf und Szenario zu helfen. In der ersten Version von MTM, veröffentlicht im Jahr 2010 wurde das unsystematische Tests über wie ein "explorative Fehlerbericht" über Microsoft Test Runner aktiviert. Das Tool erlaubt, eine Reihe von Aktionen in einem ungeschriebenen Workflow zu erledigen, und sobald ein Fehler gefunden wurde, konnte der Tester wählen Sie verkürzt sich die aufgezeichneten Aktionen auf eine entsprechende Anzahl von Schritten in der Fehler enthalten sein, die eingereicht wurde.

Die Idee war, dass ein Tester sehr viel Zeit die Anwendung verbringen könnte, bevor Sie einen Fehler finden, zu erforschen, und dann die Möglichkeit, die Treppe hinunter zu trimmen des Testers die Freiheit geben würde, den Fehler mit mehr oder weniger Repro-Schritten, basierend auf dem Wissen des Kontexts in einem bestimmten Szenario zu erstellen. Diese Funktionalität gab Tester frei einen Test ausführen ausführen in einem ungeschriebenen Stil des Workflows und nutzen die Funktionen zum Erstellen von einen Bug mit den genauen Repro-Schritten. Tester könnten auch Testfälle aus diesen Schritten erstellen, so dass die Bug-Fix später überprüft werden konnte, durch erneutes Ausführen der skriptgesteuerte Testfall.

Die explorative Prüfungserfahrungen hat mit der Version 2012 erheblich verbessert. In der vorherigen Version erforderlich wie eine explorative Fehlerbericht zuerst mit einen Testfall ausführen von Microsoft Test Runner. Benutzer könnte einen "blindes" Testfall zu erstellen und, als Beispiel nennen sie "Entdecken" oder nutzen Sie einfach einige vorhandenen Testfall. Beide Optionen schien etwas ungeschickt und entdecken Sie unsystematische Tests verfügt über etwas schwierig machte. In der 2012-Version von MTM ein Testfall ist nicht mehr erforderlich für explorative Tests, und es gibt ein paar verschiedene Möglichkeiten explorative Testsitzungen starten. Um loszulegen, einfach mit der rechten Maustaste einer Testsuite im Testplan und wählen Sie "Explore". Benutzer können auch den explorativen testen Aufwand erforderlich, zuordnen die ermöglicht die Bugs und Testfälle, die erstellt werden mit der Anforderung Arbeitsaufgaben verknüpfen. Dazu starten die explorative Sitzung von MTM 2012 aus dem Rückstand Element, wie im Abbildung 1.

Abbildung 1 die Schritte für unsystematische Tests mit MTM

Tester können während der Ausführung der explorativen Testphase, zusätzliche Daten für die Bugs in Form von Screenshots, Kommentare und Dateianhänge erstellen. Das explorative testen Fenster angezeigt, Abbildung 2 bietet eine schöne Erfahrung für Tester. Die große Symbole machen es leicht zu Fehlern und Testfälle und Sie erstellen eingeben und formatieren kann Hinweise in einem frei-Form-Feld. Die Notizen, die Sie geben — und alle Daten erfasst von Testern, wie Screenshots — erhalten nahtlos auf die Fehler oder Testfall hinzugefügt, wie Sie sie erstellen. Benutzer haben die Möglichkeit zum Hinzufügen und Entfernen von Schritte zum abweichen, was während der aufgezeichneten Aktionen aufgezeichnet wurde.

Abbildung 2 explorative Testphase in MTM

Erstellen neue Bugs und Testfälle aus eine explorative Testphase ist ein Beispiel für einen gemeinsamen Workflow, aber Benutzer können auch öffnen und aktualisieren vorhandene manuelle Testfälle und Bugs.

Szenarien für die unsystematische Tests MTM 2012 die Benutzerführung ist schnell und flüssig mit unsystematische Tests MTM 2012. Tester haben die Fähigkeit zum Anhalten und fortsetzen, Tests, die die allgemeine Benutzerfreundlichkeit extrem flexibel macht. Ein Szenario von vielen Organisationen zur Unterstützung von Software-apps verwendet ist zum Feld Kunde telefonieren, während die Unterstützung Agenten oft durch die Anwendung mit einem Endbenutzer gehen zu versuchen, einen Fehler zu reproduzieren. Oft kann der Support-Mitarbeiter Notizen und Screenshots zu nehmen und dann später den Fehler an die Entwickler senden. Die explorative testen Features von MTM 2012 theoretisch Supportmitarbeiter zu Fuß durch die Anwendung über eine explorative Testphase während am Telefon mit einem Endbenutzer aktivieren und dann füttern die Entwicklungsteams die reiche, umsetzbare Fehler effizient. Einmal aus dem Aufruf, Telefon-Support-Mitarbeiter können dann am Ende der Testphase und beginnen eine neue Sitzung mit dem nächsten Aufruf.

Häufig möchten vor der Freigabe der neuen Features zu einer Anwendung oder einer Anwendung, Produkt Besitzer testen Sie die Anwendungen sorgfältig, um sicherzustellen, dass Wanzen freigegeben sind nicht. Durch die Nutzung von unsystematische Tests, können Organisationen den Aufwand für das Erstellen von skriptgesteuerten Testfälle für jedes Szenario entfernen. Eine Gruppe von Testern konnte Zeit der Anwendung, und die Datei Fehler und die Testfälle zu erforschen, da sie zu finden sind. Freiform-Tests kann verringern den Aufwand für mehr testen Bemühungen definiert.

Ein weiteres Beispiel möchten Benutzer möglicherweise eine Anwendung ohne den Overhead von definierten Testfällen einfach aufgrund temporärer Ressourcenprobleme zu testen.

Verbesserte Leistung Dies war ein wichtiges Ziel für die neue Version, und das Produktteam hat eine Menge Arbeit in diesem Bereich gemacht. Anschließen an einen Testplan, Anzeigen von Tests in einer Suite, Microsoft Test Runner, Speichern von Arbeitsaufgaben und erstelle Laborumgebungen haben sich alle verbessert. Zusätzlich zu diesen Verbesserungen wurde Visual Studio Team Foundation Server (TFS)-Proxy-Unterstützung für Anhänge aktiviert Teams verwenden MTM 2012 und TFS Proxy werden jetzt sehen, ähnlich denen in Operationen der Quellcodeverwaltung Leistungsvorteile. Insbesondere werden Anlagen auf dem Proxyserver, sparen die Verbraucher über die Anlage zu warten, bis die Anlage von TFS heruntergeladen werden zwischengespeichert. Ein paar andere kleinen eingeben von Buchungsdaten gehören das Hinzufügen einer "zuletzt verwendete" Liste, aus der Sie ein Benutzer auswählen können, ohne den Umweg über die komplette Liste. Außerdem wird Zuweisen von Konfigurationen erleichtert durch die Bereitstellung einer Liste von Konfigurationen zur Auswahl anstatt eine separate Spalte für jeden.

Testfalleditor Verbesserungen obwohl es nicht offensichtlich ist, der Test Schritte Raster (gezeigt Abbildung 3) wurde komplett neu geschrieben. Funktionen, die zuvor über Hotfix und Feature Packs verfügbar sind nun verfügbar im Produkt standardmäßig. Das Test-Schritte-Raster unterstützt rich-Text und mehrzeiligen Testschritten. Außerdem wird kopieren und Einfügen aus Microsoft Excel oder Microsoft Word, einschließlich mehrzeilige Schritte und rich-Text, unterstützt. Bildschirmimmobilien ist auch besser durch den Wegfall der Rahmen um die Testfall-Felder am oberen Rand des Bildschirms und durch die Bereitstellung eines Splitters zwischen Test Schritte Raster und der Parameter-Region an der Unterseite verwaltet.

Abbildung 3 Test Case Editor Verbesserungen

Klonen von Test-Suites in andere Pläne für neue Iterationen ist eine häufige Frage von MTM Benutzer gewesen, "Wie kopiere ich ohne Verlust Rückverfolgbarkeit ein Testplans durch?" Die Version 2010 von MTM erlaubt Testpläne kopiert werden, was bedeutete, dass neue Test wurde erstellt, aber neue Testfälle wurden nicht erstellt. Stattdessen wurden die vorhandenen Testfälle "durch den neuen Testplan verwiesen". Dies bedeutete, dass den Testfall einen Testfall in einem Plan ändern auch in dem anderen Plan geändert werden. Dies war keine wünschenswerte Verhalten für Teams, die absolute Rückverfolgbarkeit erforderlich. Diese Teams mussten Dienstprogramme von Drittanbietern zu verwenden oder auf einige Low-Level TFS API-Programmierung, um die gewünschten Ergebnisse zu erzielen.

Klonen eines Testplans ist jetzt eine Funktion des TCM.exe, das Test Case Management-Befehlszeilenprogramm. Klonen eines Testplans wird clone der Testfälle, freigegebene Schritte, Testreihen, Tester, Konfigurationen, Aktion Aufzeichnungen, Links, Anhänge und Test Konfigurationen zugewiesen. Testeinstellungen, Testergebnisse und Testläufe werden nicht geklont. Anforderung-basierten Suiten sind auch nicht geklont. Klonen der ursprünglichen Anforderungen und ihnen neue Testfälle zuzuordnen oder neue Testfälle zu alten Anforderungen zuordnen ist ein manueller Vorgang.

Durchführen einer Klon-Operation erfolgt aus TCM.exe innerhalb der Visual Studio-Eingabeaufforderung. Sie müssen die Sammlung, Quelle und Ziel-Suiten und einen Wert für die neue Ziel-Testplan angeben. Sie können optional die Parameter Overridefieldname und Overridefieldvalue um einen neuen Bereichspfad oder Iterationspfad anzugeben, oder benutzerdefinierte Testfall-Felder, die den Testfall Arbeit Elementvorlage hinzugefügt wurden.

Das Tcm.exe Suiten Befehlsformat ist wie folgt:

TCM.exe Suiten sgGUID /collection:CollectionURL Servername /suiteid: ID /destinationsuiteid: ID /overridefieldname: FieldName-/overridefieldvalue: FieldValue

Die folgende Befehlszeile wird eine Suite mit der ID 100 in einer Suite mit der ID 115 kopieren:

TCM.exe Suiten sgGUID Collection: / / MyTFS:8080/Tfs/SampleTPC /teamproject:sampleTeamProject /suiteid:100 /destinationsuiteid:115 /overridefieldname: "Iteration Path" /overridefieldvalue: "Areapath\sprint 2"

Die Auflistung Team Projekt heißt "SampleTPC" und das Teamprojekt trägt den Namen "SampleTeamProject." Die neue Iterationspfad werden "Areapath\sprint 2."

Hinweis: Die Test-Suite-ID finden Sie indem Sie die Test-Suite in der Plan-Inhalt markieren und dann die ID neben dem Namen der Suite auf der rechten Seite in der Kopfzeile oberhalb der Liste von Testfällen anzeigen.

Link zu einer Read-Only-Version eines Testfalles dies jetzt in Microsoft Test Runner vorgesehen ist.Darüber hinaus unterstützt das Beschreibungsfeld Test im Microsoft Test Runner rich-Text, wie in Abbildung 4.

Abbildung 4 Microsoft Test Runner-Erweiterungen

Video Recording Erweiterungen Videorecorder nicht mehr erfordert eine separate Installation, und Benutzer können jetzt optional aktivieren als auch audio aufzeichnen.Audio-Aufzeichnung kann aktiviert oder deaktiviert im Diagnostic Datenadapter für Videorecorder, wie in gezeigt werden Abbildung 5.

Abbildung 5 Aktivierung Audioaufnahme

Navigation im MTM dies in ein paar Möglichkeiten verbessert worden.Sie werden bemerken, gibt es eine Link kopieren-Schaltfläche im gesamten Produkt, bestreut, wie in Abbildung 6.

Abbildung 6 die Taste Copy Link

Klick auf diesen Link wird eine URL in die Zwischenablage kopieren damit Sie jemand Email können ein Hyperlink zu dem Element, das Sie.

Klicken auf einen Hyperlink mit dieser Adresse MTM 2012 startet und bringen den Benutzer direkt auf das Testergebnis mit einer ID identifiziert und ausführen-ID, die in den Hyperlink aufgeführt sind.

Test Plan-Auswahl wurde auch verbessert.Einen Plan aus dem Start-Bildschirm auswählen könnte in der Vorgängerversion schmerzhaft sein, wenn eine große Anzahl von Plänen in der Liste waren.Statt scrollen durch die lange Liste, geben Sie einfach die ersten Buchstaben im Plan, schnell zu den Appro wechseln­entsprechenden Position in der Plan-Liste.

Es war schon immer ein Hyperlink in der oberen rechten Ecke des MTM, die Benutzern erlaubt, zu den Plan-Liste springen.Diese Funktion existiert noch, aber jetzt gibt es ein Hyperlink mit dem Teamprojekt sowie.Springen zu ein Selektionsbild Teamprojekte ist nun auch einen einzigen Klick entfernt.

Herstellen einer Verbindung mit TFS 2010 einen Großteil der Funktionen von MTM — wie Testplanung und Ausführung, Datenerhebung und Verwendung von Laborumgebungen — zwischen nicht übereinstimmende Versionen von MTM und TFS funktionieren.Um MTM 2012 zu verwenden, müssen Sie TFS 2010 SP1 und die neuesten Softwareupdates installieren.Jedoch funktioniert neue Features wie unsystematische Tests nicht, bis Sie TFS 2010 auf TFS 2012 Upgrade.

Berichte MTM bietet verschiedene Arten von Berichten zu verfolgen und messen die Wirksamkeit der Tests.Die Berichte-Hilfe, die Sie herausfinden, welche Testfälle übergeben, fehlgeschlagen oder blockiert wurden.MTM 2012 können Sie die Ergebnisse aus der Registerkarte anzeigen.Es gibt eine Option zum Anzeigen der Ergebnisse, die eine gute Sicht auf den Teststatus Plan Ergebnis gibt.Sie können die Ergebnisse anzeigen basierend auf den Test-Konfiguration oder der Test-Suite, für die Sie die Ergebnisse sehen möchten.Darüber hinaus können Benutzer auch die Ergebnisse auf Grundlage der Tester sehen.Um die Ergebnisse in die Registerkarte anzuzeigen, klicken Sie den Link Ergebnisse, wie in Abbildung 7.Es öffnet sich die Ergebnisse für die letzten Testlauf.

Abbildung 7 Testergebnisse Plan

Datenreduktion reduzieren Last auf TFS Speicher testen im MTM 2010, standardmäßig, wenn die Ergebnisse der Automatisierte Testläufe auf TFS 2010, veröffentlicht werden Bereitstellungselemente und Binärdateien von allen die Testläufe sind hochgeladen.Diese können später erneut Prüfungen und Analysieren von Fehlern verwendet werden.Dieser Ansatz hat einen großen Aufwand hinsichtlich der TFS-Datenbank-Speicher und Performance-Problemen auf der Clientseite während des Öffnens der Testergebnisse.MTM 2012 werden standardmäßig nur die Test-Ergebnis-Dateien und andere Daten-Sammler-Anlagen in der TFS-Datenbank hochgeladen.Nur wenn die Code-Abdeckung oder Test Auswirkungsanalyse aktiviert ist werden die Binärdateien auf TFS 2012 hochgeladen.Diese Binärdateien sind erforderlich für die Codeanalyse.

Kennzeichnung Testfall Ergebnisse im MTM ohne Starten von Microsoft Test Runner In MTM 2010, gibt es keine Option für die Kennzeichnung von mehrere Testfälle als bestanden oder nicht bestanden.Der Tester kann nur den Status eines einzelnen Testfall festlegen, und dies muss im Fenster Microsoft Test Runner erfolgen, die eine mühsame Arbeit ist.Mit MTM 2012 können Tester kennzeichnet einen Testfall-Pass, fehlschlagen oder block direkt auf dem Bildschirm Ausführen von Tests der Registerkarte Test.Der Tester hat auch die Option zum Markieren einer einzelnen Testfall oder mehrere Testfälle als Pass Test, Test Fail oder Block-Test oder Zurücksetzen des Tests auf aktiv (siehe Abbildung 8).

Abbildung 8 Mark RS Testergebnisse in MTM

Manuelle Tests von Windows Store Anwendungen MTM 2012 verbessert die Effizienz der manuellen Prüfung von Windows Store apps.Mit MTM 2012 können Sie Windows-Speicher-Anwendungen testen, die auf einem entfernten Windows 8-Gerät wie einem Tablet oder Windows 8 PC ausgeführt werden.Ihre Test-Schritte auf dem entfernten Windows-8-Gerät ausführen können und gleichzeitig markieren die Schritte wie Erfolg oder Fehlschlag MTM 2012 auf dem lokalen Computer.MTM 2012 hilft Ihnen reiche Aktion Protokolle generieren — mit einem Video und sowohl Text-als auch Beschreibungen Ihrer Aktionen — Schritt für Schritt Darstellungen von Aktionen, die Sie auf dem entfernten Gerät vorgenommen werden.

Manuelles Testen der Windows-Speicher-Anwendungen besteht aus drei Schritten.Der erste Schritt ist die Remote Debugger, Installation des Dienstes Microsoft Test Tools Adapter besteht.Der zweite Schritt ist das entfernte Gerät mit MTM 2012 herstellen.Im dritte Schritt wird die Testfälle von MTM 2012 ausgeführt.

Vor dem Testen Windows Store Anwendungen sicherzustellen Sie, dass der Dienst Microsoft Test Tools Adapter aktiviert ist.Sobald der Dienst, MTM 2012 aktiviert ist, Verbinden des Testplans wo haben Sie Ihre Testsuite.Das Testing Center, klicken Sie auf den ändern-Link neben "testet Perform Handbuch über" das entfernte Gerät zum Ausführen von manuellen Tests angeben (siehe Abbildung 9).Wählen Sie die Option "Remote Device..." und geben Sie den Namen oder die IP-Adresse des Geräts, die Sie testen möchten.Klicken Sie auf Test, um die Verbindung zu testen und dann speichern Sie die Änderungen.

Abbildung 9 Manuelles Testen der Windows-Speicher-Anwendungen

Sobald die Verbindung hergestellt ist, können Sie den manuellen Testfall ausführen.Microsoft Test Runner öffnet sich ein Dialogfenster "Perform Handbuch tests mit" mit Optionen auf Test starten oder installieren Anwendung.Install-Anwendung wird eine remote-Installation von der Windows-Speicher-app auf dem Gerät Windows 8 tun, die ein drei-Stufen-Prozess der Kopieren von Dateien, Zertifikate installieren und die Installation der Anwendung ist.Durch Klicken auf die Start-Option wird die Test-Schritte MTM Fenster angezeigt wo Sie sie markieren können als bestanden oder nicht bestanden.Während der Ausführung der Schritte in der entfernten Maschine, können nehmen Sie Screenshots der Bugs und Fehler zu erstellen.

Verbesserte Action Protokolle für Windows Store Apps mit MTM 2012, generieren Sie reiche Aktion Protokolle mit sowohl Text-als auch Beschreibungen der Aktionen, die durchgeführt wurden, auf dem Windows-Speicher-Anwendungen oder Internet Explorer 10.Die Aktion-Log-Dateien enthalten Screenshots für jedes Schritt Aktion durchgeführt während der Testdurchführung und die Dateien werden als HTML-Dateien gespeichert und können im Browser angezeigt werden.Auf eine Miniaturansicht im Bild Action-Log zeigt eine Vollbild-Bild der ausgeführten Aktion (siehe Abbildung 10).Verbesserte Action-Log erleichtert die reproduzierenden Fehler.Der Benutzer kann die genauen Schritte, die der Tester sehen, und diese Protokolle werden angezeigt, wenn ein Fehler durch Microsoft Test Runner oder das explorative testen Fenster gesendet wird.

Abbildung 10 erweiterte Action Protokolle für Windows Store Apps (Quelle: Visual Studio ALM + Team Foundation Server Blog unter bit.ly/NV0Eru.)

Achten Sie darauf, diese und viele weitere Funktionen in MTM 2012, zu erkunden, vor allem, wenn Sie für die Messlatte Qualität der Lösungen und testen sie verantwortlich sind.

Sudheer Adimulam Test Consultant bei Microsoft Services – Global Delivery, und arbeitet als Visual Studio ALM Ranger.Er hat einen Master in Computeranwendungen und ist ISTQB, CSQA, MCSD und MCTS.

Micheal Learned ist ein leitender premier Feld Engineer Entwickler bei Microsoft und arbeitet als Visual Studio ALM Ranger.Er konzentriert sich auf die Unterstützung von Microsoft-Kunden mit .net Framework Entwicklung und Application Lifecycle Management.Er kann auf Twitter, twitter.com/mlhoop, erreicht werden.

Tim Star ist wichtigster Berater bei Intertech Inc., Schulungen, consulting und Visual Studio ALM im Mittelpunkt.Er hat einen Bachelor-Abschluss in Elektrotechnik und ist MCPD, MCTS, MCT, Visual Studio ALM externe Ranger und dreimaliger MVP-Preisträger.

Unser Dank gilt den folgenden technischen Experten für die Durchsicht dieses Artikels: Mathew Aniyan, Nivedita Bawa, Willy-Peter Schaub und Charles Sterling