Wettbewerbsanalyse mit dem MAGIQ-Verfahren

Veröffentlicht: 01. Okt 2006 | Aktualisiert: 10. Okt 2006

Von Dr. James McCaffrey , Nasa Koski

Bei der Wettbewerbsanalyse, einer wichtigen Softwaretestmethode, wird Ihr Softwaresystem unter Testbedingungen mit konkurrierenden Systemen verglichen. Selbst wenn kein System mit Ihrem System explizit in Konkurrenz steht, können Sie vorherige Builds Ihres eigenen Systems als implizit konkurrierende Systeme ansehen. Das Ziel besteht darin, die Gesamtqualität Ihres Softwaresystems mit ähnlichen Systemen zu vergleichen. Im Vordergrund steht dabei die Gesamtqualität, die sich nicht so leicht messen lässt. Sie müssen eine Vielzahl unterschiedlicher Attribute berücksichtigen, wie beispielsweise Funktionalität, Sicherheit und Verwendbarkeit. Sie müssen bestimmen, wie die einzelnen Attribute jedes Systems zu bewerten sind, und eine Möglichkeit finden, sämtliche Attributbewertungen in nur einer Qualitätsmetrik für die einzelnen Systeme zu kombinieren.

Im Artikel dieses Monats bemühen sich Dr. James McCaffrey und Nasa Koski, eine leitende Mitarbeiterin im Bereich Softwaretests im Unternehmensbereich MSN® von Microsoft, um eine gemeinsame Problemanalyse und stellen eine Methodik vor, mit der die über Messung und Wahrnehmung erhobenen Daten in leichter vergleichbare statistische Zahlen oder Metriken übertragen werden sollen.

Sie präsentieren und erläutern eine leistungsfähige, doch sehr einfache Methode namens MAGIQ (Multi-Attribute Global Inference of Quality, Globale Rückschlüsse auf die Qualität anhand mehrerer Attribute). Mit diesem Verfahren können Sie die Gesamtqualität Ihres Softwaresystems unter Testbedingungen berechnen und dadurch eine Wettbewerbsanalyse vornehmen.

Auf dieser Seite

Das MAGIQ-Verfahren
Problemstellung
Festlegen von Gewichtungen der Attribute
Vergleichen der einzelnen Systeme in Bezug auf die einzelnen Attribute
Endgültige Auswertung
MAGIQ im Vergleich zu AHP
Senden Sie Fragen und Kommentare in englischer Sprache an testrun@microsoft.com.

Das MAGIQ-Verfahren

Das MAGIQ-Verfahren ist sehr allgemein und lässt sich auf nahezu alle Systemtypen anwenden, einschließlich herkömmlichen Anwendungen, Webanwendungen, Klassenbibliotheken usw. Angenommen, Sie arbeiten an der Entwicklung eines Softwaresystems namens SystemA zur Durchführung von Intranetsuchen. Stellen Sie sich vor, Sie möchten dieses System im Vergleich zu vier konkurrierenden Systemen bewerten: SystemW, SystemX, SystemY und SystemZ. Mit dem MAGIQ-Verfahren sind Sie in der Lage, Metriken zu berechnen, wie in Abbildung1 dargestellt.

Abbildung1 zeigt den Vergleich der fünf Softwaresysteme auf Basis der Attribute "Performance" für die Leistung des Systems und "Accuracy" für die Genauigkeit des Systems. Beide Attribute haben wiederum Unterattribute. Mit einer Qualitätsmetrik von 0,3479 hat SystemX die höchste und SystemW mit 0,0667 die niedrigste Gesamtqualität. Auf Basis dieser Ergebnisse lässt sich die Schlussfolgerung ziehen, dass Ihr Produkt, d.h. SystemA, derzeit das zweitbeste der fünf Systeme ist. In den folgenden Abschnitten wird die Problemstellung beschrieben, die zu den in Abbildung1 dargestellten Ergebnissen führt, und erläutert, wie das MAGIQ-Verfahren anzuwenden ist. Außerdem wird beschrieben, wie die Ergebnisse des Verfahrens zu interpretieren sind, und erklärt, wie Sie dieses Verfahren an Ihre eigenen Anforderungen anpassen können. Unserer Auffassung nach werden Sie die Möglichkeit, eine Wettbewerbsanalyse rasch durchführen zu können, als eine wichtige zusätzliche Methode zu Ihren Softwaretests und Projektmanagementfähigkeiten ansehen.

Problemstellung

In der Praxis nutzen wir das MAGIQ-Verfahren meist für den Vergleich relativ ähnlicher Systeme, um die relative Produktqualität zu messen. Wir haben es jedoch auch für den Vergleich verschiedener Builds eines bestimmten Systems verwendet und den Qualitätsfortschritt gemessen. Um die Gesamtqualität bestimmter Softwaresysteme vergleichen zu können, müssen viele Attribute des Systems berücksichtigt werden. Bei dem in diesem Artikel als Beispiel vorgestellten Intranetsuchsystem werden nur die Attribute "Performance" und "Accuracy" berücksichtigt. In einem realistischen Szenario müssten auch Attribute für Sicherheit, Funktionalität, Verwendbarkeit usw. berücksichtigt werden. Das MAGIQ-Verfahren ist sehr anpassungsfähig und kann mit beliebig vielen Attributen arbeiten.

Nun wird das Attribut "Performance" in drei Unterattribute aufgeteilt: "Startup performance" für die Startleistung, "Search performance" für die grundlegende Suchgeschwindigkeit und "Save performance" für die Speicherleistung. Ferner wird das Attribut "Accuracy" in die Unterattribute "Top-result accuracy" (für die Genauigkeit und Güte des ersten Suchergebnisses) und "First-screen accuracy" (für die Güte und Genauigkeit der ersten ca. 10Suchergebnisse, die im ersten Ergebnisbildschirm angezeigt werden) unterteilt. Wie weiter unten erläutert, lässt MAGIQ eine Aufgliederung in die von Ihnen gewünschte Anzahl von Attributebenen zu.

Das Ziel besteht darin, einen einzelnen numerischen Wert für die Gesamtqualität jedes einzelnen Softwaresystems zu ermitteln. Nachdem Sie sich für die als Qualitätskriterien zu verwendenden Attribute entschieden haben, legen Sie fest, wie die einzelnen Systeme in Bezug auf die einzelnen Attribute verglichen und wie diesen Informationen Werte zugeordnet werden sollen. Abschließend überlegen Sie sich, wie alle diese Daten in einer sinnvollen, aussagekräftigen Gesamtqualitätsmetrik gebündelt und wie die Ergebnisse interpretiert werden sollen.

Abbildung2 zeigt das Beispiel in Form eines Diagramms. Die Diagrammform mag zwar im Vergleich zu beispielsweise einer Tabelle seltsam erscheinen; doch durch diese Darstellungsform lassen sich einige der MAGIQ-Berechnungen leichter verstehen, wie weiter unten erläutert. Tendenziell mögen Softwareentwickler zwar leichte Schwierigkeiten haben, die Diagrammform zu interpretieren, weil die hierarchische Struktur andere Elemente (Problem, Attribute, Systeme) als die üblichere Struktur miteinander kombiniert, die sich auf ähnliche Elemente (Verzeichnisse und Dateien) bezieht. Doch letztendlich ist jede Problemstellung akzeptabel, solange sie vermittelt, worin das Problem besteht und welche Attribute als Grundlage für den Vergleich bei der MAGIQ-Analyse verwendet werden.

Abbildung2: Problemdarstellung in Form eines hierarchischen Diagramms

Anhand eines Problemdiagramms oder einer Problemtabelle können Sie insbesondere Personen außerhalb Ihrer Gruppe auf einfache Weise genau vermitteln, worin Ihre MAGIQ-Qualitätsmetrik besteht. Ein weiterer Vorteil besteht darin, dass Sie sehr genau analysieren müssen, welche Faktoren als Vergleichskriterien verwendet werden sollen. Bei diesem Prozess treten häufig Aspekte zutage, die Sie u.U. außer Acht gelassen haben.

Festlegen von Gewichtungen der Attribute

Im nächsten Schritt müssen Sie die relativen Gewichtungen der einzelnen Vergleichsattribute festlegen. In den meisten Fällen sind bestimmte Attribute wichtiger als andere. So kann beispielsweise die generelle Systemleistung wichtiger sein als die generelle Genauigkeit oder umgekehrt. Das MAGIQ-Verfahren nutzt ein interessantes Konzept, so genannte ROCs (Rank Order Centroids, Rangordnungs-Mittelwerte). ROCs bieten eine Möglichkeit, die Rangordnung (z.B. erster, zweiter, dritter Rang) in eine Bewertung oder Gewichtung, d.h. in numerische Werte (z.B. 0,6, 0,3, 0,1) umzuwandeln.

Bei diesem Beispiel werden zunächst die übergeordneten Attribute für Leistung und Genauigkeit, näher untersucht. Die Einstufung erfolgt von den wichtigsten Attributen zu den Attributen, denen die geringste Bedeutung zukommt. Bei diesem Beispiel wird festgelegt, dass die generelle Genauigkeit am wichtigsten (erstrangig) und die Gesamtleistung am zweitwichtigsten (zweitrangig) ist. Dann wird jeweils das ROC für diese beiden übergeordneten Attribute berechnet.

Accuracy:      w1 = (1 + 1/2) / 2 = 0.7500
Performance:   w2 = (0 + 1/2) / 2 = 0.2500

Die Berechnungen werden weiter unten näher erläutert. Sie ergeben, dass der "Accuracy" eine Gewichtung von 0,7500 und der "Performance" eine Gewichtung von 0,2500 zugewiesen wird. Danach werden die ROCs für jede Unterattributgruppe berechnet. Für die drei leistungsspezifischen Unterattribute wird festgelegt, dass "Search performance" am wichtigsten, "Startup performance" am zweitwichtigsten und "Save performance" am drittwichtigsten ist. Die Gewichtungen sehen also folgendermaßen aus:

Search performance:     w1 = (1 + 1/2 + 1/3) / 3 = 0.6111
Startup performance:    w2 = (0 + 1/2 + 1/3) / 3 = 0.2778
Save performance:       w3 = (0 +  0  + 1/3) / 3 = 0.1111

Für die beiden genauigkeitsspezifischen Unterattribute wird festgelegt, dass "Top-result accuracy" am wichtigsten und "First-screen accuracy" am zweitwichtigsten ist. Diese Gewichtungen werden also berechnet:

Top-result accuracy:    w1 = (1 + 1/2) / 2 = 0.7500
First-screen accuracy:  w2 = (0 + 1/2) / 2 = 0.2500

Nachfolgend wird die Berechnung der ROCs erläutert. Das Berechnungsmuster ist relativ leicht zu verstehen, insbesondere wenn man sich die Berechnung für einen Satz von vier Elementen näher ansieht:

w1 = (1 + 1/2 + 1/3 + 1/4) / 4 = 0.5208
w2 = (0 + 1/2 + 1/3 + 1/4) / 4 = 0.2708
w3 = (0 +  0  + 1/3 + 1/4) / 4 = 0.1458
w4 = (0 +  0  +  0  + 1/4) / 4 = 0.0625

Beachten Sie, dass die ROC-Werte in der Addition 1,0 (Rundungsfehler vorbehalten) ergeben. Als Sigma ausgedrückt, bedeutet dies: Wenn N die Anzahl der Attribute ist, dann ist die Gewichtung des kth-Attributs:

[ ] / N

Dies lässt sich leicht berechnen. Abbildung3 zeigt den Beispielcode für eine einfache C#-Implementierung ohne Fehlerprüfung.

Die Ausführung des Codes in Abbildung3 für N=5 ergibt die folgenden ROCs:

N = 5
----------
w1 = 0.4567
w2 = 0.2567
w3 ? 0.1567
w4 = 0.0900
w5 = 0.0400

Beachten Sie, dass es für jeden bestimmten Wert vonN auch NGewichtungen gibt und dass die Werte dieser Gewichtungen stets identisch sind. Statt jedes Mal die Gewichtungen für einen bestimmten Wert vonN zu berechnen, nehmen Sie also eine MAGIQ-Analyse vor, um einen Satz von Tabellen für mehrere Werte vonN zu erstellen. Beispiel:

N = 2
-----------
w1 = 0.7500
w2 = 0.2500


N = 3
-----------
w1 = 0.6111
w2 = 0.2778
w3 = 0.1111

Sobald Sie diese Tabellen erstellt haben, nehmen Sie bei Bedarf einfach eine (Tabellen-) Suche vor. Diese Vorgehensweise eignet sich insbesondere, wenn Sie die Durchführung einer Wettbewerbsanalyse mithilfe des MAGIQ-Verfahrens auf mehrere Mitglieder Ihres Teams aufteilen. Nähere Informationen über die Berechnungen finden Sie in der Randbemerkung "Die ROCs (Rank Order Centroids, Rangordnungs-Mittelwerten) zugrunde liegende Mathematik".

Vergleichen der einzelnen Systeme in Bezug auf die einzelnen Attribute

Im nächsten Schritt werden die einzelnen Systeme auf Basis der einzelnen Vergleichsattribute der untersten Ebene verglichen. Bei diesem Beispiel bedeutet dies, dass SystemA im Vergleich zu SystemW im Vergleich zu SystemX im Vergleich zu SystemY im Vergleich zu SystemZ in Bezug auf jedes der fünf Vergleichsattribute eingestuft wird: "Startup performance", "Search performance", "Save performance", "Top-result accuracy" und "First-screen accuracy". Dieser Prozess ist absolut identisch mit dem Prozess des Attributvergleichs. Zuerst wird die Rangordnung der einzelnen Unterattribute festgelegt. Dann werden die Rangordnungen mithilfe von ROCs in Prioritätsgewichtungen umgerechnet. Für die "Startup performance" wird beispielsweise festgelegt, dass mein SystemA das beste, SystemX das zweitbeste, SystemY das drittbeste, SystemW das viertbeste und SystemZ das fünftbeste ist. Dann ergeben sich folgende ROCs für die "Startup performance":

System A: 1st: w1 = (1 + 1/2 + 1/3 + 1/4 + 1/5) / 5 = 0.4567
System X: 2nd: w2 = (0 + 1/2 + 1/3 + 1/4 + 1/5) / 5 = 0.2567
System Y: 3rd: w3 = (0 +  0  + 1/3 + 1/4 + 1/5) / 5 = 0.1567
System W: 4th: w4 = (0 +  0  +  0  + 1/4 + 1/5) / 5 = 0.0900
System Z: 5th: w5 = (0 +  0  +  0  +  0  + 1/5) / 5 = 0.0400

Für die "Search performance" wird festgelegt, dass die Rangordnung der Systeme vom besten zum schlechtesten, d.h. Y, A, X, Z, W lautet. Bei der "Save performance" ist die Rangordnung A, Y, Z, W,X. Für die "Top-result accuracy" wird festgelegt, dass die Rangordnung der Systeme X, A, Z, Y, W lautet. Bei der "First-screen accuracy" werden die Systeme in der Rangordnung Z, X, W, A, Y eingestuft. Die Tabelle in Abbildung4 enthält eine Zusammenfassung dieser Rangordnungen. Anhand dieser Rangordnungen werden die relativen Gewichtungen der einzelnen Systeme mithilfe der weiter oben bereits beschriebenen ROCs berechnet.

Endgültige Auswertung

Nach dem Festlegen der Problemstellung, Berechnen der attributspezifischen Prioritätsbewertungen und Berechnen der systemspezifischen Vergleichsbewertungen besteht der letzte Schritt darin, sämtliche Zwischendaten in einer abschließenden Auswertungsmetrik zusammenzufassen. Dieser Vorgang lässt sich am einfachsten anhand eines Beispiels erläutern. Wenn man die Zwischenergebnisse in einer Tabelle erfasst, erhält man das in Abbildung5 dargestellte Ergebnis.

Der endgültige Wert für die Gesamtqualität von SystemA ist:

(.2500)(.2778)(.4567) +
(.2500)(.6111)(.2567) +
(.2500)(.1111)(.4567) +
(.7500)(.7500)(.2567) +
(.7500)(.2500)(.0900) = 0.2449
 

Die endgültige Qualitätsmetrik für jedes System entspricht der gewichteten Summe seiner Attributrangordnungen, die sich ermitteln lässt, indem man der Attributstruktur zum Wert für das System folgt. Bei SystemA kann dies wie folgt ausgedrückt werden:

(PerformanceRank * StartRank * SystemA_StartRank) +
(PerformanceRank * SearchRank * SystemA_SearchRank) +
(PerformanceRank * SaveRank * SystemA_SaveRank) +
(AccuracyRank * TopResultRank * SystemA_TopResultRank) +
(AccuracyRank * FirstScreenRank * SystemA_FirstScreenRank)

Dieser Ausdruck sieht komplizierter aus, als er in Wahrheit ist. Wenn Sie die Zahlen in der Berechnung oben mit der Attributstruktur in Abbildung2 abgleichen, erkennen Sie genau, wie die Berechnung funktioniert. Nach dem gleichen Prinzip lautet der endgültige Wert für die Qualität von SystemW:

(.2500)(.2778)(.0900) +
(.2500)(.6111)(.0400) +
(.2500)(.1111)(.0900) +
(.7500)(.7500)(.0400) +
(.7500)(.2500)(.1567) = 0.0667

Die endgültigen Qualitätsmetriken für die SystemeX, Y undZ werden auf ähnliche Weise berechnet und ergeben das in Abbildung1 dargestellte Ergebnis. Beachten Sie, dass die Struktur der in Abbildung5 dargestellten Tabelle die Diagrammform der in Abbildung2 dargestellten Problemaussage widerspiegelt.

Jetzt kann die Qualität der fünf Systeme interpretiert werden. Da die MAGIQ-Qualitätswerte in der Summe1,0 ergeben, können Sie die einzelnen Systeme anhand ihrer Gesamtqualitätsmetrik vergleichen. Mit 0,3479 ist SystemX eindeutig das beste System. Mit 0,0667 ist SystemW eindeutig das schlechteste System. SystemA ist das zweitbeste, gefolgt von SystemZ und danach SystemY. Die Genauigkeit der vierstelligen Dezimaldaten ist etwas trügerisch. Da die ursprünglich für die Rangordnung eingegebenen Daten so grob sind, sollten Sie unserer Erfahrung nach nur mit zweistelligen Dezimalzahlen arbeiten. Außerdem empfiehlt es sich, MAGIQ-Daten in erster Linie zur Überwachung von Trends zu verwenden. Eine einzelne MAGIQ-Analyse mag zwar wertvolle Informationen bieten; doch wenn Sie mit der Zeit eine Reihe von MAGIQ-Analysen durchführen, erhalten Sie zusätzliche Informationen über die relative Qualität Ihrer getesteten Systeme.

Bei der Interpretation der Größenordnung der MAGIQ-Qualitätsmetrik ist Vorsicht geboten. Im vorliegenden Beispiel hat SystemX eine Gesamtqualitätsmetrik von 0,3479 und SystemA von 0,2449. Die Behauptung, dass SystemA im Vergleich zu SystemX mit (0,3479-0,2449)/0,3479= 30Prozent schlechter als SystemX ist, ist mathematisch gesehen korrekt. Die Größenordnungen der Qualitätsmetrik hängen jedoch teilweise von der Anzahl der Systeme ab, die verglichen werden. Angenommen, Sie vergleichen nur vier anstelle von fünf Systemen. Vermutlich erhielten Sie dann die gleiche Ergebnisreihenfolge. Doch die Größenordnungen wären unterschiedlich. Daher wäre auch die relative Differenz zwischen den Qualitätsmetriken unterschiedlich. Wenn Sie MAGIQ als eines Ihrer Verfahren für die Wettbewerbsanalyse anwenden, werden Sie rasch ein intuitives Gespür dafür entwickeln, was die Größenordnungen Ihrer Metriken bedeuten. Beim Vergleich von vier oder fünf Softwaresystemen hat sich als Faustregel herausgestellt, dass eine Differenz von0,10 zwischen zwei Systemen erheblich ist (im normalen Sprachgebrauch des Wortes, also nicht im statistischen Sinne).

Es gibt ein weiteres Argument, das für die Verwendung von ROCs spricht. Angenommen, Sie haben nur zwei Elemente, nämlich A undB, die als erst- bzw. zweitrangig eingestuft werden. Da Sie wissen, dass A besser als B ist, müsste die Bewertung vonA etwa zwischen 0,5 und1,0 und die Bewertung vonB etwa zwischen 0,0 und0,5 liegen. Wenn Sie jeweils den Mittelwert dieser beiden Bereiche nehmen, erhalten Sie 0,7500 und 0,2500 wie bei ROCs. Bei nur zwei Elementen arbeiten Sie im Wesentlichen auf einer eindimensionalen Linie. ROCs verallgemeinern dieses Konzept in einem n-dimensionalen Raum.

Ein zu berücksichtigender Aspekt besteht darin, wie bei verknüpften Rangordnungen für Vergleichsattribute oder zu vergleichende Systeme vorzugehen ist. In diesem Fall berechnen Sie ROCs für die verknüpften Attribute oder Systeme, indem Sie ein Attribut oder System willkürlich höher als das andere einstufen und dann den Mittelwert der sich daraus ergebenden Werte für die Bewertung nehmen. Anhand des folgenden Beispiels erkennen Sie schnell, was gemeint ist. Angenommen, Sie vergleichen die vier SystemeA, B, C undD in Bezug auf dasselbe Attribut (beispielsweise in Bezug auf die Authentifizierungssicherheit). Sie legen fest, dass SystemA das beste ist, dass SystemeB undC miteinander verknüpft sind und dass SystemD das viertbeste ist. Ohne die Verknüpfung sind die ROC-Gewichtungen w1=0,5208, w2=0,2708, w3=0,1458 und w4=0,0625. Sie nehmen die Werte für die verknüpften Systeme (w2 undw3), berechnen ihren Mittelwert (0,2708+0,1458/2=0,2803) und verwenden diesen Mittelwert dann für jedes der verknüpften Systeme.

MAGIQ im Vergleich zu AHP

Das MAGIQ-Verfahren ist eng verwandt mit einem multiattributiven Verfahren namens Analytischer Hierarchieprozess (AHP). Im Testlauf wurde in der Ausgabe des MSDN®-Magazins vom Juni2005 die Verwendung von AHP für die Buildqualität beschrieben (siehe msdn.microsoft.com/msdnmag/issues/05/06/TestRun, möglicherweise in englischer Sprache). Ursprünglich haben wir MAGIQ als Methode zur Validierung der Buildqualitätsmetrik entwickelt, die mithilfe des AHP ermittelt wird. Beim Analytischen Hierarchieprozess wird ein Problem auf sehr ähnliche Weise wie bei MAGIQ aufgegliedert. Anstelle von ROCs verwendet AHP jedoch eine Paarvergleichsmethode. Paarvergleiche führen zu genaueren Attributgewichtungen als ROCs, sind allerdings sehr zeit- und arbeitsaufwendig. Bei beispielsweise 7Systemen und 10Vergleichsattributen müssten Sie 21Vergleiche pro System multipliziert mit 10Attributen, also insgesamt 210Vergleiche durchführen. Wir haben schnell festgestellt, dass unsere MAGIQ-Ergebnisse nahezu perfekt mit unseren AHP-Ergebnissen übereinstimmen. Aus diesem Grund sind wir dazu übergegangen, das schnellere MAGIQ-Verfahren auf täglicher Basis und AHP nur einmal pro Woche zur Validierung unserer MAGIQ-Metrik zu verwenden.

Ein weiterer Vorteil des MAGIQ-Verfahrens liegt darin, dass es leicht zu verstehen ist. Nach nur kurzen Erklärungen (oder durch diesen Artikel) kann jedes Mitglied in Ihrem Team lernen, wie eine MAGIQ-Analyse durchzuführen ist. Dadurch können Sie die Aufgaben für eine Wettbewerbsanalyse auf mehrere Personen aufteilen oder mehrere Auswerter haben. Die Tatsache, dass mehrere Personen in Ihrem Team eine Wettbewerbsanalyse nach dem MAGIQ-Verfahren durchführen können, fördert auch Motivation und Teamgeist, da die Teammitglieder an der Entwicklung des gesamten Systems mitwirken.

Obwohl wir das MAGIQ-Verfahren bereits bei mehreren wichtigen Softwareprodukten angewandt haben, wurde es bislang noch nicht ernsthaft wissenschaftlich untersucht oder erforscht. Trotzdem sind wir der Auffassung, dass Sie MAGIQ als eine extrem nützliche Ergänzung zu anderen herkömmlichen Verfahren zur Prüfung der Softwarequalität, wie z.B. der Metrik zur Zählung von Bugs, ansehen werden. Auf Basis unserer Erfahrung sollten Sie sich nicht nur auf eine einzige Softwaresystem-Qualitätsmetrik oder auf ein Verfahren verlassen. Da sich die Softwareentwicklungsumgebung kontinuierlich weiterentwickelt, werden Verfahren wie MAGIQ zu immer wichtigeren Komponenten für Ihre Softwareentwicklungsfähigkeiten.

Senden Sie Fragen und Kommentare in englischer Sprache an testrun@microsoft.com.

Dr. James McCaffrey arbeitet für Volt Information Sciences Inc. und organisiert technische Schulungen für Softwareentwickler von Microsoft. Er hat an verschiedenen Microsoft-Produkten mitgearbeitet, unter anderem Internet Explorer und MSN Search. Sie erreichen James unter jmccaffrey@volt.com oder v-jammc@microsoft.com.

Nasa Koski ist eine leitende Mitarbeiterin im Bereich Softwaretests von Microsoft. Derzeit leitet Sie ein Team von Systementwicklern bei MSN, die ihr Systemfachwissen und entwicklungsspezifisches Know-how in einer umfangreichen Laborumgebung einbringen. Sie erreichen Nasa Koski unter nasak@microsoft.com.