Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 1LM 13 Testumgebungen - Abnahmetests Testumgebungen

Universität Stuttgart

Institut für Kernenergetik und Energiesysteme

LE 3.2 Qualitätsmanagement LM 13 Testumgebungen - Abnahmetests Folie 1

Testumgebungen - Abnahmetests

Inhalt

• Testen des Systems unter Mitwirkung des Auftraggebers in der realen Einsatzumgebung ggf. mit echten Daten

• Typische Testfälle

• Beim Abnahmetest zu beachtende Punkte

• Abnahmearten bei großen Systemen




Das sollten Sie heute lernen• Die Entwicklung grosser Softwaresysteme endet in der Regel mit einer

Werkabnahme. Dadurch wird nachgewiesen, dass in einer gemeinsam mit dem Auftraggeber definierten Umgebung die vertraglich festgelegten Funktionalitäten des Systemes realisiert wurden.

• Die Funktionalitäten werden über Testitems beschrieben. Testprozeduren beschreiben darauf aufbauend die zum Test notwendigen Voraussetzungen, die Durchführungsschritte und das erwartete Verhalten.

• Im Lehrmodul wird versucht die Verbindung des Abnahmetests mit der Spezifikation zu verdeutlichen und Erfahrungen aus Werkabnahmen grosser objektorientierter Systeme zu vermitteln.

• Der Test großer Systeme muß durch Testumgebungen unterstützt werden. An Hand einer ausgewählten Testumgebung (z.B. Test Studio von Rational) sollen die Vorteile solcher Tools erläutert werden.

• Der Einsatz des Tools wird an Beispielen wie etwa Funktions-, Regressions- und Performancetests gezeigt.




Abnahmetest

Abnahmetest

Auftraggeber überprüft die (vertraglich vereinbarten) Abnahmekriterien

Wartung verbleibt bei Auftragnehmer: Benutzbarkeit, Effizienz, Zuverlässigkeit,

Korrektheit, … werden getestet

Wartung geht auf Auftraggeber über: zusätzlich spielen Wartbarkeit, Portierbarkeit, Testbarkeit, Erweiterbarkeit, … eine wichtige Rolle

Abnahmeprotokoll:

In ihm werden die durchgeführten Abnahmetests und ihre Ergebnisse festgehalten.

Abnahme:

Schriftliche Erklärung der Annahme des Softwareprodukts (im juristischen Sinne).




Vorgehensweise bei der Wartung




Fehlervermeidung und -suche im Überblick




Der Testprozess als Bestandteil des SE Prozesses:




Übersicht „automatisiertes Testen“ Vorbereitung

• Auswahl und Erfassung der Testfälle• Zuordnung der Verantwortlichkeiten• Festsetzung eines Testkandidaten (TC)• Freigabe von Testfällen• Erstellung von automatisierten

Testskripten

Durchführung• Automatisierte bzw. manuelle Abarbeitung

der• definierten Testfälle (Regressionstest)• Ergebnissicherung• Melden und Verfolgen von Fehlern

Auswertung• Erstellung/Generierung von

Testprotokollen• Analyse und Auswertung der

Testprotokolle ->Testbericht

WerkzeugeTestfall-DatenbankTestfall-DatenbankClearCase (KM-Werkzeug)Testfall-DatenbankRational TestStudio (RT) - RobotRT Manager/ExecutionRT Manager/Results und ClearCaseGNATS-ProblemdatenbankWord/CrystalReports bzw. SoDAExcel/CrystalReports




Grundsätzlicher Arbeitsablauf Capture/Replay




(1) Auswahl und Erfassung der Testfälle• Die Spezifikation von abnahmerelevanten Testfällen wird vom AG vorgenommen.• In IMIS wird eine Access-basierte Testdatenbank zur Verwaltung der Testfälle verwendet.• Zu jedem Testfall wurden die Vorbedingungen, die durchzuführenden Testschritte mit Eingabedaten und die zu

erwartenden Systemreaktionen (Ergebnis) auf Maskenebene beschrieben.




(2) Freigabe von Testfällen durch den Entwickler• Die Verantwortlichkeiten für die Testfälle wurden durch die TPL festgelegt

• Jeder Entwickler hat Zugriff auf die Testfälle (analog /digital) und kann unter Nutzung der Testfall-DB Berichte mit der Beschreibung des Testfalles generieren

• Der Entwickler überprüft, ob die notwendige Funktionalität zur Ausführung eines Testfalles zur Verfügung steht. Wenn ja, setzt der Entwickler diesen Testfall in der Testfall-DB – unter Angabe des IntegrationRequest (IR)- auf testbar




(3) Testkandidat• Der KM-Verantwortliche stellt in regelmäßigen Abständen (Fertigstellungsgrad, Stand der

Fehlerbehebung) einen Testkandidaten (TC) zur Verfügung. Dieser wird in ClearCase als solcher gekennzeichnet (TC-JJMMDD-HHMM)

• In der Testfall-DB steht dem Testteam ein Bericht mit der Übersicht der freigegebenen Testfälle für den jeweiligen Testkandidaten (TC) zur Verfügung.




(4) Erstellung automatisierter Testskripte

• Mit dem RationalRobot werden Testscripte mittels „Capture und Replay“ Technik generiert. Dazu werden die Testfälle Schritt für Schritt abgearbeitet und anschließend - wo dies notwendig ist - manuell editiert.

• Prüfpunkte

• Synchronisationspunkte




(5) Testplan und Testsuiten

• Ist ein Script implementiert wird dies im Testplan dem jeweiligen Testfall zugeordnet

• Skripte und Testpläne sind in einem Testprojekt abgelegt, dass für alle Teammitglieder zugreifbar ist

• Regressionstest: Die Testscripte sollen möglichst Modular aufgebaut sein. Sie werden in TestSuiten kombiniert. Die TestSuiten werden für jeden Testkandidaten ausgeführt




(6) Ergebnissicherung

• LOG-Files: Für jeden Testfall (Suite), der mit dem Rational TestManager wiederholt wird, erzeugt das Werkzeug ein LOG-File. Die LOG-Files werden in Ordnern, deren Namen den Testkandidaten entsprechen, archiviert. Das LOG-File hat drei Konkretisierungsstufen.

• 1. Test Case Results: Gesamtergebnis

• 2. Test Case Details: Detailergebniss

• 3. Fehlerbeschreibung




(7) Melden und Verfolgen von Fehlern

• GNATS-Problemreport

• Synopsis (Testfallname und „sprechende“ Kuzbeschreibung des Fehlers)

• Description (ausführlichere Fehlerbeschreibung)




(8) Analyse und Auswertung

• Testfallprotokoll für jeden Testfall

• Übersichten zu den Regressionstests für jeden Testkandidaten

• Testbericht für den jeweiligen Meilenstein Meilenstein




Möglichkeiten und Grenzen des automatisierten Testens

+ Automatisierte Tests laufen, wenn sie einmal erstellt wurden, schneller ab als manuelle Tests, sind konsistenter und können ohne großen Mehraufwand beliebig oft wiederholt werden

+ Automatisierte Tests - das Abspielen eines oder mehrerer Testskripts - können unbeaufsichtigt laufen. Dies ermöglicht die Durchführung von Tests nachts oder am Wochenende, was eine effektivere Nutzung der Zeit wochentags erlaubt, um die erkannten Fehler zu analysieren und die Tests zu vervollständigen.

- Beim automatisierten Testen treten zunächst zusätzliche Kosten auf. Das sind Anschaffungs-, Entwicklungs- und Instandhaltungskosten des C/R-Tools.

- Das Aufzeichnen von Benutzeraktivitäten ist erst zu einem sehr späten Zeitpunkt in der Entwicklung einer Software möglich, wenn die meiste Funktionalität bereits implementiert ist.

- Automatisiertes Testen ist erst wirtschaftlich, wenn Tests mehrfach wiederholt werden.




Diese Fragen sollten Sie jetzt beantworten können




Weitere Informationen und Internetadressen




Literatur

• G.E.Thaller, Software und Systementwicklung Aufbau eines praktikablen QM Systems nach ISO 90001:2000, Heise Verlag 2002

• H. Balzert: Lehrbuch der Softwaretechnik: Software-Management, Software-Qualitätssicherung,Unternehmensmodellierung, Spektrum Verlag (1998)

• G.E. Thaller: Software-Metriken: einsetzen, bewerten, messen, Heise-Verlag (1994)




Begriffe




Quellen

Documents

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 1LM 13 Testumgebungen - Abnahmetests Testumgebungen