Erfolgsfaktor -Software Quality management

T-Systems Multimedia solutions

Agenda Argumente aus Wissenschaft und Praxis.

Agenda Argumente aus Wissenschaft und Praxis.

1 Charakteristika und Vorteile externer Testdienstleister.

2

Extrakt aus dem durch PAC erstellten TIC-Positionierungspapiers.

Relevante QS-Merkmale entlang der Software-Projektphasen.

Software Quality Management aus der Praxis.

Marktanalyse. Die Nationale Situation für externe Test-Dienstleistungen.

Marktanalyse. Die Nationale Situation für externe Test-Dienstleistungen.

Testing-Services repräsentieren 7 Prozent des deutschen IT-Dienstleistungsmarktes - 36 Mrd. €

Das prognostizierte Marktwachstum liegt bei ca. 5 Prozent p.a.

Gesamte Ausgaben für Testing-Services in Deutschland: 2.5 Mrd. Euro (2014)

Ausgaben für applikationsbezogeneTesting-Services

Ausgaben für nichtapplikationsbezogene Testing-Services

Marktanalyse Die Nationale Situation für externe Test-Dienstleistungen.

Testing-Services repräsentieren 7 Prozent des deutschen IT-Dienstleistungsmarktes - 36 Mrd. €

Das prognostizierte Marktwachstum liegt bei ca. 5 Prozent p.a.

4,0%

4,5%

5,0%

5,5%

Wachstum der Ausgaben für Testing-Services in Deutschland (2011-2017)

Sourcing-ModelleTesting

Internes Testing & Qualitätssicherung Mix aus intern und extern Externes Testing & Qualitätssicherung

Testing und Qualitätssicherung werden vor allem intern durchgeführt.

Die Verantwortung liegt häufig bei einer dezidierten Testing-Einheit. Es kann aber auch Aufgabe der Entwicklungsabteilung sein, in der die Entwickler selbst oder Test-Spezialisten die Aufgaben übernehmen.

Testing und Qualitätssicherung werden mit externer Unterstützung durchgeführt.

Externe Tester kommen für bestimmte Test-Aufgaben und Bereiche und/oder bei besonders hoher Belastung zum Einsatz. Die Unterstützung kann gelegentlich, regelmäßig oder dauerhaft sein.

Testing und Qualitätssicherung sind an einen externen Dienstleister ausgelagert.

Externe Tester übernehmen das Gros der Test-Aufgaben und sind regelmäßig oder nach Bedarf im Einsatz. Die Steuerung erfolgt intern, während häufig ein Teil der Verantwortung nach extern gegeben wird.

Testing und Qualitätssicherung werden in allen Varianten von Key Usern unterstützt.

Punktuelle externe Unterstützung häufig durch Freelancer, Contract Staff oder auf Basis von Time & Material.

Unterstützung häufig durch Freelancer, Contract Staff oder auf Basis von Time & Material oder Festpreis.

Unterstützung häufig auf Basis von Time & Material oder Fest- oder Paketpreis. Immer häufiger auch mehrjährige Managed Testing-Verträge.

Test

orga

nisa

tion

Abr

echn

ung

Vorteile externen Testens

75%

76%

85%

Senkung der Testkosten

Verringerung der Testzeiten

Verbesserter Zugang zu qualifizierten Testing-Spezialisten

0% 50% 100%

Anteile in Prozent der Unternehmen, n=59

Checkliste Testing-Outsourcing.

Testmethoden Entlang der Entwicklung von Web-Applikationen.

Application Lifecycle Sechs Etappen und ihr Zusammenspiel

Application Lifecycle Sechs Etappen und ihr Zusammenspiel

Anforderung Fehler in Etappe 1 Haben enormes Eskalationspotential

Katastrophe beim Roll-out einer E-Commerce-Anwendung eines führenden deutschen Buchgroßhändlers

Über 30% der eingestellten „Bugs“ waren strittig bzw. entpuppten sich als „Change Requests“

Triage als aufreibendes Tauziehen am Vertrag

Abbruch des Rollout / Zurückweisung des Releases für den Kundenabnahmetest als nicht testfähig

alle nachgelagerten Meilensteine mussten neu definiert werden

Ein anderer signifikanter Teil der gemeldeten Fehler betraf falsche Testerwartungen durch fehlendes zentrales Anforderungsmanagement und späte, oft bilaterale Klärungen

Der größte Teil der vom FB eingestellten „Bugs“ betraf Selbstverständlichkeiten und „Standards“ (= implizite Anforderungen)

Anforderung So agieren Sie erfolgReich

Neuaufsetzen des Projekts

neue Timeline inkl. 1. „Requirement Clearing“ 2. erweiterter „Scope“ 3. realistische Testphasen für erwartete Fehlermengen, Nachtest- / Regressions- tests

Einsatz eines dezidierten Anforderungsmanagers / Qualitätsmanagers

Anforderung So agieren Sie erfolgReich

Vertragsänderung mit Aufnahme von Standard-Klauseln (u.a. DIN 92411 - Anforderungen an Gebrauchstauglichkeit und Grundsätze der Dialoggestaltung)

Analyse des „Scope“ mit Ergebnis-Liste inkl. Lücken, Widersprüchen, Unklarheiten, Implikationen

Konsolidierung und Priorisierung aller „CR-Fehlereinträge“

Änderungen / Erweiterungen der Anforderungen

Verknüpfung mit Testfallspezifikation (Traceability)

Abnahme/Review aller zugehörigen Dokumente durch FB-Verantwortliche und Anforderungs- / Qualitätsmanager

Abnahmetest 2.0 = beherrschbare Zahl unstrittiger Fehler + exaktes Launch-Datum + zufriedene Kunden

Anforderung Weichenstellung für Qualität

Design Fehler in Etappe 2 Haben enormes Eskalationspotential.

Beispiel: Entwicklung einer Fahndungssoftware für 12 Mio. € für eine öffentliche Behörde

Ziel: Digitalisierung und Vernetzung der Beweismittel eines Tatorts.

Tatort

Nicht registriertes Handy

SIM-Karte

Illegales Betäubungsmittel

Fachseite (IT-ler)

Fachliche

Anforderungen

Anwender (Nicht IT-ler)

Wer hat das bestellt?

Design So agieren Sie erfolgreich

Integrieren Sie den Bereich Usability für das User Requirements Engineering:

Gezielte Beobachtung am Arbeitsplatz der Beamten

Endnutzer-Interviews …

… mit dem Ziel: Ermittlung der Nutzungsanforderungen

Software 2.0 = angepasst an die Arbeitsweise der Endanwender + Ergebnissteigerung beim Kunden

Design So agieren Sie erfolgreich

Design Früh Fehler Finden und Beheben

Realisierung/Einführung Fehler in Etappe 3 und 4 Haben enormes Eskalationspotential

Beispiel: SWE-Projekt zur Bereitstellung einer Online-Plattform für die elektronische Genehmigung und Abrechnung von ärztlichen Verordnungen im Krankenkassenumfeld Es war nicht bekannt, dass Testmanagement für den

Projekterfolg essentiell wichtig ist Kunde war unzufrieden, weil er zu wenig wusste über

die Anforderungsumsetzung und den Fehler-Status unklare Aussagen, wann Software in den Pilotbetrieb gehen kann

zum Zeitpunkt des Projekteinstiegs bestand ¾ Jahr Verzug Das SW-Unternehmen hat nur auf Basis formloser Entwicklertests

getestet und dabei die Testautomatisierung vernachlässigt SW-Unternehmen hat keine Erfahrung im Umgang mit

Großkunden und komplexen Projekten

Realisierung/Einführung Fehler in Etappe 3 und 4 Haben enormes Eskalationspotential

GU: T-Systems

SW-Hersteller: deutscher Mittelständler

Kunde: Deutsche Krankenkasse

Projektbeteiligte

Realisierung/Einführung So agieren Sie erfolgreich

Finding IST-Analyse Verbesserungspotential

Keine Traceability zwischen Testfällen und Anforderungen

Mapping der Anforderungen zu bereits abgestimmten Testfällen

Nur partielle Risikoanalyse zur Bestimmung der SW-System-kritischen Teile vorhanden

Bestimmung der Testfälle, die 80% der Funktionalitäten der Applikation ausmachen (= riskante Systemteile) Testfall-Priorisierung

Fehler werden durch Kunde

grundsätzlich nur den Fehlerklassen 1

und 2 zugeordnet

Aufsetzen eines internen Fehlerkorridors mit Abstimmung, ob auch für Kunde im Rahmen der Übernahme anwendbar

Keine mit dem Kunden gemeinsam definierten Abnahmekriterien

Einholen des Kommitments beim Kunde: definierte Testfall-Beschreibungen = fixierte Anforderungen inkl. Abnahmekriterien

Zuordnung der Tester zu den Testfällen erfolgt momentan nach Verfügbarkeit

Um kritische Testfälle mit entsprechender Intensität zu testen, sind in einem Teststufenplan die Testfallreihenfolge, Testaufwand und -ressourcen zuzuordnen

Testaktivitäten durch neue

Anforderungen / CRs seitens Kunde

stark erschwert

Abstimmung Frozen Zone mit Kunde, in der

keine Umsetzung neuer Anforderungen /

CRs erfolgt

Realisierung/Einführung So agieren Sie erfolgreich.

Tägliches Fehlerclearing

Fehlermanager, Test und Entwicklung

Entwicklung

Fehlerbeseitigung, Test

Status : behoben

Zuordnung

Fehlerklasse

Priorität

Entwickler

zu beheben in Version x

Termin der Behebung

Nachtest durch Testteam

Status: geschlossen oder wieder eröffnet

Freigabe nächste Teststufe (Kundentest)

Ergebnis = Fehler

GPL, Test-, Entwicklungs- management

Entscheidung, wann Patch auf Testsystem

Ergebnis = CR

Changeboard (GPL, PL Kunde)

Analyse Risiko & Impact

des Impacts (was passiert ,wenn wir es nicht tun)

wie oft kommt der Fall vor

gibt es einen Workaround

Aufwand (Entwicklung und Test)

Impact bereits erreichte Testergebnisse

sonstiges Risiko

Entscheidung

Umsetzung erfolgt in Version x

Auszug aus Ticketsystem

Change Requestliste

Dokumente

Release- Versionsplan

Realisierung/Einführung So agieren Sie erfolgreich. WorkfloW „neuer fehler“

Betrieb und Optimierung Fehler in Etappe 5 und 6 Haben enormes Eskalationspotential

Stabilitäts-/Performanceprobleme bei Packstation

Unhaltbare Zustände im Servicecenter, da Applikation nur sehr eingeschränkt nutzbar

Häufige ungeplante Neustarts der Applikationen notwendig.

Antwortzeiten von teilweise über 20 Sekunden

Fehlersuche und -behebung ist zeit- und kostenintensiv

Keinerlei Lasttests und Messungen vorhanden.

Monitoring

Monitoring der Applikation ist nicht existent, daher nur subjektive Aussagen zur Verfügbarkeit/Performance

Fehlerbehebung/Support wird nur reaktiv angestoßen

Performante, stabile Packstation-Applikation kann nicht garantiert werden

Betrieb und Optimierung So agieren Sie erfolgreich

Lasttest Durchführung und Analyse von fast 50 Stabilitäts- und Performancetests auf Skript-Basis zur automatisierten Nachbildung von Nutzerinteraktionen + Lasttest jeder geplanten Änderung vor Rollout-Bereitstellung

Applikations-analyse

Verfolgung und Analyse der tatsächlichen Anwendungsabläufe mittels dynaTrace, Ermittlung von Optimierungspotentialen konkreter Klassen und Methoden, Erstellung von umfangreichen Reports als Input für die Entwicklung.

E2E Monitoring Überwachung einzelner Packstationsapplikationen aus Kundensicht, Unterstützung proaktiver Wartung durch Benachrichtigung per Mail an Support im Fehlerfall

Betrieb und Optimierung So agieren Sie erfolgreich

OK

Minor

Critical

Failed

Overall Quality of Service Performance of Transactions

Packstation SMT_0020 SMT_0030 SC_0010

Betrieb und Optimierung So agieren Sie erfolgreich

Durch Aufzeigen von Schwachstellen und gezielte Hinweise an die Entwicklung konnte:

die Entwicklung in kurzer Zeit Optimierungen vornehmen.

u. a. die durchschnittliche Antwortzeit des Servicecenters von 20 Sekunden auf 2 Sekunden verbessert werden.

eine höhere Stabilität erreicht werden. Vor Stabilitätsrelease ca. 20 Neustarts, jetzt einer in 2 Wochen.

Kritische Alarme vor QS

Informative Alarme vor QS

Kritische Alarme nach QS

Informative Alarme nach QS

0 100 200 300 400 500 600

Betrieb und Optimierung Qualität nachhaltig managen

Testmethoden Entlang der Entwicklung von Web-Applikationen

Application Lifecycle Sechs Etappen und ihr Zusammenspiel

FunktionS- und abnahme-teSt SaP bi teSt SaP erP teSt teStautomatiSierung teSt aS a SerVice code QuaLitY management interFace und Soa-SerVice-teSt

LaSt- und PerFormanceteSt PerFormance engineering aPPLication monitoring

SoFtWare QuaLitY management managed teSt SerViceS zertiFizierung Test-Coaching und Test-Schulung

SoFtWare QuaLitY

FunctionaLitY

Performance

anonYmiSierung audit und comPLiance conSuLting inFormationSSicherheitSmanagement it-ForenSik managed SecuritY SerViceS PenetrationSteSt SecuritY code reVieWS SicherheitS- und datenSchutzkonzePte training und aWareneSS

cYber SecuritY und data PriVacY

Mobile

Besser

Usability Test Accessibility Test

Mobile Test Croud Sourced Test Energiebedarfs-Analyse

Wir sind für sie da Damit sie auch mal weg sein können

T-Systems Multimedia Solutions GmbH

Riesaer Straße 5

D-01129 Dresden

Telefon: +49 351 2820 – 0

Telefax: +49 351 2820 – 5115

E-Mail: frage@t-systems-mms.com

URL: www.t-systems-mms.com