Herausforderung eines CMMI-DEV v1.2 Level 3 konformen Test- und Qualitätsmanagements in einem SAP Projekt

ASQF FG Software-Test

Norddeutschland Bremen

18.04.2012, 18:00 – 21:00 Uhr

Raum 032a

Zur Person Armin Niewisiewicz

• Studium Diplom - Wirtschftsinformatik (FH)

• Systemanalytiker und Projektleiter im Bereich Medien (PayTV)

– Konzeption und Umsetzung von Kundenverwaltungssystemen und in der Gerätelogistik

• Projektleiter / Kernteammitarbeiter bei der Konzeption und dem Aufbau von Test- und Qualitätssicherungseinheiten im Bankenbereich

– Konzeption und organisatorischer Aufbau zentraler Testeinheit für den IT Bereich

• Projektleiter / Teilprojektleiter Systemintegration (Test) in diversen Großprojekten im Banken- und Versicherungsbereich

– Einführung IFRS Bilanzierung mit dem SAP Bank Analyzer

– Wertpapierabwicklungs- und Zahlungsverkehrssystemen (EZV/AZV)

– Konzernweite Einführung eines Personalwirtschafts- und management Systems SAP Human Capital Management (SAP HCM)

• Beratung von Projekten und Organisationseinheiten zum Test- und Qualitätsmanagement nach ISTQB, IEEE und CMMI-DEV v1.2

„Herausforderung eines CMMI-DEV v1.2 Level 3 konformen Test- und Qualitätsmanagements in einem SAP Projekt“

• Ausgangslage und Herausforderung im Projekt

• Was bedeutet CMMI-DEV v1.2 für das Projekt und für die Organisation?

• Die Rollen Testmanager und Qualitätsbeauftragter (QBA)

• Der SAP Solution Manager als Qualitäts- und Testmanagementwerkzeug

• Erkenntnisse und „Lessons Learned“

• Ausblick

CMMI-DEV Anwendung von CMMI in einem Versicherungskonzern

• Europas größter Lebensversicherer und eine der führenden Versicherungsgruppen in Europa

• Brutto-Beträge 2010

– Gesamtumsatz 73 Mrd. Euro

• Leben/Kranken 51 Mrd. Euro

• Schaden/Unfall 21 Mrd. Euro

• Asset unter Management über 470 Mrd.

• Aktiv in über 60 Ländern der Welt

• Mehr als 85.000 Mitarbeiter, davon ca. 1.300 IT Mitarbeiter an mehreren Standorten

• 70 Millionen Kunden weltweit

• Für die Aufgabenstellungen, die sich aufgrund der Kundenwünsche ergeben, entwickelte das Software Engineering Institute (SEI) der Carnegie Mellon University das CMMI

• Auftraggeber war das Amerikanische Verteidigungsministerium (Department of Defense - DoD)

• Entwicklung des CMM und später CMMI – 1987 1. Software Process Maturity Framework – 1991 Capability Maturity Model V1.0 (CMM V1.0) – 1993 CMM V1.1 – 1998 Entwurf CMM V2.0 - wurde aber nicht veröffentlich – 2000 CMMI V1.0 – 2002 CMMI V1.1 – 2006 CMMI V1.2

CMMI liefert Unterstützung auf dem Weg zur Erfüllung der Kundenwünsche Die Geschichte von CMMI

CMMI: Inzwischen ein internationaler Standard und Rahmenwerk für die Systementwicklung

• … identifiziert Stärken und Schwächen der Prozesse in Systementwicklungsorganisationen

• … stellt ein definiertes Modell zur kosteneffizienten Erstellung von qualitativ hochwertigen Software-Systemen in angemessener Entwicklungszeit bereit

• … liefert einen vordefinierten Rahmen von Zielen, die bei Durchführung von „Programmen“ zur Optimierung der Entwicklungsprozesse einer Organisation zu erfüllen sind

• … fokussiert auf die wesentlichen Elemente effizienter Entwicklungsprozesse

• … ist weltweit eines der verbreitesten Instrumente zur Verbesserung von Software- und Systementwicklungsprozessen

• … basiert auf einem bewährten „Best Practice“-Ansatz, der in Vorgängermodellen ausgiebig erprobt und weiterentwickelt wurde

CMMI-DEV v1.2 Die Prozessgebiete mit ihren Reifegraden

Kurzb. Langbezeichnung ML Kategorie

REQM Requirements Management

2

Engineering

PP Project Planning Project Management

PMC Project Monitoring and Control Project Management SAM Supplier Agreement Management Project Management MA Measurement and Analysis Support PPQA Product and Process Quality Assurance Support CM Configuration Management Support

RD Requirements Development

3

Engineering

TS Technical Solution Engineering PI Product Integration Engineering VER Verification Engineering VAL Validation Engineering OPF Organizational Process Focus Process Management OPD Organizational Process Definition Process Management OT Organizational Training Process Management IPM Integrated Project Management Project Management RSKM Risk Management Project Management DAR Decision Analysis and Resolution Project Management OPP Organizational Process Performance

4 Process Management

QPM Quantitative Project Management Project Management OID Organizational Innovation and Deployment

5 Process Management

CAR Causal Analysis and Resolution Support

CMMI-DEV v1.2 – Die Reifegrade Aufbau und Struktur des stufenförmigen Modells

CMMI-DEV v1.2 – Institutionalisierung von Prozessen (ML 3) Welche Rollen spielen die Generischen Praktiken?

Ein Prozess wird als „institutionalisiert“ bezeichnet, wenn er in einer Organisation „gelebt“ wird.

Ist ein „gesteuerter“ Prozess institutionalisiert, hat die Organisation den CMMI-Level 2 erreicht. Alle Projekte planen und steuern „sauber“ das Vorgehen innerhalb des Projekts.

Ist ein „definierter“ Prozess institutionalisiert, hat die Organisation den CMMI-Level 3 erreicht. Das Vorgehen in allen Projekten einer ist gleich, es wird von einem Standardprozsse abgeleitet und die gesamte Organisation trägt zur Verbesserung des Vorgehens bei.

GG 1 – Erreiche die spezifischen Ziele • GP 1.1 – Führe die spezifischen Praktiken aus

GG 2 – Institutionalisiere einen gesteuerten Prozess • GP 2.1 – Erstelle eine Policy (grundsätzliche Vorgaben und Regeln) • GP 2.2 – Plane den Prozess • GP 2.3 –Stelle Ressourcen bereit • GP 2.4 –Weise Verantwortung zu • GP 2.5 –Trainiere das Personal • GP 2.6 –Steuere Konfigurationen

• GP 2.7 – Identifiziere und beteilige relevante Stakeholder • GP 2.8 –Überwache und kontrolliere den Prozess • GP 2.9 –Bewerte die Übereinstimmung objektiv

GP2.10 – Review den Status mit dem höheren Management GG 3 – Institutionalisiere einen definierten Prozess

• GP 3.1 – Erstelle einen definierten Prozess • GP 3.2 – Sammle Verbesserungsinformationen

CMMI-DEV v1.2 – Prozessmodell Die Umsetzung des „was“ in das „wie“ durch die Anwendung eines unternehmensspezifischen Vorgehensmodells

Die konkrete Umsetzung der Best Practices aus dem CMMI-DEV Prozessmodell, erfolgt durch die Nutzung eines unternehmensspezifischen Vorgehensmodells

CMMI-DEV v1.2 – Das Stufenmodell Jetzt wird gemessen – Das SCAMPI Appraisal

Prozessverbesserung wird kontinuierlich betrieben Verbesserungsansätze für Prozesse werden pilotiert und anhand der gemessenen Effektivitätsverbesserungen übernommen oder angepasst. Die ganze Organisation ist auf Optimierung ausgerichtet

Prozesse werden gemessen und gesteuert

Kennzahlen und entsprechende Messpunkte instrumentieren die Prozesse, quantitative Ziele für die Prozess-Performance sind gesetzt

Prozesse sind definiert und in der Organisation eingeführt Organisationsweit gültiger Software-Prozess ist definiert und eingeführt, Beteiligte verstehen ihre Rollen und Verantwortlichkeiten

2. Gesteuert (7) Projektmanagement wird systematisch betrieben Es werden Erfahrungen aus Vorprojekten ausgewertet, Prozesse sind aber eher intuitiv, nur bedingt wiederholbar

1. Initial Prozesse sind schwer vorhersehbar, schlecht zu steuern and reaktiv Geringe Termin- und Kostentreue, hohes Risiko, Abhängigkeit von individuellen Leistungen - „heldenbasierter“ Ansatz

333

333

333

3. Definiert (11)

4. Quantitativ gesteuert (2)

5. Optimierend (2)

CMMI-DEV v1.2 – Elementare Prozessgebiete des Prozess-managements Herausforderungen für die SAP Entwicklungen sind ……

• SAP Entwicklungsprozesse müsse organisationsweit am gültigen Vorgehensmodell des Unternehmens harmonisiert werden (RUP Iteratives & Inkrementelles Vorgehen)

• Schulungen und Einweisungen in des SAP SW Prozess müssen erarbeitet werden • Die Art und Weise der Anwendung des SAP Solution Manger je Entwicklungsschritt

müssen klar definiert sein und „gelebt“ werden

CMMI-DEV v1.2 – Elementare Prozessgebiete der Entwicklung Herausforderungen für u.a. den Test (VER, VAL) sind ……

• Entscheidungen über Systementwicklungen müssen dokumentiert sein und am Architekturmodell des Unternehmens ausgerichtet sein

• SAP Entwicklungen müssen sich auf konkrete Anforderungen zurückführen lassen • SAP Transporte (Deployments) müssen am Release ausgerichtet sein • Von der Anforderung, über die Entwicklung bis zu Auslieferung besteht eine

Reückverfolgbarkeitspflicht (Traceability)

Womit nun die Anforderungen aus Umsetzen? Der SAP Solution Manager als zentrales Management-Werkzeug

Der SAP Solution Manager integriert Application Lifecycle Management und ITService Management Prozesse auf einer einzigen Plattform.

Application Lifecycle Management (ALM) mit dem SAP Solution Manger ….. mit ITIL 3 Prozessen

Der SAP Solution Manager ALM Prozess Einordung der Rollen und Aufgaben aus dem Vorgehensmodell des Unternemens

Definition der geschäftlichen Anforderungen und Change Requests

Erstellung/Änderung der fachlichen Lösung (je SAP Modul) • Auswahl/Änderung des

Business Blueprint der SAP Lösung

• Auswahl/Änderung der WBS

• Definition von Meilensteinen und Qualitygates

• Festlegung von Rollen und Berechtigungen

• Auswahl der Roadmap, Methoden, Verfahren und Dokumente (Vorgehensmodell)

Requirements Design Build Test QG QG QG QG Deploy

QG

: Req

uirem

ent to

Scop

e

QG

: Scop

e to B

uild

QG

: Scop

e to Test

QG

: Scop

e to D

eplo

y Erstellung der Baseline (Release-Erstellung) für die Auslieferung

Konfigurationsmanager

Durchführen des Deployments

Systemintegrator

Definition/Organisation von Testplänen und Testpaketen für den: • Modultest • Systemtest • Systemintegrationstest • Abnahmetest • Last- und

Performancetests

Testmanager

Erstellen des Qualitätsreport zur Abnahme • Testabdeckung der

fachlichen Anforderungen

• Fehlersituation • usw.

Qualitätsmanager

Verwaltung der Umsetzung • Anforderungen und

Change-Requests freigeben

• Abeitspakete verwalten

• Beauftragung Entwickler

AP-Verantwortliche

Umsetzung • Implementierung im

Rahmen des Umfanges • Durchführung von

Modultests (Unit-Test)

Entwickler

Projektleiter Qualitätsmanager Fachdesigner Anforderungsmanager Konfigurationsmanager

Stakeholder

Analyse des Business Impact bei Neueinführung und / oder Wartung • Prüfung

Anforderungen

Projektleiter Anforderungsmanager Systemintegrator

Erstellung des Projekt- bzw. Maßnahmenplans

Projektleiter

Der SAP Solution Manager ALM Prozess Die Requirementphase – Die verbindliche SAP Roadmap als SAP spezifisches Vorgehensmodell

Festlegung von Prozessen, Rollen und Artefakte (Dokumente) zu einer SAP Rodmap. Diese können system- oder projektspezifisch ausgeprägt werden.

Der SAP Solution Manager ALM Prozess Die Requirementphase – Festlegung von Quality Gates (QG)und Transportwege durch das Konfiguartionsmanagement

• Erstellen von Baselinies an den QG auf Basis der jeweiligen Artefakten und technischen Objekte

• Transport erfolgen NICHT automatisch und durch die Entwickler sondern zentral

• Best Practices bei Transporten – Transport von Kopien, bis zur finalen

Freigabe

– Systemüberreifende Objektsperre

– Vorabtransport bei dringenden Korrekturen (für Produktion)

Eine zentrale Synchronisation der Transporte von technischen Objekten (z.B. Customizing, Entwicklung) zum QG erhöht die IT Governance

„Jede Änderung an Artefakte und/oder technischen Objekten ist nach der Baseline ein Change und muss den definierten Change Management Prozess durchlaufen (REQM)“

Der SAP Solution Manager ALM Prozess Die Designphase – 1. Ableitung der Geschäftsprozesse aus dem Business Blueprint der SAP zur Solution

SAP liefert für die mySAP ERP NetWeaver Systemlösung vorgefertigte Geschäftsprozesse für fachliche Themenbereiche z.B.

• Logistik

• Financial

• Human Capital Management (HCM

Die Geschäftsprozesse eines Themenbereichs wird in einzelne fachliche Prozessschritte gegliedert, die letztendlich auf eine Systemfunktion verweisen

Zur eigenen Erstellung und Verwaltung von BPR bietet SAP den Business Process Composer oder eine Schnittstelle zu IDS Scheer ARIS for SAP NetWeaver / ARIS Business Architect

Der SAP Solution Manager ALM Prozess Die Designphase – 2. Überarbeitung des Business Blueprint durch den Fachdesigner

Der Business Blueprint wird in der Baumstruktur so aufgebaut, dass er den fachlogischen Abläufen des Unternehmens entspricht

Der Business Blueprint kann/wird um die Szenarien / Geschäftsprozesse erweitert, die nicht im Standard enthalten sind (z.B. komplette Integrationstestszenarien

Szenario

Gesch.proz.

Prozessschritt

Nach der Überarbeitung existiert ein unternehmensspezifischer, der für künftige Projekte ausgeliefert wird

Der SAP Solution Manager ALM Prozess Die Designphase – 3. Der Anforderungsmanager und der Fachspezialist „füllen“ die Prozessschritte

Erstellung / Zuordnung der Artefakte (z.B. Anforderungen) zum konkreten Prozesschritt

Festlegen von: • Status, Priorität,

Zuordnung MA, Verweis auf andere Artefakte, usw.

Zuordnung zusätzlicher Dokumentationen und Verweise (z.B. Weblink)

1

2

3

Die Prozessschritte enthalten nun alle notwenigen Dokumente, die für eine Umsetzung (Customizing und Entwicklung) notwendig sind

Der SAP Solution Manager ALM Prozess Die Buildphase – Der Anforderungsmanager und der Fachspezialist „füllen“ die Prozessschritte

Zuordnung der SAP Traktion(en) mit denen der Prozessschritt ausgeführt wird

Customizing des Prozessschritt

Entwicklung von technischen Objekten (.z.B. Funktionbaustein)

Am Ende der Buildphase ist der Prozessschritt nach den Vorgaben des Unternehmens ausgeprägt worden. Die Umsetzungsatefakte werden den Anforderungen zugeordnet

1

2

3

Der SAP Solution Manager ALM Prozess Die Testphase – In der Testvorbereitung wird durch das Testmanagement der Testumfang festgelegt

Zuordnung der Testfälle zu dem Prozessschritt Der geplante Testaufwand wird dem Prozessschritt zugeordnet Durch die Testentwickler werden ggf. Test-automationen (z.B. eCATT) zu Ausführung der Testfälle implementiert

Durch Abschluss der Testvorbereitung, ist der gesamte Testaufwand definiert. Der Umfang wird den Anforderungen zugeordnet, um eine Testabdeckung messen zu können

Der SAP Solution Manager ALM Prozess Die Testphase – In der Testdurchführung wird durch das Testmanagement der konkrete Testumfang definiert

Ableiten der Testaufwände je Teststufe auf Basis der Testdurchführungs-planung

Festlegen der Steuerungsparameter

• Startdatum / Endedatum

• Geplanter Aufwand

• Risiko

Anlage eines Testplans je Teststufe und Zuordnung der für den Test geplanten Testfälle

Der SAP Solution Manager ALM Prozess Die Testphase – Zuordnung der Testfälle aus dem Testplan an konkrete Tester

Bilden von fachlich / technisch zusammenhängenden Testpaketen

Beispiel:

Testplan „Systemtest SAP HR“

• Testpaket 1: Fachtestfälle

• Testpaket 2: Migationstest

Zuordnen von namentlichen Testern

Jede Zeile ist ein eigenständiges Testpakte. Die Testpakete können aus einem Testplan stammen, aber auch von anderen SAP Projekten initiiert worden sein.

Meldungen werden durch ein Blitzsymbol angezeigt, wenn für dieses Testpaket Fehlermeldungen erfasst wurden

in jedem Testpaket wird der Status der Testfälle angezeigt (Fehlerhaft, Ohne Ergebnis, OK)

Der SAP Solution Manager ALM Prozess Die Testphase – Zuordnung und Abarbeitung von Testfällen zu/durch Tester

Eine zentrale Sich auf ein Projekt – die Traceability Matrix Qualitätsmanagement - „Wo stehen wir gerade im Projekt ?“

Anforderung(en) Implementierung(en) Testfall(fälle)

z.B. UseCase, Geschäftsregeln, usw.

Statusreporting und Risikoabschätzung auf Basis von Auswertungen aus dem SAP Solution Manager Datenmaterial für die Erstellung des QS- und Testreportings

Abweichungen nach Status

0

5

10

15

20

25

30

35

40

45

50

Status

An

zah

l

gesamt

dwpbank

gesamt 44 11 3 21 5 0 4

dwpbank 31 8 0 15 5 0 3

gesamt behoben erfasst in BearbeitungWieder-

vorlage

zur Ent-

scheidungtestbereit

0

200

400

600

800

1000

1200

1400

1600

1800

KW

25

KW

26

KW

27

KW

28

KW

29

KW

30

KW

31

KW

32

KW

33

KW

34

KW

35

KW

38

KW

41

KW

43

Offen

"In Bearbeitung"

Abgeschlossen

Abweichungsperformance Testfallperformance Aufwandstracking (Soll/Ist)

Aufbau eines übergreifenden Management -Reporting zur Steuerung der Tests unter den Aspekten

Zeit – Kosten – Qualität (Risiko)

QS-Bericht

Risikobewertung

Testbericht

Testfallabdeckung

Fehlersituation (nach Sachgebieten und

Prioritäten in der Übersicht)

Der SAP Solution Manager ALM Prozess Die Deploymentphase – Das „Projekt“ aus dem SAP Solution Manger, wird zu Wiederverwendung und Dokumentation ausgeliefert

Solution Directory

System

Dokumentation

SAP System

neue Lösung

Lösung (ändern)

neue Applikation

Projekt Auslieferung

Import

Projekt

Wartungsprojekt

Projekt Auslieferung bestehende Applikation

bestehende Applikation

Auslieferung Import

Vielen Dank für Ihre Aufmerksamkeit