Uwe Hehn Method Park Consulting GmbH - ASQF · ISTQB Certified Tester: Der neue Advanced Level Lehrplan 2012 ist da -Update oder Upgrade? Uwe Hehn Method Park Consulting GmbH

ISTQB Certified Tester: Der neue Advanced Level Lehrplan 2012 ist da - Update oder Upgrade?

Uwe Hehn

Method Park Consulting GmbH

Slide 2 of 54© 2013 Method Park / Advanced Level Lehrplan 2012 / 04.06.2013 / ASQF Fachgruppe Test München

Inhalt

Historie und Zahlen

Struktur der Advanced Level Lehrpläne

Kritikpunkte am bisherigen Advanced Level Lehrplan

aus Sicht eines Seminaranbieters

Der neue Advanced Level Lehrplan:

Neue, entfallene, geänderte Elemente bzw. Themen

Bewertung des neuen Advanced Level Lehrplans

Zusammenfassung und Ausblick


Inhalt


Inhalt

Historie und Zahlen









Historie und Zahlen

Die Stufen des ISTQB Certified Tester

• Foundation Level

• Seit ca. 10 Jahren definiert

� Advanced Level

• Seit ca. 10 Jahren definiert

• Expert Level

• Seit einigen Jahren geplant (erste „Proposals“ aus 2006)

• Freigegebene Lehrpläne existieren seit 1.11.2011 zu

• Improving the Testing Process

• Test Management


Historie und Zahlen

Advanced Level Lehrpläne

• 2003

� Functional Tester

� Technical Tester

� Test Manager

• Prüfungen

� Je 1,5 Stunden


Historie und Zahlen


• 2007

� Test Analyst

� Technical Test Analyst

� Test Manager

• Prüfungen

� Je 3 Stunden


Historie und Zahlen


• 2012

� Test Analyst

� Technical Test Analyst

� Test Manager

• Prüfungen

� Je 3 Stunden


Inhalt


Inhalt

Historie und Zahlen










LP 2003

• 1 gemeinsamer Lehrplan für

• Functional Tester

• Technical Tester

• Testmanager

• Größe Lehrplan insgesamt ohne Anhang: 36 Seiten

• Keine Lernziele

• Sehr unterschiedlicher Detaillierungsgrad der Kapitel, z.B.

• Nichtfunktionale Testtechniken: 2 Zeilen

• Statische Analyse: 1 Seite



LP 2007

• ein gemeinsamer Lehrplan für

• Test Analyst

• Technical Test Analyst

• Testmanager

• Größe Lehrplan insgesamt ohne Anhang: 128 Seiten (350%)

• Lernziele (LO) mit zugeordneten K-Stufen getrennt für jeden der drei „Views “

• Detaillierungsgrad der Kapitel bzgl. Beispiel

• Qualitätsmerkmale bei technischen Tests: 7,5 Seiten (ca. 12000%)

• Statische Analyse: 1,5 Seiten (150%)

Prozentzahlen jeweils bzgl. Vorgänger



Einschub

• Was sind Lernziele (LO) mit zugeordneten K-Stufen?

• K-Stufe = kognitive Stufe

• Kognitive Stufen sind Taxonomiestufen für Lernziele

• K1 = Kennen

• K2 = Verstehen

• K3 = Anwenden

• K4 = Analysieren

• Anmerkung: LOs mit zugeordneten K-Stufen werden ab ca. 2007 für alle Level des Certified Tester definiert

• Auswirkungen der kognitiven Stufen von Lernzielen

• LO(K2): Übung oder gemeinsame Besprechung

• LO(K3): verpflichtend: Übung



Ergänzung zum LP 2007 (1)

• Glossar Version 2.0zum ISTQB Certified Tester (deutsche Ausgabe) vom 30.04.2009



Ergänzung zum LP 2007 (2)

• Glossar Version 2.1 (Update) zum ISTQB Certified Tester (deutsche Ausgabe) vom 30.09.2010



LP 2012

• 3 getrennte Lehrpläne für

• Test Analyst

• Technical Test Analyst

• Testmanager

plus ein „Überblick“

• Größe Lehrplan insgesamt ohne Anhang: 241 Seiten (188%)

• Lernziele (LO) mit zugeordneten K-Stufen und „geschäftlicher Nutzen“ (BO) je Lehrplan

• Detaillierungsgrad der Kapitel bzgl. Beispiel

• Qualitätsmerkmale bei technischen Tests: 14 Seiten (185%)

• Statische Analyse: 3,5 Seiten (233%)



Ergänzung zum LP 2012

• Glossar Version 2.2 zum ISTQB Certified Tester (deutsche Ausgabe) vom 19.04.2013



Vergleich der Eckdaten der drei Advanced-Level-Lehrplan-

Generationen

• 2003

• Initiale Version zum Einstieg, bzgl. Inhalt und formaler Fundierung „eher dünn“

• Versionen 2007 und 2012

• inhaltliche und formale Stabilisierung des AL

• i.a. angemessener Umfang

• LOs mit zugeordneten kognitiven Stufen (u.a. Basis für Examen)

• Ab 2009 Glossar als Basis für die Begriffe aller CT Lehrpläne


Inhalt


Inhalt

Historie und Zahlen









Kritikpunkte am bisherigen Advanced Level Lehrplan (Seminaranbieter-Sicht)

• Sehr großer Umfang des Gesamtlehrplans und z.T. inakzeptable Redundanz der Module

• Entscheidung als Seminaranbieter, der alle drei Module anbietet, zwischen den Positionen:

• Jedes Modul in sich geschlossen „warten“

� Teilnehmer, die alle Seminare für den Full Advanced Level buchen, hören manche Themen dreimal

• Alle Detailthemen „wartbar“ abdecken

� Jedes Modul besteht aus einer Menge von Folienschnipseln, die nur schwer „managebar“ sind.



• 2003:

• gesamt 10 Tage

• TA: 3, TTA: 3, TM: 4 Tage

• 2007:

• gesamt 15 Tage


• Prüfung drei Stunden jeweils

� nach fünf vollen Seminartagen unzumutbar !



Reaktion in Form des LP Advanced Level 2012(Zitat aus dem „Advanced Level Überblick“):

• „Der neue Advanced Level soll möglichst gut mit dem Foundation Level sowie den Expert Level Modulen harmonieren; insbesondere sollen Überlappungen vermieden werden.“

� eher eine Vision

� lässt sich wohl nicht objektiv bewerten

• Reduktion der Dauer der Module Test Analyst und Technical Test Analyst um ein bzw. zwei Tage

� erfüllt:

• 2012: gesamt 12 Tage



Inhalt


Inhalt

Historie und Zahlen









Der neue Advanced Level Lehrplan

Geschäftlicher Nutzen („Business Outcomes“, BOs)

� Die fachlichen Lernziele („Learning Objectives“, LOs) wurden um den „Geschäftlichen Nutzen“ (BOs) für jedes der drei Advanced Level Module ergänzt

� Die BOs zeigen den geschäftlichen Nutzen der Zertifikate für jedes der drei Advanced Level Module auf

• Für den Test Manager sind 10 BOs definiert, für die beiden anderen Module je 9

• Die BOs beschreiben die erwarteten Ergebnisse für die jeweiligen Rollen



Geschäftlicher Nutzen (BOs)

Zitat aus der „Übersicht“

• „Der geschäftliche Nutzen spezifiziert, was von einer Person mit einer Advanced Level Zertifizierung der jeweiligen Rolle (z.B. Advanced Level Testmanager) erwartet werden kann …“

• „Der geschäftliche Nutzen richtet sich gezielt an die geschäftlichen Anforderungen der Industrie. Hiervon profitieren insbesondere jene Unternehmen, die in den Aufbau professioneller Testkompetenz auf Stufe Advanced Level investieren wollen.“

• „In den Lernzielen der einzelnen Advanced Level Lehrpläne ist der geschäftliche Nutzen rückverfolgbar umgesetzt.“� Anmerkung: Diese behauptete Rückwärts-Traceability

ist nicht nachvollziehbar umgesetzt!



Geschäftlicher Nutzen (BOs)

Beispiele für das Konzept der Business OutcomesEin Advanced Level Testmanager (CTAL-TM) kann …

TM1 ein Testprojekt leiten und die für die Testorganisation festgelegten Aufgaben, Ziele und Testprozesse umsetzen;

TM2 Risikoidentifizierung und –analysesitzungen organisieren und leiten, und deren Ergebnisse für die Planung, Aufwandsschätzung, Überwachung und Steuerung der Testaktivitäten verwenden;

TM3 Testkonzepte erstellen und umsetzen, die der Richtlinie und der Teststrategie der Organisation entsprechen;

TM4 die Testaktivitäten zur Erreichung der Projektziele kontinuierlich überwachen und steuern;

TM5 den relevanten Teststatus bewerten und den Projektbeteiligten zeitgerecht darüber berichten;

TM6 Qualifikationen und unzureichende Ressourcen im Testteam identifizieren und bei der Beschaffung angemessener Ressourcen mitwirken.

TM7 die für das Testteam benötigte Entwicklung von Qualifikationen identifizieren und planen;

TM8 wirtschaftliche Argumente für Testaktivitäten vorbringen und darlegen, welche Kosten und Nutzen zu erwarten sind;

TM9 die angemessene Kommunikation zwischen den Mitgliedern des Testteams untereinander sowie zwischen Testteam und anderen Projektbeteiligten sicherstellen; und

TM10 sich an Initiativen zur Testprozessverbesserung beteiligen und diese leiten.



Inhaltliche Änderungen Testmanager

• Advanced Level LP 2012 berücksichtigt die neuen Expert Level Lehrpläne „Test Management“ und „Improving the Test Process“

• „Defect Management“ (vormals: Incident Management)

• wurde deutlich überarbeitet und praktikabler gemacht

• statt der bisherigen Vorstellung einer Norm (IEEE 1044) � Herausstellen des Nutzens des Defect Managements




• Die wichtigen Themen „Testen von Systemen von Systemen“ und „Testen sicherheitskritischer Systeme“ werden nicht mehr herausgestellt

• Vermutung, dass diese Kandidaten für künftige Expert Level Module sind




• Aktualisierung: CMM � CMMI

• das wird aber nur noch als Motivation für TMMI verwendet und sonst nicht behandelt

• Aktualisierung: TPI � TPI-Next

• FMEA wird nur noch erwähnt; FMECA, SFMEA, SFMECA entfallen ganz

• praxisrelevantes Thema „Management von industriellen Standards“

� eigenes Kapitel � deutlich höherer Stellenwert



Zeitliche Änderungen Test Manager

• Auffällig:

• Testprozess: 2 � 7 Stunden

• Testmanagement: 19 � 12 ½ Stunden

0

200

400

600

800

1000

1200

2007

2012



Inhaltliche Änderungen Test Analyst

• Neue Testentwurfsmethoden „Wertebereichsanalyse“ (Domain Analysis) und „User Stories“

• Kapitel über Testwerkzeuge deutlich gekürzt



Inhaltliche Änderungen Test Analyst

• „abstrakte Testfälle“ heißen jetzt wieder „logische Testfälle“!

• spezifikationsbasierte Testtechniken sind deutlich ausführlicher und einheitlich strukturiert. Zu jedem Verfahren ist nun angegeben:

� eine kurze Beschreibung des Verfahrens

� ein Abschnitt zur Anwendbarkeit

� ein Abschnitt zu Grenzen bzw. Schwierigkeiten

� ein Abschnitt über Abdeckung

� sowie ein Abschnitt zu Defekttypen, die mit dem Verfahren gefunden werden können

• defekt- und erfahrungsbasierte Testtechniken nun ausführlicher und im Aufbau ähnlich der spezifikationsorientierten Verfahren beschrieben.



Zeitliche Änderungen Test Analyst

• Auffällig

• Testtechniken: 18 � 14 Stunden

• Testprozess: 3 � 5 Stunden

0

200

400

600

800

1000

1200

2007

2012



Inhaltliche Änderungen Technical Test Analyst

• Fokus nun klar auf technische Inhalte!

• Grundlagen des Testens und des Testprozesses nicht mehr enthalten

• Testmanagement wird nur knapp behandelt; spezifisch für Technical Test Analyts ist das „risikobasiertes Testen“

• Strukturbasierte Testentwurfsverfahren werden ausführlich behandelt

• Das Verfahren LCSAJ – ohne praktische Relevanz - wurde herausgenommen!



Inhaltliche Änderungen Technical Test Analyst

• Lesen und Verstehen von Pseudo-Code wird erwartet

• Das Thema Reviews beschränkt sich auf die entwicklungsnahen Reviewtypen Architektur- und Code-Reviews



Zeitliche Änderungen Technical Test Analyst

• Auffällig:

• Testtechniken: 15 � 8 Stunden

• risikobasiertes Testen: 2 � ½ Stunden

• Testen von SW-Qualitätseigenschaften: 4 � 7 Stunden

• Defektmanagement: 2 Stunden � entfallen

0

100

200

300

400

500

600

700

800

900

1000

2007

2012


Inhalt


Inhalt

Historie und Zahlen









Bewertung

Anmerkung:

� Die folgenden Bewertungen sind teilweise ganz bewusst subjektiv, und drücken die Meinung des Vortragenden aus


Bewertung

� Verbliebene Altlasten

� Positive Änderungen bzw. Erweiterungen


Bewertung

Verbliebene Altlasten (Testprozess-Verbesserung)

� Die Themen CTP und STEP bleiben erhalten

� Die Inhaltsreferenzmodelle CTP und STEP sind seit LP 2007 Teil des Advanced Level Lehrplans

� Sie wurden geschrieben von – ohne Zweifel bekannten und qualifizierten – Mitgliedern des ISTQB, können jedoch nicht als Industriestandards gelten

� Beide Modelle sind sowohl von der Systematik des Aufbaus noch von der inhaltlichen Durchdringung

� weder mit bewährten Reifegradmodellen wie CMMI oder SPICE

� noch mit Testprozessverbesserungsmodellen wie TPI/TPI-Next oder TMMI vergleichbar


Bewertung

Verbliebene Altlasten (SPICE)

� Das Thema SPICE (= ISO 15504-2) war im LP 2003 noch inhaltlich enthalten (im Kapitel 9. „Vorgehen zur Optimierung des Testprozesses“)

• Im LP 2007 wurde SPICE - (falsch) als „ISO/IEC 155044-2:2003 Information technology – Processassessment – Part 2: Performing an assessment“ - noch referenziert

• Im LP 2012 wird SPICE nicht einmal mehr erwähnt!


Bewertung

Verbliebene Altlasten (SPICE)

� Fakt ist

• Der Teil 5 der ISO 15504 (Beispiel Prozess-Assessmentmodell/PAM) bzw. das Automotive SPICE PAM haben sehr genaue Vorstellungen von Teststufen und den zugehörigen fachlichen Testprozessen

• Unittest, SW-Integrationstest, SW-Test, System-Integrationstest, System-Test

• In Deutschland, Europa und mittlerweile auch Amerika und Asien wird SPICE sehr häufig zur Bewertung des gesamten Testprozesses herangezogen

• Das Assessmentmodell TestSpice betrachtet den Testprozess ganzheitlich (fachliche Testprozesse, Testmanagement, Testumgebung, ...)


Bewertung

� Verbliebene Altlasten

� Positive Änderungen bzw. Erweiterungen


Bewertung

Positive Änderungen bzw. Erweiterungen

� FMEA wird nur noch erwähnt;FMECA, SFMEA, SFMECA entfallen ganz

� Diese Themen sind im technischen Umfeld zwar wichtig.

� Aus Testsicht reicht es jedoch zu verstehen, wie sich die -typischerweise vor dem Test vorgenommene - Einstufung technischer Risiken auf die Testvorgehensweise auswirkt

� Detailkenntnis der Durchführung von FMEAs ist nicht testrelevant

• Die „historische“ Überdeckungsanalyse-Methode LCSAJ wurde eliminiert


Bewertung

Positive Änderungen bzw. Erweiterungen

• Neue spezifikationsbasierte Testentwurfstechniken im TA aufgenommen

� „Wertebereichsanalyse“ (Domain Analysis)

� „User Stories“


Bewertung

Künftig mehr Flexibilität durch das Add-On-Konzept

� Foundation Level

Vom German Testing Board für 2013/2014 geplant (laut TAG-Meeting)

� Add-On „Model Based Testing“

� Add-On „Automotive Test“

� Advanced Level

� Bisher keines

� Expert Level

� Bisher keines


Inhalt


Inhalt

Historie und Zahlen










• Die neue Version des Advanced Level Lehrplans macht insgesamt einen sehr guten Eindruck

• Die Zuordnung der Themen zu den Modulen ist durch die Aufteilung des Lehrplans in Teillehrpläne sehr deutlich geworden

• Die Definition von Business Outcomes macht es leichter zu bewerten, ob der Erwerb und ggf. welches Zertifikat sich lohnt



• Laut „Advanced Level Überblick“ wurden Redundanzen zum Foundation Level entfernt

• Angegeben wird jedoch nur ein Beispiel „z.B. Reviews“

• Diese Aussage steht daher unter Vorbehalt

• Die Detaillierung der Themen ist einheitlicher geworden; der Lehrplan ist „aus einem Guss“

• Der Lehrplan 2012 ist deutlich praxistauglicher, ohne wichtige Themen auszulassen (Ausnahme: SPICE!)



• Insgesamt daher:

• Vielleicht nicht in allen Aspekten ein Upgrade,aber deutlich mehr als ein Update !

Documents

Uwe Hehn Method Park Consulting GmbH - ASQF · ISTQB Certified Tester: Der neue Advanced Level Lehrplan 2012 ist da -Update oder Upgrade? Uwe Hehn Method Park Consulting GmbH