EXPLORATIVES TESTEN LERNEN HORIZONTE ERWEITERN

ASQF FachgruppentreffenThomas Rinke | 30.01.2020

EXPLORATIVES TESTEN LERNEN –HORIZONTE ERWEITERN

AGENDA

1.

2.

3.

4.

Die Welt, die ich kannte

Exploratives Testen – mein aktuelles Verständnis

Testen lernen ↔ Poker lernen

Exploratives Testen lernen

5. Zusammenfassung

Die Welt, die ich kannte

Strukturierter Testentwurf – Beispiel: Datumsprüfung

MEIN GELIEBTES VORGEHEN – ALS BERATER

3 Thomas Rinke | Exploratives Testen lernen | 30.01.2020

Beispiel: Datumsprüfung (optimiert) Meine Erfahrungen

• Spezifikationen in Testmodelle zu überführen

deckt eine Menge Lücken auf

• Ein Testmodell macht das Verständnis der

Testfälle deutlich einfacher

• Nachvollziehbare Testfälle und

Testausführungen haben einen Mehrwert

STRUKTURIERTER TESTENTWURF

Die Welt, die ich kannte 4 Thomas Rinke | Exploratives Testen lernen | 30.01.2020

Fokus auf Testfällen

Manager waren fokussiert

auf Testfälle.

Tester waren fokussiert auf

Testfälle.

Das war das, was wir

kannten.

Agile Transition

Tendenz: Tester schreiben

weniger Testfälle.

Testen wird intransparent.

Manche nennen es

exploratives Testen.

Ich bin mir nicht sicher.

Verlangen, exploratives

Testen zu lernen

Was ist es?

Warum soll man es

machen?

Wie kann man es machen?

MEINE ERFAHRUNGEN DER LETZTEN JAHRE

Die Welt, die ich kannte 5 Thomas Rinke | Exploratives Testen lernen | 30.01.2020

EXPLORATIVES TESTEN –MEIN AKTUELLES VERSTÄNDNIS


EXPLORATIVER TEST: MEIN AKTUELLES VERSTÄNDNIS

7

https://www.developsense.com/images/ExploratoryScriptedContinuum.png, in https://www.satisfice.com/blog/archives/1509

Thomas Rinke | Exploratives Testen lernen | 30.01.2020


EXPLORATIVER TEST: DU ENTSCHEIDEST

8

http

s://tw

itte

r.co

m/s

pa

rkly

stu

ff/s

tatu

s/1

17

11

24

17

76

14

45

88

85

?s=

20


Exploratives Testen – mein aktuelles Verständnis 9

https://twitter.com/janerichsen/status/1170640208053846016



Testfall 1: Login mit bekanntem Nutzer und gültigem Passwort

Öffne die <<Testanwendung>> und melde dich an mit einem Benutzer, der registriert und nicht

gesperrt ist. Verwende den bekannten Nutzernamen und das gültige Passwort.

Schritt 1: Öffne URL test.testanwendung.net

Schritt 2: Fülle das Feld Nutzername mit dem Nutzernamen des registrierten aber nicht

gesperrten Nutzers

Schritt 3: Fülle das Feld Passwort mit dem korrekten Passwort für diesen Nutzer

Schritt 4: Klicke Anmelden

Schritt 5: Überprüfe, dass die Startseite dieses Benutzers angezeigt wird

EXPLORATIVER TEST: DU ENTSCHEIDESTBEISPIEL 2




11

Benutzer:

Passwort:

rinke

g3h3im

Anmelden Abbrechen

X

??



Testfall 1: Login mit bekanntem Nutzer und gültigem Passwort

Testfall 2: Login scheitert wegen falschem Passwort

Testfall 3: Login scheitert wegen unbekanntem Benutzer

Testfall 4: Login abbrechen

…



TEST PLAN January 2013

Search Function.

The following considerations are applicable to all

“Search <<entity>>” Use Cases. This is mainly

related to definition of the search criteria.

All Mandatory fields are tested to check if they are

really mandatory

All optional Fields with and without entries in the

fields.

Valid and invalid values for all fields.

Testing of multiple input vales in a field if

supported.

Search that returns no results matching the search

criteria

Search that returns exactly one result matching the

search criteria

Search resulting in multiple entries matching the

search criteria

Testing if filters are working as expected (single

filter, multiple filters are linked with AND)

Ascending and descending sort on the result list

Parallel operations



au

s e

ine

m in

20

13

vo

n m

ir g

esch

rie

be

ne

n T

estk

on

ze

pt


NOTIZEN ZUR ERSTEN TESTAUSFÜHRUNG

Delete contract

• Delete contract works as expected.

• Error message unclear and not formatted while

deleting a contract with orders assigned.

• Search contract

• Search contract not working as expected. Given

any search criteria it fetches the list of all available

contracts even though they do not match the

search criteria.

• Input format of fields is not checked, e.g. contract

number should be an integer, but the user can

enter non integer values in the field.

• Sort function not working for all fields.

• Filter not working for all fields.

• Export to Excel not working



Te

stn

otize

n a

us d

em

gle

ich

en

Pro

jekt


In explorativen Tests werden informelle (nicht vordefinierte) Tests während der Testdurchführung

dynamisch entworfen, ausgeführt, aufgezeichnet und ausgewertet. Die Testergebnisse werden

genutzt, um mehr über die Komponente oder das System zu erfahren und um Tests für die Bereiche

zu vertiefen, die mehr Tests erfordern.ISTQB Foundation Level Syllabus 2018

Exploratory testing is a approach to testing. It says whoever tests needs to be learning. Learning

needs to change what you are doing. You can’t separate designing of tests and executing them

without losing learning that influences your next tests. It is an approach that frames how we do testing

in a skilled way.Maaret Pyhäjärvi


EXPLORATIVER TEST – DEFINITIONEN

15

https://www.german-testing-board.info/wp-content/uploads/2018/09/Lehrplan-Certified-Tester_Foundation-Level_Version2018.pdf

https://blog.usejournal.com/what-is-exploratory-testing-the-programmer-edition-881765411f2c


EXPLORATIVES TESTEN –CHARAKTERISIERUNG

REAGIEREN AUF VERÄNDERUNG

MEHR ALS

DAS BEFOLGEN EINES PLANS

16

?

?


EXPLORIEREN IST EINE FÄHIGKEIT EINES GUTEN TESTERS

EXPLORATIVES TESTEN BESCHREIBT

EINE HERANGEHENSWEISE / EINE HALTUNG,

KEINE TECHNIK

EXPLORATIVES TESTEN HAT VIELE GESICHTER

ERWEITERTE HORIZONTE

17

TESTEN LERNEN ↔ POKER LERNEN

DEINE HAND

BOARD


POKERN – EINE BEISPIELHAND

19

?

Situation:

• Im Topf sind 40 €

• Dein Gegner setzt 10 €

• Wie spielst du?


DEINE HAND

BOARD


POKERN – EINE BEISPIELHAND

20

Die Hand geht weiter:

• Du gehst mit

• Die erhoffte 3 kommt

• Du setzt 10 €, dein Gegner geht mit

• Du gewinnst den Topf

• Du empfindest Bestätigung

Hast du gut gespielt?



Hast du gut gespielt?

Von den 52 Karten im Spiel kennst du 6. Es gibt 46 unbekannte Karten.

4 Karten ( ) geben dir die bestmögliche Hand. Alle anderen Karten helfen vermutlich nicht.

Deine Gewinnchancen: 4 : 46 (= 1 : 11,5)

Im Topf waren 50€. Du musstest 10€ setzen (= 5 : 1)

Selbst wenn man den Gewinn der letzten Wettrunde berücksichtigt werden es nur 6 : 1

Die Gewinnchancen waren deutlich kleiner als der Gewinn Vermutlich war es ein schlechter Spielzug. *

DEN TOPF ZU GEWINNEN KANN IRREFÜHREND SEIN.

*beim Pokern zählt natürlich mehr als reine Mathematik

POKERN – ANALYSE DER BEISPIELHAND

21

3 3 33



POKER

Nur weil du gewinnst hast du lange noch nicht gut gespielt.

TESTEN

Gefundene Fehler allein machen noch keinen guten Test(er).

Reflektiere

Hol dir mehr Feedback

TESTEN UND POKERN: SEI VORSICHTIG MIT DEM DIREKTEN FEEDBACK


Hey, ich habe:

Wie soll ich die Hand spielen?

Der Kontext muss berücksichtigt werden:

Wie viele Spieler?

Deine Position?

Vorherige Aktionen?

Wer sind deine Gegner?

Was ist in den vergangenen Händen passiert?

…

TESTEN UND POKER: KONTEXT

Testen lernen ↔ Poker lernen 23

Im Testen zu berücksichtigender Kontext:

Was ist die Projektsituation?

Wer sind deine Stakeholder?

Was sind ihre Bedürfnisse?

Wie viel Dokumentation ist gefordert / geschätzt?

Was wurde bereits getestet?

Welche Fehler wurden gefunden?

Was waren die letzten Änderungen?

…


EXPLORATIVES TESTEN LERNEN

Individueller In-house-Workshop

Remote Pairing

Anderen zusehen und gemeinsam testen

INDIVIDUELLERIN-HOUSE-WORKSHOP

Warum?

In-house wegen der vielen Teilnehmer

Standardtraining dauert einen Tag –

zu wenig, um Veränderungen zu etablieren.

25 Thomas Rinke | Exploratives Testen lernen | 30.01.2020Exploratives testen lernen

INDIVIDUELLERIN-HOUSE-WORKSHOP

Maximieren des Lernens

Zweiteiliger Workshop

6 Wochen Zeit zum Anwenden

Persönliche Hausaufgaben

Seiteneffekt: Besser 2x1 als 1x2 Tage?

Exploratives testen lernen 26 Thomas Rinke | Exploratives Testen lernen | 30.01.2020

EXPLORATIVES TESTEN WAR EIN

RELEVANTES THEMA FÜR UNSERE COMMUNITY

DER INDIVIDUELLE WORKSHOP

WAR EINE LOHNENDE INVESTITION

ES GIBT SOOOOO VIEL ZU LERNEN


27

REMOTE PAIRING

Meine Session mit Lisi Hocke

2 Stunden

Getestetes System:

Alan Richardson‘s “thingifier“

Strong Style Pairing


REMOTE PAIRING

Meine Session mit Lisi Hocke

2 Stunden

SUT: Alan Richardson‘s “thingifier“

Strong Style Pairing

Exploratives testen lernen 29

https://twitter.com/lisihocke/status/1020478696162058240


DAS ERSTE MAL POSTMAN GENUTZT

DAS ERSTE MAL STRONG STYLE PAIRING

ÄHNLICHE VORGEHENSWEISE

GUTE BESTÄTIGUNG

UNSER TESTEN WURDE ALS GUT WAHRGENOMMEN

ES GIBT SOO VIEL ÜBER REST APIS ZU LERNEN


30

https://twitter.com/eviltester/status/1021150238663487488

ANDEREN ZUSEHEN UND GEMEINSAM TESTEN

Anderen zusehen

Alex Schladebecks “Exploratory Testing Challenge”

auf den Agile Testing Days 2018

Alan Richardson testet ein Browserspiel, https://www.youtube.com/watch?v=VSk7bLqwLDg



In Kooperation lernen

“10 days of note taking experimentation”

von Kim Knup initiierthttps://club.ministryoftesting.com/t/10-days-of-note-taking-

experimentation-start-mon-23rd/16981

Die Übungen können auch alleine durchgeführt

werden, aber zusammen macht es mehr Spaß



Übungs-Sessions in unserer Test-Community

3 bis 6 Tester

Demo-Applikationen und Themen aus Projekten

Pairing und Mob Testing


WOW, MAN KANN SOOOO VIEL BERÜCKSICHTIGEN

ES GIBT SO VIEL ZU TESTEN UND SO VIELE HILFSMITTEL

JEMAND AN DEINER SEITE IST EINE TOLLE UNTERSTÜTZUNG

DIE ERSTE MOB TESTING SESSION

GEMEINSAM TESTEN MACHT SPASS

GEMEINSAM TESTEN BRINGT MEHRWERT


34

ZUSAMMENFASSUNG

Zusammenfassung

EXPLORATIVES TESTEN

Hat eine unterschiedliche Bedeutung für verschiedene Personen

Hat für mich einen starken Fokus auf “Lernen”

LERNEN

Es gibt so viel zu lernen und so viel Material ist (auch) frei zugänglich

Wende deine theoretischen Kenntnisse in deiner täglichen Arbeit auch an

Der limitierende Faktor ist vermutlich die Zeit, die du ins Lernen investierst


Das Lernen in einem Themengebiet bringt auch in anderen Themenfeldern Erkenntnisse

EXPLORATIVES TESTEN LERNEN –HORIZONTE ERWEITERN


Thomas Rinke

Expert Software Engineer – Test

[email protected]

https://www.xing.com/profile/Thomas_Rinke4

https://twitter.com/thomrinke

WELCHE FRAGEN HABT IHR?

37

https://www.xing.com/profile/Thomas_Rinke4

https://twitter.com/thomrinke

BONUS-FOLIEN

Bonus

http://thatsthebuffettable.blogspot.com/2017/07/pathway-exploratory-testing.html

Umfangreiche Sammlung von Material in 8 Schritte unterteilt

In unserer Community gemeinsam bearbeitet

PATHWAY EXPLORATORY TESTINGVON MARCEL GEHLEN


http://thatsthebuffettable.blogspot.com/2017/07/pathway-exploratory-testing.html

Bonus

Book

„Explore It!“ von Elisabeth Hendrickson

Blog

https://www.cassandrahl.com/blog/sbtm-in-practice-with-pqip

http://www.schladebeck.de/microheuristics/

The Club

https://club.ministryoftesting.com/t/power-hour-exploratory-testing/28406

MATERIAL ZUM LESEN


Bonus

Vorträge auf Konferenzen

Adam Howard: Exploratory Testing Live

https://www.ministryoftesting.com/dojo/series/testbash-australia-2018/lessons/exploratory-testing-live-adam-howard

Alex Schladebeck: Why Should Exploratory Testing Even Be the Subject of a Keynote?

https://www.youtube.com/watch?v=ksqhuXSuzFA

Webinare etc.

MoT Masterclass: Exploratory Testing: What are microheuristics and how can you find and use them?

https://www.ministryoftesting.com/dojo/lessons/masterclass-exploratory-testing-what-are-microheuristics-and-how-can-you-find-

and-use-them-with-alexandra-schladebeck?s_id=102917

ASQF #NetWeek Webinar: Alex Schladebeck: Von Herumklicken zum Experten-Tester: die Macht vom explorativen Testen.

https://www.asqf.de/mitgliederbereich/downloadbereich/asqf-net-week-2019/#1570778157352-38f0381d-74ee

EuroSTAR Huddle: Michael D. Kelly: Tips for Writing Better Charters for Exploratory Testing Sessions

https://huddle.eurostarsoftwaretesting.com/resources/people-skills/tips-for-writing-better-charters-for-exploratory-testing-

sessions-with-michael-d-kelly/

VIDEOS


https://www.ministryoftesting.com/dojo/series/testbash-australia-2018/lessons/exploratory-testing-live-adam-howard

https://www.youtube.com/watch?v=ksqhuXSuzFA

https://www.ministryoftesting.com/dojo/lessons/masterclass-exploratory-testing-what-are-microheuristics-and-how-can-you-find-and-use-them-with-alexandra-schladebeck?s_id=102917

https://www.asqf.de/mitgliederbereich/downloadbereich/asqf-net-week-2019/#1570778157352-38f0381d-74ee

https://huddle.eurostarsoftwaretesting.com/resources/people-skills/tips-for-writing-better-charters-for-exploratory-testing-sessions-with-michael-d-kelly/

Bonus

Im Rahmen von Konferenzen werden neben den Vorträgen oft auch weitere Formate angeboten.

Workshops

Praktisches Erlernen von neuen Inhalten.

Lean Coffee, Open Space

Eignen sich wundervoll, um eigene Fragestellungen zu diskutieren

KONFERENZEN


http://automationintesting.online/

“Your one stop shop to practise Software Testing!”

http://maliciousidiots.com/ff/

Sehr viele Dinge, die man finden kann.

Alan Richardson‘s Thingifier

https://www.patreon.com/posts/new-practice-app-20124465

BEISPIELAPPLIKATIONEN


http://automationintesting.online/

http://maliciousidiots.com/ff/

https://www.patreon.com/posts/new-practice-app-20124465

Documents

EXPLORATIVES TESTEN LERNEN HORIZONTE ERWEITERN