View
4
Download
0
Category
Preview:
Citation preview
Berend Semke
Juli 2014
Oberflächentests kosteneffizient automatisieren
Quellen: http://de.wikipedia.org/wiki/Effizienz http://de.wikipedia.org/wiki/Wirtschaftlichkeit
2014-07-17 Oberflächentests kosteneffizient automatisieren 2
Effizienz
2014-07-17 Oberflächentests kosteneffizient automatisieren 3
Effizienz bei Testautomatisierung
• Mögliche Strategien: • Entweder bei konstanten Kosten die Qualitätsaussagen erhöhen, • oder bei konstanter Qualitätsaussage die Kosten reduzieren.
Wirtschaftlichkeit = = Ertrag Aufwand
Qualitätsaussage Kosten
Testende-Kriterium
2014-07-17 Oberflächentests kosteneffizient automatisieren 4
Inhalt
Erfolg(-reiche Testautomatisierung)
braucht Ziele.
2014-07-17 Oberflächentests kosteneffizient automatisieren 5
Inhalt
Erfolg braucht Ziele.
Capture and Replay ist die Wurzel allen Übels.
2014-07-17 Oberflächentests kosteneffizient automatisieren 6
Inhalt
Erfolg braucht Ziele.
Capture and Replay die Wurzel allen
Übels.
Ein Hammer erschlägt jedes Problem.
2014-07-17 Oberflächentests kosteneffizient automatisieren 7
Inhalt
Erfolg braucht Ziele.
Capture and Replay die Wurzel allen
Übels.
Ein Hammer erschlägt jedes
Problem.
A fool with a tool…
Ein Hammer erschlägt jedes
Problem.
Werkzeuge brauchen Wissen.
Capture and Replay die Wurzel allen
Übels.
Erfolg braucht Ziele.
2014-07-17 Oberflächentests kosteneffizient automatisieren 8
Inhalt
Womit? Wer?
Wie? Was?
Ein Hammer erschlägt jedes
Problem.
Werkzeuge brauchen Wissen.
Capture and Replay die Wurzel allen
Übels.
Erfolg braucht Ziele.
2014-07-17 Oberflächentests kosteneffizient automatisieren 9
Erfolgssummanden faktoren
Womit? Wer?
Wie? Was?
2014-07-17 Oberflächentests kosteneffizient automatisieren 10
Was automatisiert testen?
Wer das Ziel kennt, kann entscheiden wer entscheidet, findet Ruhe wer Ruhe findet, ist sicher
wer sicher ist, kann überlegen wer überlegt, kann verbessern.
(Konfuzius)
2014-07-17 Oberflächentests kosteneffizient automatisieren 11
Was automatisiert testen?
Wer das Ziel kennt, kann entscheiden wer entscheidet, findet Ruhe wer Ruhe findet, ist sicher
wer sicher ist, kann überlegen wer überlegt, kann verbessern.
Kosten Qualitätsaussage
2014-07-17 Oberflächentests kosteneffizient automatisieren 12
Kosten
manuell automatisiert
Aufwände bei wenig Wiederholungen
Test-Spec Impl. Test
manuell automatisiert
Aufwände bei vielen Wiederholungen
Test-Spec Impl. Test
2014-07-17 Oberflächentests kosteneffizient automatisieren 13
Kosten
manuell man. (pro Test)
automatisiert aut. (pro Test)
Kosten
Wiederholungen
2014-07-17 Oberflächentests kosteneffizient automatisieren 14
Qualitätsaussage
manuell automatisiert
Test-Qualität
Wiederholungen
2014-07-17 Oberflächentests kosteneffizient automatisieren 15
Qualitätsaussage / Kosten
Viele Wiederholungen verringern nicht nur die Kosten, sie verbessern auch die relative Qualitätsaussage einer
Automatisierung
2014-07-17 Oberflächentests kosteneffizient automatisieren 17
Effizient automatisieren
Ob eine Automatisierung wirtschaftlich ist, muss für jede Anforderung individuell bewertet werden.
2014-07-17 Oberflächentests kosteneffizient automatisieren 19
Kosten / Nutzen - Einflüsse
Spezifikation Implementierung Test Test Test Test Test
Erfordert Stabilität & Frequenz
Erhöht sich durch Komplexität
• Standard-Widgets? • Statische oder berechnete Werte? • Kontrollstrukturen benötigt? • …
Konstant Auch automatisierte Oberflächentests brauchen qualitativ hochwertige Testspecs!
2014-07-17 Oberflächentests kosteneffizient automatisieren 20
Anforderungen auswählen
• Wie wähle ich die relevanten Anforderungen aus?
BYOI (Build your own index)
2014-07-17 Oberflächentests kosteneffizient automatisieren 21
Anforderungen auswählen
Zum Beispiel:
E = Ertrag / Aufwand = Ertrag / Komplexität = Auswirkung * Frequenz / Komplexität = Auswirkung * Frequenz * Stabilität / Komplexität = Auswirkung * Frequenz * Stabilität * Lösbarkeit = xa*Auswirkung * xf*Frequenz * xs*Stabilität * xl*Lösbarkeit
BYOI (Build your own index)
Ein Hammer erschlägt jedes
Problem.
Werkzeuge brauchen Wissen.
Capture and Replay die Wurzel allen
Übels.
Erfolg braucht Ziele.
2014-07-17 Oberflächentests kosteneffizient automatisieren 25
Erfolgsfaktoren
Womit? Wer?
Wie? Was?
2014-07-17 Oberflächentests kosteneffizient automatisieren 26
Wie automatisiert testen?
Es sind gerade die Inkonsequenzen des Lebens, welche die größten Konsequenzen haben.
(André Gide)
2014-07-17 Oberflächentests kosteneffizient automatisieren 27
Wie automatisiert testen?
Es sind gerade die Inkonsequenzen des Lebens, welche die größten Konsequenzen haben.
Kleine Vorteile
jetzt Große Vorteile später
Ein Hammer erschlägt jedes
Problem.
Werkzeuge brauchen Wissen.
Capture and Replay die Wurzel allen
Übels.
Erfolg braucht Ziele.
2014-07-17 Oberflächentests kosteneffizient automatisieren 31
Erfolgsfaktoren
Womit? Wer?
Wie? Was?
2014-07-17 Oberflächentests kosteneffizient automatisieren 32
Womit automatisiert testen?
Wer als Werkzeug nur einen Hammer hat, sieht in jedem Problem einen Nagel.
(Paul Watzlawick)
2014-07-17 Oberflächentests kosteneffizient automatisieren 33
Tools…
• … gibt es.
2014-07-17 Oberflächentests kosteneffizient automatisieren 34
Unterschiede der TA-Tools
• Technologie • Unterstützte Tool-Kits • Unterstützte Programmiersprachen • Objekt-Erkennung
• Integration in Tool-Chain
• Ergonomie
• Erweiterbarkeit
• Anschaffungskosten
2014-07-17 Oberflächentests kosteneffizient automatisieren 35
Objekt-Erkennung
• Technologie • Unterstützte Tool-Kits • Unterstützte Programmiersprachen
• Objekt-Erkennung • abgeleitete Widgets • verschobene Widgets
• innerhalb des Containers • in neuen Container • auf anderen Monitor
• Test auf Abwesenheit
Ein Hammer erschlägt jedes
Problem.
Werkzeuge brauchen Wissen.
Capture and Replay die Wurzel allen
Übels.
Erfolg braucht Ziele.
2014-07-17 Oberflächentests kosteneffizient automatisieren 38
Erfolgsfaktoren
Womit? Wer?
Wie? Was?
2014-07-17 Oberflächentests kosteneffizient automatisieren 39
Wer testet automatisiert?
A fool with a tool is still a fool (Grady Booch)
2014-07-17 Oberflächentests kosteneffizient automatisieren 40
Anforderungsprofil - Klassisch Test-
kenntnisse
Anforderungs- erhebung
Programmier- kenntnisse
Entwickler
Tester
RE
2014-07-17 Oberflächentests kosteneffizient automatisieren 41
Anforderungsprofil - Agil Test-
kenntnisse
Anforderungs- erhebung
Programmier- kenntnisse
Entwickler
Tester
RE
Oberflächen-test
Automatisierer
2014-07-17 Oberflächentests kosteneffizient automatisieren 42
Dem Anforderungsprofil entsprechen
• SW-Entwickler Testkenntnisse näher bringen
• Testern Programmierkenntnisse näher bringen
2014-07-17 Oberflächentests kosteneffizient automatisieren 43
Dem Anforderungsprofil entsprechen
• SW-Entwickler Testkenntnisse näher bringen • Status & Anerkennung • Fachkenntnisse Test & QM • Einfach mal Fragen!
• Testern Programmierkenntnisse näher bringen
2014-07-17 Oberflächentests kosteneffizient automatisieren 44
Dem Anforderungsprofil entsprechen
• SW-Entwickler Testkenntnisse näher bringen
• Testern Programmierkenntnisse näher bringen
• Einfach mal Fragen! • „Serious games“?
http://www.antme.net/ http://blobby.sourceforge.net/
Testautomatisierung ist Software-Entwicklung
benötigt sowohl Test- als auch SW-Entwicklungs-
Kenntnisse
Objekterkennung spart Wartungskosten
Lizenzkosten meist irrelevant
Testautomatisierung ist Software-Entwicklung
Zieldefinition: Kosten oder Qualitätsaussage
Anforderungsmanagement führt zu Test-Spec. BYOI
2014-07-17 Oberflächentests kosteneffizient automatisieren 45
Zusammenfassung
Womit? Wer?
Wie? Was?
2014-07-17 Oberflächentests kosteneffizient automatisieren 46
etamax space GmbH
Berend Semke
Frankfurter Straße 3 d
D-38122 Braunschweig
Tel +49 (0)531.866688.35
Fax +49 (0)531.866688.99
www.etamax.de
Email b.semke@etamax.de
www.xing.com/profile/Berend_Semke
Recommended