34
Nico Orschel | AIT Marc Müller | 4tecture Testmanagement mit Visual Studio 2013

Testmanagement mit Visual Studio 2013

Embed Size (px)

DESCRIPTION

Talk ab

Citation preview

Page 1: Testmanagement mit Visual Studio 2013

Nico Orschel | AIT

Marc Müller | 4tecture

Testmanagement mit

Visual Studio 2013

Page 2: Testmanagement mit Visual Studio 2013

Herausforderungen

• Continous Delivery

• Parallele Releases

• Agile Prozesse

• Zusammenarbeit mit Kunden und Zulieferern

• Multi Plattform (Tablets, Smartphones, andere)

• Cloud

• Testumgebungen, Testautomatisierung

Page 3: Testmanagement mit Visual Studio 2013

Testen mit VS und TFS

Microsoft Testmanager (MTM)

• Testmanagement

• Man. Testausführung (Formal+Agile)

• Testumgebungsmanagement

Visual Studio (Testautomatisierung)

• Code

• Autom. Testausführung (DefaultLabTemplate.XAML)*

Lab Management (Testumgebungen)

• SCVMM

• Standard

Page 4: Testmanagement mit Visual Studio 2013

Agenda

4

Intro

Testing Begriffe

Konzepte

Manage

Test Management

Explorativ /

Formal

Best Practices

Execute

Test Execution

Recording,

Exploratives &

Formales Testen

Other

Reporting

Page 5: Testmanagement mit Visual Studio 2013

(Agile) Testing Quadrants

Business Facing

Support

ing T

eam

Functional Tests

Examples

Story Test

Prototypes

Simulations

Explorative

Testing

Scenarios

Usability Testing

UAT (User

Acceptance

Testing)

Alpha / Beta

Critiq

ue P

roduct

Unit Tests

Component Tests

Performance and

Load Testing

Security Testing

“Ility Testing”

Technology-Facing Source: Brian Marrick

Page 6: Testmanagement mit Visual Studio 2013

(Agile) Testing Quadrants

Business Facing

Support

ing T

eam

Feedback

Client

Storyboards

Visual Studio

Premium

MTM

Visual Studio

PremiumC

ritique P

roductVisual Studio

Professional

Visual Studio

Ultimate

Technology-Facing

Page 7: Testmanagement mit Visual Studio 2013

Testpyramide

UI

Service

Unit / Component

Quelle: Mike Cohn

Unit Testing

Framework +

Isolation

Framework

Unit Testing +

Isolation

Framework

UI Test Frameworks

Page 8: Testmanagement mit Visual Studio 2013

Priorisierung der Tests

UI

Testing

Component

Testing

Unit

Testing

10%

20%

70%

Abnahmetests

Systemintegrationstests

Systemtests

Komponenten-

integrationstests

Komponententests

Page 9: Testmanagement mit Visual Studio 2013

Die Realität

70%

20%

10%

Abnahmetests

Systemintegrationstests

Systemtests

Komponenten-

integrationstests

Komponententests

UI

Testing

Component

Testing

Unit

Testing

Page 10: Testmanagement mit Visual Studio 2013

Microsoft Test Manager

• Orientiert an Testeraufgaben– Testplanung

– Testdurchführung

– Testnachverfolgung

– Umgebungsmanagement

• „Testautomatisierung“

für Oberflächen

• Test und Entwicklung

enger zusammenbringen– „Rich Bugs“

– Testvirtualisierung

Page 11: Testmanagement mit Visual Studio 2013

Die Qual der Wahl: MTM vs. Test

Hub

Page 12: Testmanagement mit Visual Studio 2013

MTM – Hierarchischer Aufbau

Team Projekt

Test Plan

Release 1Test Plan Release 2 …

Test Suite 1Test Suite

2…

Test

Daten

Test

Steps

Shared

Steps /

Parameters

Test 1

Test

DatenTest

Steps

Test 2

Konfigurationen

Page 13: Testmanagement mit Visual Studio 2013

Fragestellungen im täglichen

Geschäft

• Verwaltung von untersch. Testfall-

Versionen

• Planung und Reporting auf „Sprint“ Ebene

• Umstieg von Manuellen Tests zu automat.

Tests

• Granularität der Testschritte

• Langsame Testausführung

• Optimierung der Anwendungen

Page 14: Testmanagement mit Visual Studio 2013

Testplanung für

Sprints

1

4

Page 15: Testmanagement mit Visual Studio 2013

Ein oder mehre Testpläne?

• Release-Ebene:<Produktname>_<Version>_Repository

• Sprint Ebene:<Produktname>_<Version>_<SprintName1>

<Ort>_<Produktname>_<Version>_<SprintName1>

Page 16: Testmanagement mit Visual Studio 2013

Testsuite Struktur

Testplan-Name

– Automated Tests

• UI

• Backend

• Services

– Manual Tests

• UI

• Backend

• Services

Page 17: Testmanagement mit Visual Studio 2013

Planung Gesamt

MyEvent_1.0

UI

Test Case 1

Test Case 2

Test Case 3

Services

DB

Rest

Page 18: Testmanagement mit Visual Studio 2013

Planung Sprint 1

MyEvent_1.0 UI Test Case 1

Page 19: Testmanagement mit Visual Studio 2013

Planung Sprint 2

MyEvent_1.0 UI

Test Case 1

Test Case 3

Page 20: Testmanagement mit Visual Studio 2013

Planung Sprint 3

MyEvent_1.0 UI

Test Case 2

Test Case 3

Page 21: Testmanagement mit Visual Studio 2013

Planung Gesamt

MyEvent_1.0

UI

Test Case 1

Test Case 2

Test Case 3

Test Case 4

Services

DB

Rest

Page 22: Testmanagement mit Visual Studio 2013

Planung Sprint 4

MyEvent_1.0 UI

Test Case 3

Test Case 4

Page 23: Testmanagement mit Visual Studio 2013

TCM Sprintplanung

Sprint 1 Sprint 2 Sprint 3 Sprint 4

Repository v 1.0CopyCopyCopy Copy

Page 24: Testmanagement mit Visual Studio 2013

TCM Baselining bei mehren

Releases

Repository v 1.0

Repository v 2.0

Clone

Page 25: Testmanagement mit Visual Studio 2013

Demo MTM / Testhub

Testmanagement

Page 26: Testmanagement mit Visual Studio 2013

Testdurchführung (formell)

• Einfaches Werkzeug

• Schrittweises Vorgehen

• Manuell or „teilautomatisiert“

Page 27: Testmanagement mit Visual Studio 2013

Exploratives Testen

Page 28: Testmanagement mit Visual Studio 2013

Demo MTM

Testdurchführung

Page 29: Testmanagement mit Visual Studio 2013

Demo MTM

Testdurchführung

Page 30: Testmanagement mit Visual Studio 2013

Reporting

Page 31: Testmanagement mit Visual Studio 2013

Diagnose Adapter

Intro

3 Profile pro Testart

Performance

Impact

Automatisches

Sammeln

Low

System

Information

Eventlog

Medium

Low Adapter

Video Recording

Test Impact*

Code Coverage*

High

Medium plus

IntelliTrace*

Page 32: Testmanagement mit Visual Studio 2013

Anwendungsoptimierung

UI Technology

Optimierung der

Anwendung für gute

Test- automatisierung

notwendig

MSAA

Winforms / MFC

AccessibleDescription

Accessible Name

UIA

WPF

AutomationProperties.

Name und

AutomationId

Page 33: Testmanagement mit Visual Studio 2013

Wir unterstützen Sie

[email protected]

+49 151 55052624

AIT GmbH & Co. KGLeitzstr. 45, 70469 Stuttgart

www.aitgmbh.de

BERATUNGAgile ALM und TFS

.NET und Architektur

ENTWICKLUNGDienstleister für individuelle

Lösungen mit .NET und Azure

© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer

und ggf. nicht gesondert gekennzeichnet. Aus dem Fehlen der Kennzeichnung kann nicht geschlossen werden, daß es sich bei einem Begriff oder einem Bild nicht um eine

eingetragene Marke oder ein eingetragenes Warenzeichen handelt.

Page 34: Testmanagement mit Visual Studio 2013

4tecture GmbHThurgauerstrasse 40CH-8050 Zürichwww.4tecture.ch

Marc MüllerPrincipal [email protected]@muellermarc