20
Trends & Benchmarks Report Schweiz Wo stehen wir – wohin geht es? In Kooperation mit Testing 2013

Testing Trends und Benchmarks 2013 De

Embed Size (px)

DESCRIPTION

Testing Trends & Benchmarks 2013

Citation preview

Page 1: Testing Trends und Benchmarks 2013 De

Trends & Benchmarks Report Schweiz Wo stehen wir – wohin geht es?

In Kooperation mit

Testing 2013

Page 2: Testing Trends und Benchmarks 2013 De

Testing Trends & Benchmarks Schweiz 2013 2InhaltsverzeIchnIs

EDITORIAL

TRENDWAVE 2013

KEY MESSAGES

PROJEKTE

VORGEHEN

AGILITÄT

REIFE

ORGANISATION

TESTAUFWAND

TESTWERKZEUGE

TESTAUTOMATISIERUNG

ERHEBUNGSGRUNDLAGEN

REqUIREMENTS TRENDS & BENcHMARKS ScHWEIZ 2013

AGILE TRENDS & BENcHMARKS ScHWEIZ 2013

3

4

6

7

8

9

10

12

14

15

16

17

18

19

Page 3: Testing Trends und Benchmarks 2013 De

Neu führt Swissq die Studie zu den Trends & Benchmarks in Kooperation mit dem Institut für Technologiemanagement der Universität St.Gallen (HSG) durch. Die Zu-sammenarbeit zeigt auf, wie wichtig diese Themen für die heutigen Unternehmen geworden sind. Es freut uns, mit dieser Kooperation erneut eine Brücke zwischen der akademischen und unternehmerischen Welt schlagen zu können.

Der Report gliedert sich wie gehabt in 2 Teile: die SwissQ Trend Wave® und die Benchmarks.

Im ersten Teil wird aufgezeigt, wie sich einzelne Trends entwickeln. Dies auf Basis der Testing Trend Wave 2013. Die kondensierte Darstellung der wichtigsten Themen auf einer Seite erlaubt einen raschen Überblick. Dadurch lässt sich der Einfluss der Marktveränderungen auf das eigene Unternehmen abschätzen und es können, falls notwendig, geeignete Vorhaben initiiert werden. Eine einfache Massnahme um den Veränderungsdruck aufzuzeigen ist es, die Trends und Bench-marks intern bekannt zu machen.

Wie bereits in den letzten Jahren offeriert Swissq den Unternehmen die Gelegen-heit, die Trends & Benchmarks intern vor ihren Mitarbeitern zu präsentieren. Ziel-publikum sind vor allem die Tester community, Software Ingenieure, Projektleiter, Requirements Engineers und das Management. Die Präsentation ermöglicht, einen externen Blick auf die aktuellen Veränderungen zu bekommen, die Motivation und den Stellenwert des Testings zu steigern, sowie von Ideen für die konstante Wei-terentwicklung des Testings zu profitieren. Falls gewünscht, können die Ergebnisse aus dem Requirements Engineering und Agile Report auch miteinbezogen werden. Den zweiten und umfangreicheren Teil des Reports bilden die Benchmarks. Die Grafiken sind das Rückgrat des Reports und ermöglichen es, sich im Vergleich mit anderen Unternehmen zu positionieren. Der Vergleich mit den Vorjahren er-laubt es zudem zu sehen, in welche Richtung sich die Unternehmen entwickeln.

Unter „Projekte“ ist zum Beispiel ersichtlich, dass sich einerseits die Anzahl der Neuentwicklungen im Vergleich zum Vorjahr reduziert hat und es andererseits immer mehr Grossprojekte gibt. Es gibt also weniger, dafür aber grössere Neupro-jekte. Dies hat wohl damit zu tun, dass immer weniger Vorhaben auf der grünen Wiese starten. Entweder werden bestehende Lösungen erweitert oder dann kom-plett neu gebaut, was oft sehr teuer ist.

Bei den Vorgehen halten sich Wasserfall und agile Vorgehen die Waage, wobei vie-le Unternehmen auf mehr als ein Vorgehensmodell setzen. Im besten Fall gelingt es, die Vorzüge beider Modelle zu vereinen. In der Praxis tut man sich aber an den Übergängen und mit den unterschiedlichen Rollen und Zusammenarbeitsmodel-len schwer. Gerade auch die Tester müssen lernen, mit beiden Welten umzugehen bzw. umzudenken und die notwendige Flexibilität an den Tag zu legen. Hier muss sicherlich noch mehr Erfahrung gesammelt bzw. Ausbildung betrieben werden.

Die grösste Herausforderung im Testing bleiben die mangelhaften Anforderungen. Da ist es spannend zu sehen, dass zu den am häufigsten angewandten Techniken zur Testfallermittlung die anwendungsfall- und geschäftsprozessbasierten Vorge-hen gehören, welche beide sauber modellierte Anforderungen voraussetzen. Das drückt sich wiederum darin aus, dass von den Testaktivitäten die Testfallermittlung am schlechtesten abschneidet. Ein Grund, vermehrt agile Methoden in Betracht zu ziehen?

Bei den Testinvestitionen ist und bleibt der Fokus auf der Testautomatisierung und dem Auf- und Ausbau der Regressionstests. Dies deckt sich mit der anfangs erwähnten Tatsache, dass vor allem Erweiterungs- und Wartungsprojekte statt-finden, bei denen naturgemäss die Sicherstellung der bestehenden Funktionalität mittels Regressionstests einen hohen Stellenwert hat. Die Automatisierung wiede-rum ist ein zwingendes Instrument, um der wachsenden Regression Herr zu werden.

Wir hoffen, dass die vorliegenden Trends und Benchmarks Sie dazu inspirieren, neue Herausforderungen aktiv anzugehen und die aktuell besten Massnahmen in Ihrem Unternehmen zu ergreifen.

Seit 5 Jahren fühlt SwissQ den Puls der IT Community und veröffentlicht jährlich Zahlen und Fakten zum Stand des Software Testings in der Schweiz und gibt einen Ausblick auf die wichtigsten Trends der kommenden Zeit. Seit letztem Jahr werden die Testing Trends und Benchmarks ergänzt durch die beiden Themenbereiche Requirements Engineering und Agile. Diese erscheinen in separaten Reports. Die Datenbasis bildet einerseits die Online-Umfrage und andererseits persönliche Interviews mit IT-Entscheidungsträgern aus unterschiedlichen Firmen, Branchen und Regionen. Für die diesjährige Ausgabe konnten wir auf 580 ausgefüllte Fragebogen - ein neuer Rekord - und um die 25 Interviews zu-rückgreifen. An dieser Stelle ein herzliches Dankeschön an alle, die mit ihrem Input dazu beigetragen haben.

Testing Trends & Benchmarks Schweiz 2013 3eDItOrIal

Page 4: Testing Trends und Benchmarks 2013 De

INTRODUCTION GROWTH MATURITY DECLINE

TIME

PRIO

RITY

INTRODUcTION – Das Thema wurde erkannt und einige Unternehmen arbeiten an ersten Umsetzungen. Es ist allerdings nicht absehbar, ob sich dieser Trend positiv weiterentwickelt und das Testing tatsächlich erheblich beeinflussen wird.

GROWTH – Das Thema wird immer mehr anerkannt und viele Unterneh-men gehen darauf ein. Es entstehen die ersten Werkzeuge und Beratungs-firmen bieten Dienstleistungen dazu an. Mit der fehlenden Erfahrung bei der Umsetzung gehen oft diverse Risiken einher.

MATURITY – Die meisten Unterneh-men arbeiten an der Umsetzung oder haben diese bereits abgeschlossen. Das Wissen zu dem Thema ist oft sehr verbreitet, wobei häufig auch Unter-arten dazu entstehen.

DEcLINE – Das Thema wurde von den meisten Unternehmen, mit Ausnahme einzelner Nachzügler, bereits umgesetzt. Wissen in diesen Bereichen neu aufzubauen generiert oft keinen Nutzen mehr, da dieses in Kürze obsolet wird.

TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 4

Agile Test Management

Session Based Testing / SET

ISTQB FL & AL Level

Outsourcing

ISO 9126

ALM Tools

Security & Penetration Testing

Model Based Testing

ISO 25010

Business Driven Test Automation

Waterfall / Scrum Hybrid

Agile Testing

Keyword Driven Test Automation

Exploratory Testing

Scrum (but)

App / Mobile Testing

Accessibility Testing

Load and Performance Testing

Embedded Testing

Page 5: Testing Trends und Benchmarks 2013 De

Die Technologien, welche den consumer-Markt in den letzten Jahren verändert haben – Smartphones und Tablets, SocialMedia und die cloud - finden vermehrt auch in der Unternehmenswelt Verwendung. Die Revolution von unten hat statt-gefunden, Endkunden wie Mitarbeiter kommen mit ihren eigenen Geräten und verlangen Funktionen und content auf diesen nutzen zu können. Doch auch die Usability Anforderungen an herkömmliche Anwendungen steigen rasant – was auf dem Handy geht, muss doch am Monitor erst recht möglich sein.

Steigende Komplexität der IT und Öffnung der Unternehmungen durch das Thema Mobile sind die Herausforderungen der modernen Organisationen. Diese rasante Entwicklung stellt nicht nur Business Analysten und Software Entwickler vor neue Herausforderungen. Gerade das Testing wird dadurch immer komplexer, aufwän-diger und vor allem schneller.

Kein Wunder also, werden rund die Hälfte der IT-Projekte in der Schweiz agil durchgeführt (davon grösstenteils mit Scrum). Viele Firmen haben diese Trends erkannt. Einige berücksichtigen sie bereits in ihren aktuellen Projekten und Pro-dukten, andere sammeln erste Erfahrungen und bauen langsam Wissen auf.

Folgerichtig liegt der primäre Fokus auf zwei Bereichen. Einer davon ist Agile Testing, denn die meisten der Befragten arbeiten inzwischen mindestens zum Teil mit agilen Vorgehensweisen. Doch die grundlegend andere Ausgangslage in Bezug auf Kultur, Zeitpunkt der Involvierung und Erwartungen, was Testing liefern muss, stellt viele Tester und ihre Organisationen vor erhebliche Probleme.

Der zweite Bereich ist das Requirements Engineering, der damit direkt eine der grössten Herausforderungen aufgreift: Die mangelhafte qualität von Anforderun-gen. Zufall oder Schicksal, die parallele Entwicklung dieser beiden Themen kann nur von Vorteil sein.

Haben wir letztes Jahr noch prophezeit, dass Mobile Testing für viele Organisatio-nen und Software-Tester auf dem Radar erscheinen würden, so sind sie für viele inzwischen Alltag. Die immer kürzeren Entwicklungs- und Releasezyklen können dabei nur mit Hilfe von Testautomation beherrscht werden. Ein Thema, das uns schon viele Jahre begleitet und oft immer noch nicht zufriedenstellend gelöst wurde.

Die Prognose für 2013? Manuelles Testen wird wieder an Bedeutung gewinnen. In Testautomatisierung wird weiter investiert, die Testabdeckung kann weiter erhöht werden. Auf der anderen Seite wird der Kostendruck weitere Effizienzstei-gerungen erzwingen und entsprechend leichtere Prozesse fordern. Testorganisatio-nen müssen sich dabei vermehrt integrieren und weniger auf Separation setzen.

Ziel der Trendwave ist es aufzuzeigen, welche Themen in nächster Zeit sowohl die Disziplin Testen beeinflussen werden, als auch die Personen und Organisationen, welche sich damit befassen. Sie hilft somit dem Leser, sich gezielt auf diese Veränderungen vorzubereiten und sie wo immer möglich aktiv mitzugestalten. Haben viele Aussagen unverändert Bestand, so sind doch einige Trends erkennbar, wie z.B. der wachsende Anteil an Testauto-mation oder die sinkende Beschäftigung externer Testressourcen.

TRENDWAVE 2013 Testing Trends & Benchmarks Schweiz 2013 5

Page 6: Testing Trends und Benchmarks 2013 De

4 5 6Die Reife des Requirement Enginee-ring Prozesses hat gegenüber dem Test weiterhin Nachholbedarf. Mangelhafte Anforderungen sind die grösste Herausforderung im Testing.

Von den Testaktivitäten wird die Testfallermittlung klar am schlechtesten bewertet. Strukturiert Testfälle herzuleiten, fällt vielen immer noch schwer.

Bei der Ausbildung wird weiterhin auf Zertifikate gesetzt. Der ISTqB Foundation Level und Advanced Level Test Manager waren und bleiben populär.

7 8 9In die Testautomatisierung und den Auf- und Ausbau der Regressionstests wird stetig investiert. Das Outsourcing ist für viele keine gangbare Lösung.

Der durchschnittliche Testaufwand im Verhältnis zum Gesamtprojekt-aufwand wurde über die Jahre konstant auf 16 - 20% geschätzt.

Bei den Tools für das Testmanage-ment und die Testautomatisierung zersplittert der Markt zusehends. Zudem kann man sich in den wenigsten Firmen auf ein Tool einigen.

2 31 Es gibt eine Verschiebung zu we-niger Neuentwicklungen und mehr Erweiterungen und Wartungs- projekten. Dafür steigt der Anteil der Mega-Projekte über 20 Mio. cHF stetig.

Neue, technologie- und prozess-getriebene Vorgehen, wie mobile Testing, agiles Testen oder Session Based Test Management, setzen sich immer mehr durch.

Wasserfall und agile Vorgehen halten sich die Waage, und werden oft in Kombination eingesetzt. Wasserfall / Scrum Hybrid Projekte sind auf dem Vormarsch, lösen aber viele Unsicherheiten aus.

KEY MESSAGES Testing Trends & Benchmarks Schweiz 2013 6

Page 7: Testing Trends und Benchmarks 2013 De

ProjekterfolgDie letzten drei Jahre haben Bewegung bezüglich des Projekterfolgs gezeigt. Zum einen haben inzwischen 4% der Unternehmen den Mut, Projekte zu stoppen, wenn der mangelnde Erfolg dies verlangt (2011 <1%). Auf der an-deren Seite konnten seit 2011 immerhin fast 50 % mehr Projekte in time und on budget beendet werden (von 23.7% auf 36.3%)!

ProjektartIm letzten Jahr betrug der Anteil der Neuentwicklung noch 39%. Es gab eine klare Verschiebung hin zu weniger Neuentwicklungen und mehr Erweiterungen und Wartungsprojekten.

PrOjekte

Erweiterung einer bestehenden Lösung

Neuentwicklung

Betrieb, Support, Wartung, Re-Design, ...

Migration

Einführung Standard-Software

Erfahrung der Mitarbeiter

Erfüllung des Auftrags/Ziele

Erfüllung von Regularien

Flexibilität

Prozesse

Business-/ Kundenfokus

Innovation

Standardisierung

qualität

Budget und Ressourcen

Effizienz

4Sehr gut

3Gut

2Zufriedenstellend

1Ungenügend

3.07

2.87

2.85

2.84

2.73

2.65

2.64

2.49

2.46

2.39

2.35

Testing Trends & Benchmarks Schweiz 2013 7

Projektgrösse (in CHF)

47%

25%

17%

6%5%

bis 1 Mio0%

20%

40%

über 20 Miobis 20 Mio

48.7%

38.3%

12.9%

Aufstellung der IT

Durchschnittliche Bewertung

Projekt im Rahmen, über

Budget und/oder Zeit

Projekt in Zeit, Budget,

Funktionalität beendet

Projekt verlängert/neu

geplant

Projekt mit grossen funkt. Änderungen

Projekt gestoppt

0%

20%

10%

40%

30%

23.7

%

37.2

%

23.7

%

35.1

%

25.1

%

17.5

%

20.8

%

36.3

%

27.1

%

14.7

% 18.1

%

11.6

%

0.6% 4.

1%

4.2%

2011 2012 2013

über 20 Mio

2011 2012 2013

15%

10%

5%

0%

5.2

%

10.8

% 12.9

%

Page 8: Testing Trends und Benchmarks 2013 De

vOrGehen

Angewandte VorgehensmodelleViele Unternehmen setzen auf mehr als ein Vorgehensmodell. Wasserfall hat erstaunlicherweise wieder zugelegt, was mit der gestiegenen Anzahl Grossprojekte zusammenhängen kann, wobei die Umsetzung in den ver-schiedenen Teams agil erfolgt.

Agil 49% (51%)

Iterativ 20% (22%)

RUP 10% (16%)

Hermes 10% (12%)

Wasserfall 53% (40%)

Gründe für agile MethodenBesserer Umgang mit sich stetig ändernden Prioritäten gilt als ein Hauptgrund für den Einsatz agiler Methoden, ebenso wie die Zusammenarbeit zwischen Business und IT und die Beschleunigung von Time-to-Market.

Beschleunigung Time-to-Market

Mit sich ändernden Prioritäten umgehen

Zusammenarbeit Business – IT verbessern

entwicklungsprozesse vereinfachen

Produktivität erhöhen

teammoral verbessernWartbarkeit erhöhen

kosten reduzieren

risiken minimieren

sichtbarkeit erhöhen

Testing Trends & Benchmarks Schweiz 2013 8

Scrum

Lean Development

Agile Hybrid (Mix aus verschiedenen Methoden)

( ) = Werte Umfrage 2012

Extreme Programming (XP)

Agile Unified Process (AgileUP)

Kanban

ScrumBan

Feature Driven Development (FDD)

0% 20% 40% 60% 80% 100%

12.1%

10.7%

6.4%

5.7%

3.6%

24.3%

29.3%

85.7%

Page 9: Testing Trends und Benchmarks 2013 De

Testing im Kontext von Agilität

aGIlItät Testing Trends & Benchmarks Schweiz 2013 9

Voll einverstanden Mehrheitlich einverstanden Nicht einverstanden Kann ich nicht beurteilen

31.7%glauben immer noch an grosse zentrale Vorgaben.

50%setzen auf Embedded Testing. Der Durchbruch ist geschafft, Testen ent-faltet immer mehr seinen Nutzen.

66.2%sehen immer noch die Existenzberechtigung der Rolle des Test Managers.

74.3%der Befragten setzen neben dem explorativen Testen weitere Testarten ein.

57.6%sehen keine Unsicherheit in Bezug auf Prozesse. Dies im Gegensatz zu den Aussagen der IT- Executives.

91.4%sehen weiterhin Bedarf an Testspezifikationen und Testfällen.

Die Abnahmetests erfolgen direkt im Sprint

Man hat jederzeit den Überblick, was gerade getestet wird

Jedes Team organisiert sich selbstständig und macht Testing ein bisschen anders

Die Unsicherheit der Tester ist grösser geworden, da die Prozesse unklar sind

Es braucht deutlich weniger Aufwand für das Testing

Es gibt keine formalen Vorgaben mehr bezüglich Dokumentation von Tests

Es werden keine Testspezifikationen / Testfälle mehr benötigt

Die Rolle Test Manager gibt es nicht mehr

Wir arbeiten ausschliesslich mit Akzeptanzkriterien

Wir testen nur explorativ

Wir wenden Embedded Testing an

0% 20% 40% 60% 80% 100%

17.1% 74.3%

91.4%

35.0% 50.7%

74.6%15.9%

9.3% 82.1%

21.6% 66.2%

25.2% 57.6%

13.6% 36.4% 15.0% 35.0%

14.4% 46.0% 31.7%

21.6% 51.8% 20.1%

21.6% 38.8% 32.4%

Page 10: Testing Trends und Benchmarks 2013 De

reIFe

Ansehen des Testens ReifegradBeurteilen beim Testing etwas über einem Drittel die Reife als schwach oder mittelmässig, sind es beim RE fast die Hälfte der Befragten.

Ausg

ezei

chne

t

Sehr

gutGut

Mittelm

ässig

Schw

ach

0%

20%

10%

40%

30%

Test

RE

Testing Trends & Benchmarks Schweiz 2013 10

Es ist für den Erfolg der Organisation strategisch

Es ist ein wichtiger Faktor, um verlässliche Software zu produzieren

Es ist ein notwendiges Übel

Es hat tiefe Priorität

Die Kosten für Tests könnten wir uns sparen

0% 10% 20% 30% 40% 50%

19%

51%

8%

2%

20%

Die grössten HerausforderungenDie „zu späte Lieferung der Software“ wurde neu aufgenommen und hat sich prompt zum Renner entwickelt, der allen anderen ein paar Prozentpunkte streitig gemacht hat.

( ) = Werte Umfrage 2012

Testum- gebung

Auto- matisierung

Zu späte Lieferung der SW

Zu wenig Budget /

Ressourcen

Tester zu spät

involviert

Anforde-rungen

mangelhaft

50%(63%)

30%(38%)

29%(30%)

26%(NEU)

22%(33%)

21%(30%)

19%(24%)

Testdaten

Page 11: Testing Trends und Benchmarks 2013 De

reIFe

Anwendung der TesttechnikenDie grundlegenden Black Box-Techniken kommen nur sporadisch zum Einsatz. Am verbreitetsten sind noch die Äquivalenzklassen- und Grenzwertanalyse.

Zufriedenheit mit TestaktivitätenDie Aktivitäten Testmanagement und Testdurchführung schneiden am besten ab. Das klare Schlusslicht bildet die Testfallermittlung.

Testing Trends & Benchmarks Schweiz 2013 11

100%

80%

60%

40%

20%

0%

56%

32%

12%

46%

39%

15%

38%

44%

18%

56%

35%

9%

44%

38%

18%

Testm

anag

emen

t

Testp

lanun

g

Testf

allerm

ittlu

ng

Testd

urch

führ

ung

Testa

uswer

tung

38%sind zufrieden mit der Testfallermittlung. Dies deckt sich mit den Erfahrungen bei Swissq Test Assessments. Strukturiert Testfälle herzuleiten fällt vielen schwer.

Nur

Zufrieden Mittelmässig Unzufrieden

Anwendungsfallbasiert

Risikobasiert

Exploratives Testen

Geschäftsprozessbasiert

Äquivalenzklassenanalyse

Grenzwertanalyse

Fehlerbasiert

checklistenbasiert

Entscheidungstabellen

Zustandsbasiert

Klassifikationsbaumverfahren

0% 10% 20% 30% 40% 50% 60%

56.8%

42.0%

41.6%

40.1%

23.7%

21.8%

18.3%

11.7%

10.4%

7.6%

1.9%

Anwendungsfälle und Geschäftspro-zesse bilden eine ideale Basis für die

Definition von Testfällen. Die Techniken sind entsprechend verbreitet.

40.1%wenden exploratives Testen an. Wobei der Begriff oft mit Adhoc Testing gleichgesetzt wird.

Page 12: Testing Trends und Benchmarks 2013 De

OrGanIsatIOn

AusbildungNach wie vor ist der ISTqB Foundation Level das meistverbreitete Zertifikat. Dahinter liefern sich Zertifikate aus den Disziplinen Test, ITIL, RE und Projekt Management ein Kopf-an-Kopf-Rennen. Agile holt derzeit mit dem certified Scrum Master auf.

Wer führt Testaktivitäten durch?

Testing Trends & Benchmarks Schweiz 2013 12

Unit Tests

84% Entwickler

52% IT Tester

54% IT Tester

48% Fachbereich Endbenutzer

54% IT Tester

Entwickler IT Tester RE / BA NiemandFachbereich Endbenutzer

Systemtests

Abnahmetests

Testautomatisierung

Last & Performance Tests

Hab ich schon Ist geplant Mal in ferner Zukunft

0% 20% 40% 60% 80% 100%

ISTqB Foundation Level

ISTqB Advanced Level Test Manager

IREB® cert. Professional for Requirements Engineering

certified Scrum Master

ISTqB Advanced Level Technical Test Analyst

Agile Testing

ISTqB Expert Level

Projektmanagement (IPMA, PMI, ...)

ISTqB Advanced Level Test Analyst

qualitätsmanagement (dipl. quality Manager, ...)

certified Product Owner

Agiles Requirements Engineering

ITIL

Page 13: Testing Trends und Benchmarks 2013 De

OrGanIsatIOn

InvestitionenDer Fokus ist und bleibt auf der Testautomatisierung und dem Auf- und Ausbau der Regressionstests. Am anderen Ende der Skala finden sich wie gehabt die Auslagerung von Testaktivitäten und die Anstellung neuer Testmitarbeiter.

Einsatz externer Ressourcen

Testing Trends & Benchmarks Schweiz 2013 13

Insgesamt nehmen 58.9% externe Unterstützung in Anspruch. Der Anteil des Outsourcing hat sich gegenüber 2012 von 5.9% auf 8.8% leicht erhöht, ist aber immer noch relativ klein.

41.1%

58.9%

Die Unterstützung der Testaktivitäten durch externe Ressourcen hat sich gegenüber dem letzten Jahr verringert. So beziehen nun 41.1% statt 33.8% keine externen Ressourcen mehr.

Investitionen nehmen ab

Investitionen nehmen zu

Testautomatisierung

Auf- und Ausbau Regressionstests

Testdaten-Management

Testumgebungen

Aus-/ Weiterbildung Mitarbeiter

Testmanagement-Tools

Testprozesse / Methoden

Anstellung neuer Test-Mitarbeiter

Auslagerung von Testaktivitäten

Keine externen Ressourcen

Bezug externer Ressourcen (Insourcing)

Bezug als Dienstleistung (Managed Service)

Auslagerung an externe Ressourcen (Outsourcing)

41.1%11.9%

38.2%

8.8%

Page 14: Testing Trends und Benchmarks 2013 De

testaUFWanD Testing Trends & Benchmarks Schweiz 2013 14

Testaufwand im Verhältnis zum Gesamtaufwand

Testaufwand im Verhältnis zum Entwicklungsaufwand

Auf den ersten Blick scheint sich der Testaufwand von Jahr zu

Jahr stark zu verändern. Analysiert man die Zahlen

genauer, stellt man jedoch fest, dass der durchschnittliche Testaufwand im Verhältnis zum

Gesamtprojektaufwand konstant auf 16 – 20% geschätzt wurde.

Ähnlich wie beim Gesamtauf-wand hat es beim Testaufwand im Verhältnis zum Entwicklungs-aufwand über die Jahre hinweg Verschiebungen gegeben. Trotzdem ist auch hier der Durchschnitt stabil bei 21 - 30% geblieben.

2011 2012 2013

< 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber0%

20%

10%

30%

16 – 20%

Gesamt-aufwand

21 – 30%

Entwicklungs-aufwand

12.5

%

19.4

%

20.1

% 23.5

%

14.4

%

8.2

%

1.9%

2011 2012 2013

< 5% 5 – 10% 11 – 15% 16 – 20% 21 – 30% 31 – 50% darüber0%

20%

10%

30%

6.9% 9.

7%

16.9

%

21.3

%

20.7

%

20.4

%

4.1%

Page 15: Testing Trends und Benchmarks 2013 De

testWerkzeUGe

Testautomatisierungs-ToolsInsgesamt bleibt der Markt stark fragmentiert. Es wurden fast 30 verschie-dene Tools genannt.

Testmanagement-ToolsHP qc /ALM beherrscht weiterhin den Markt. Tricentis Tosca hat sich aber zu einer ernstzunehmenden Konkurrenz entwickelt. Dahinter ist der Markt angesichts der stetig wachsenden Zahl von Alternativen zersplittert. Weiterhin kommen oft mehrere Tools zum Einsatz (namentlich die MS Office Palette).

Testing Trends & Benchmarks Schweiz 2013 15

0% 20%

3%

1%

2%

3%

3%

4%

6%

7%

20%

38%

52%

9%

14%

40%

HP qc / ALM

MS Office

Tricentis Tosca

Eigene Entwicklung

MS TFS Test Manager

Polarion qA / ALM

Bugzilla Testopia

IBM Rational quality Manager

Inflectra Spira

TestLink

SmartBear qAcomplete

Silkcentral Test Manager

keines

0% 10% 20%

34.5%

27.2%

24.1%

15.3%

8.8%

18.0%

5.0%

4.2%

4.2%

4.2%

3.4%

2.3%

30%

HP quick Test Professional (qTP)

Eigenentwicklung

Tricentis Tosca

xUnit (z.B. jUnit, TestNG, ...)

Selenium (Rc/WebDriver)

MS TFS / Visualstudio

qF Test

Ranorex

FitNesse

Lisa

canoo Webtest

Andere

IBM Rational Functional Tester (RFT)

0% 20% 40%

2012 2013

HP quick Test Professional (qTP)

Eigenentwicklung

Selenium (Rc/WebDriver)

Tricentis Tosca

26.8%

0% 20% 40% 60%

2012 2013

HP qc / ALM

MS Office

Tricentis Tosca

MS TFS Test Manager

Eigene Entwicklung

Page 16: Testing Trends und Benchmarks 2013 De

testaUtOMatIsIerUnG

KosteneinsparungenInsgesamt wird das Potential für Einsparungen durch Automatisierung höher eingeschätzt als im Vorjahr. Wie schon im Vorjahr hat ein beachtlicher Teil der Teilnehmenden gesagt, dass keine Aussage möglich ist.

Testautomatisierung pro Teststufe

Testing Trends & Benchmarks Schweiz 2013 16

Automatisierte Tests auf Stufe Systemtest

82%der Befragten haben automatisierte Tests auf einer oder mehreren Stufen.

% der Testfälle automatisiert

0 – 10% 11 – 20% 21 – 50% 51 – 80% > 80%0%

60%

40%

20%

2011 2012 2013

7.3%

0%

10%

20%

30%

40%

23.7

%

21.8

%

10.2

%

16.1

%

33.3

%

24.9

%

10.7

%

2.8%

22.6

%

19.5

%Kosten

gestiegen

6.9%

Keine Aussage möglich

bis 10% bis 50%bis 20% bis 80%

2012 2013Unit Tests Systemtests Abnahmetests

% der Testfälle automatisiert

0% 1 – 10% 21 – 50%11 – 20% 51 – 80% über 80%

14.2%

21.5%

8.8%

22.2%

34.5%

22.2%

14.9%

13.8%

8.8%

12.3%

22.2%

9.2%

0%

20%

40%

60%

80%

13.8%

5.4%12.6%

6.1%

12.6%

44.8%

Page 17: Testing Trends und Benchmarks 2013 De

erheBUnGsGrUnDlaGen

AufgabenbereichViele Teilnehmende umschreiben ihre Tätigkeit mit mehr als einer Rolle. Das Spektrum der zu erfüllenden Aufgabenbereiche ist insgesamt sehr breit gefächert.

WirtschaftssektorWenig überraschend ist, dass der Anteil an Finanzen und Versicherungen stetig sinkt. Von 35% im 2011 über 28.4% im 2012 zu 24.8% im 2013. Zeitgleich stieg der Anteil staatlicher Betriebe von 6.5% auf inzwischen 9%.

Testing Trends & Benchmarks Schweiz 2013 17

0%

2001–...

501–2000

251–500

51–250

11–50

1–10

5% 10% 15% 20% 25% 30% 35%

29.0%

14.9%

13.7%

23.8%

13.7%

5.0%

0%

IT

Finanzen, Versicherungen

Staatliche und staatsnahe Betriebe

Industrie

Transport und Verkehr

Telekom

MedTech

Andere

10% 20% 30% 40%

24.8%

37.7%

9.0%

8.7%

5.9%

4.2%

2.4%

7.3%

IT-MitarbeitendeÜber die Hälfte der Befragten arbeitet in Firmen mit mehr als 250 IT-Mitarbeitenden.

Test Manager

Test Engineer / Test Analyst / Tester

Berater / consultant

Projektleiter

Teamleiter

Abteilungsleiter / Bereichsleiter

Requirements Engineer

Business Analyst

quality Manager / qS-Verantwortlicher

Softwareentwickler / Developer

SW Engineer in Test / Testautomatisierer

c-Level (cEO / cIO / ...)

Scrum Master

Product Owner

0% 10% 20% 30% 40%

35.5%

27.8%

18.6%

18.3%

17.8%

13.5%

14.0%

12.6%

12.0%

5.2%

5.7%

6.0%

6.6%

7.4%

Page 18: Testing Trends und Benchmarks 2013 De

RequiRemenTS TRendS & BenCHmaRkS SCHweiz 2013

Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über Requirements Engineering über www.SwissQ.it.

Requirements Trends & Benchmarks Schweiz 2013Viele weitere Zahlen und Details sind im Requirements Trends & Benchmark Report 2013 zu finden.

Testing Trends & Benchmarks Schweiz 2013 18

RE-Aufwand im Verhältnis zum Gesamtaufwand

< 5%

0%

10%

20%

10-15% 15-20% 20-30% 30-50% darüber5-10%

24.7%22.6%

20.4%

RE Aufwand im Verhältnis zum Gesamtaufwand

10.8%

18.3%

2.73%

0.5%

Zufriedenheit

Zufrieden Mittelmässig Unzufrieden

Erheben von Anforderungen

Analysieren von Anforderungen

Verwalten von Anforderungen

Dokumentieren von Anforderungen

Prüfen von Anforderungen

0% 20% 40% 60% 80% 100%

40.5%28.2%

42.1%44.1% 13.8%

33.3%48.7% 17.9%

44.1%35.9% 20.0%

41.0%36.4% 22.6%

31.3%

Page 19: Testing Trends und Benchmarks 2013 De

Möchten Sie mehr wissen? Sie erhalten den detaillierten Report mit weiteren Analysen über agile Trends über www.SwissQ.it.

Agile Trends & Benchmarks Schweiz 2013Viele weitere Zahlen und Details sind im Agile Trends & Benchmark Report 2013 zu finden.

agile TRendS & BenCHmaRkS SCHweiz 2013 Testing Trends & Benchmarks Schweiz 2013 19

Management Practices

Sprint Review / Product Demo

Definition of Done

Planning Poker

Daily Standup

Release Planning

Velocity chart

co-Location

Backlog Management

Retrospektiven

Dedicated Product Owner

On-Site customer

Burndown chart

Taskboard

Definition of Ready

Work in Progress (WiP) Limits

78.6%

75.7%

73.6%

64.3%

62.1%

61.4%

60.0%

50.0%

42.1%

41.4%

28.6%

17.9%

16.4%

9.3%

7.1%

0% 20% 40%

Verwendete Tools im agilen Umfeld

MS Office (Word, Excel)

MS Team Foundation Server

IBM Rational Team concert

Version One

Andere

Atlassian JIRA / Greenhopper

Bugzilla

Scrumy

Inflectra SpiraDevelopment

HP qc / ALM

Eigene Entwicklung

Rally Software Development

52.9%

47.1%

37.9%

20.0%

10.7%

8.6%

6.4%

4.3%

2.1%

3.6%

1.4%

14.3%

0% 20% 40% 60%

Page 20: Testing Trends und Benchmarks 2013 De

ÜBer Uns

Swissq unterstützt ihre Kunden in den Themen Requirements, Testing und Agilität. Wir stellen dabei sicher, dass die richtige Funktionalität schnell und richtig geliefert wird. Dies durch das Bereitstellen von Expertise, Ressourcen, Assessments, Methoden und Trainings.

Unsere Vision ist es, die Wertsteigerung in der IT durch perfektes Requirements Engineering, professionelles Software Testing und den bewussten Einsatz von agilen Methoden zu verbessern. Nebst der Erbringung von hochqualitativen Services, verfolgen wir diese Vision durch die Schaffung von unabhängigen Plattformen wie dem Swiss Testing Day und dem Swiss Requirements Day, die den Wissens- und Erfahrungsaustausch ermöglichen. Ausserdem helfen wir hellen Köpfen, ihr Wissen durch unsere Schulungen zu erweitern.

© by swissQ consulting aG | stadthaus-Quai 15 | ch-8001 zürichwww.swissQ.it | [email protected] | tel +41 43 288 88 40 | Fax +41 43 288 88 39

twitter: @swissQ | Facebook: swissqconsulting