Dyn

amisch

e Erm

ittlun

g d

er So

ftwareq

ualität zu

r U

nterstü

tzun

g d

er Testfallprio

risierun

g m

it einem

ag

enten

basierten

An

satz

1

Yan

g Y

ang

(Lo

gica D

eutsch

land

Gm

bH

& C

o. K

G)

Ch

ristop

h M

alz (Un

iversität Stu

ttgart)

Pro

f. Peter G

öh

ner (U

niversität S

tuttg

art)L

oth

ar Beller (Z

F F

riedrich

shafen

AG

)T

ho

mas K

erler (ZF

Fried

richsh

afen A

G)

TAV

31 03.02.11

Institu

t für A

uto

matisieru

ng

s-u

nd

So

ftwaretech

nik

Pfaffenw

aldring 4770550 S

tuttgart

ZF

Fried

richsh

afen A

GE

hlersstraße 50

88046 Friedrichshafen

Motiv

atio

n

TE

P P

KW

-An

triebstech

nik

An

triebs-

un

d F

ahrw

erktechn

ik

2

Motiv

atio

n

Lo

thar B

eller

Wie ist jetzt d

ie Q

ualität u

nserer

So

ftwarep

rod

ukte?

Welch

e Testfälle so

llen

in w

elcher R

eihen

folg

e d

urch

gefü

hrt w

erden

?

3

Lo

thar B

eller

1. Wie kan

n d

ie So

ftwareq

ualität b

ewertet w

erden

?2. W

ie kann

die o

ptim

ale Reih

enfo

lge d

urch

zufü

hren

der Testfälle

bestim

mt w

erden

?

�M

anag

emen

t der Testaktivitäten

�M

anag

emen

t der Testresso

urcen

�B

ewertu

ng

des Testo

bjekts

Glie

derung

�S

tand der Technik und Problem

beschreibung

�Z

iel und Konzeptidee

�G

rundlagen des Konzepts

�K

onzept des agentenbasierten Testmanagem

entsystems

4

�K

onzept des agentenbasierten Testmanagem

entsystems

�E

valuierung des Prototyps

�Z

usamm

enfassung und Ausblick

Sta

nd des Softw

arete

sts bei T

EP, Z

F Friedrichshafe

n A

G (1)

�S

oftw

areentw

icklun

gsp

rozess

-O

rientierung am allgem

einen V-M

odell-

Organisatorische und unterstützende P

rozesse benögtigt

5

Sta

nd des Softw

arete

sts bei T

EP, Z

F Friedrichshafe

n A

G (2)

�Test vo

n P

KW

Au

tom

atgetrieb

e-

Softw

are-und S

ystemfunktionstest vom

mechatronischen S

ystem

-H

ardware-in-the-Loop-Techlonogie

-Anforderungsbasierter Test

�Tren

nu

ng

von

der fu

nktio

nalen

Sich

t un

d d

er So

ftwaresich

t-

Testmanagem

ent in der funktionalen Sicht

-M

apping zwischen der funktionalen S

icht und der Softw

aresicht

6

x

xx

xx

xx

xx

Fu

nktio

nale S

icht

So

ftwaresich

t

Metriken bei Z

F Friedrichshafen A

G

�M

etriken au

s den

So

ftwareen

twicklu

ng

spro

zessenz.B

. LOC

pro, Kom

plexität nach McC

abe, Kom

plexität nach Halstead, Testabdeckung M

odultest, Testabdeckung Integrationstest usw

.

�M

etriken au

s dem

An

ford

erun

gsm

anag

emen

tz.B

.Teststatus der Anforderung usw

.

�M

etriken au

s dem

Pro

blem

man

agem

ent

z.B. F

ehlertyp, Fehlerentdeckung, S

tatus des SW

-Fehlers usw

.

�M

etriken au

s der Q

ualitätssich

erun

gz.B

. Fehlerschw

ere, Fehler pro R

elease, Implem

entierungszeitpunkt des Fehlers usw

.

�M

etriken au

s dem

Än

deru

ng

sman

agem

ent

7

�M

etriken au

s dem

Än

deru

ng

sman

agem

ent

z.B. Ä

nderungstyp, Kom

plexität der Änderung usw

.

Problemste

llung

�A

usw

ertun

g ein

er gro

ßen

Men

ge vo

n D

aten n

otw

end

ig

�M

athem

atische B

eschreib

un

g d

er Zu

samm

enw

irkun

gen

u

ntersch

iedlich

er Metriken

schw

ierig

�N

ur u

nsch

arfes Exp

ertenw

issen als verb

al form

ulierte R

egeln

verfüg

bar

8

�V

erschied

ene F

aktoren

besitzen

un

terschied

liche B

eiträge

�B

ewertu

ng

von

Daten

schw

ierig

�B

ewertu

ng

der Q

ualität vo

n Testth

emen

schw

ierig

�B

estimm

un

g d

er Testwich

tigkeit vo

n Testth

emen

schw

ierig

Glie

derung

�S

tand des Softw

aretests bei ZF

Friedrichshafen A

G

�Z

iel und Konzeptidee

�G

rundlagen des Konzepts

�K

onzept des agentenbasierten Testmanagem

entsystems

9

�K

onzept des agentenbasierten Testmanagem

entsystems

�E

valuierung des Prototyps

�Z

usamm

enfassung und Ausblick

Adaptiv

es Testm

anagementsyste

m

Ad

aptives Testm

anag

emen

tsystem(A

TM

S)

Aktu

elle Testgü

te

Ad

aptive Testfallp

riorisieru

ng

beim

So

ftwaretest

�Z

iel: An

zahl au

fged

eckter Feh

ler erhö

hen

Ch

ristop

h M

alz

10

�P

riorisierung von Testfällen �

Anpassung der P

riorisierung aufgrund dynam

ischer Informationen

Dyn

amisch

e Info

rmatio

nen

(z.B. F

ehlerd

aten, Ä

nd

erun

gen

, Belastu

ng

der E

ntw

ickler)

(AT

MS

)In

form

ation

en

üb

er Testob

jekt

Info

rmatio

nen

ü

ber Testfälle

Prio

risierteTestfälle

Priorisierung von Testth

emen

010_SB

W030_F

ktReg

040_Strat

050_Ersatzfkt

060_10_OB

D05

……

�B

estimm

un

g d

er Testwich

tigkeit ein

zelner Testth

emen

�E

xperten

wissen

als verbal fo

rmu

lierte Reg

eln-

Wo S

icherheitsrelevanz hoch ist, hat es eine große B

edeutung für das System

.

11

�E

influ

ssfaktoren

auf P

riorisieru

ng

-S

icherheitsrelevanz-

Implem

entierungskomplexität

-Ä

nderungshäufigkeit-

Fehleranfälligkeit

-V

ertrauensgrad-

Qualität

-W

o Sicherheitsrelevanz hoch ist, hat es eine groß

e Bedeutung für das S

ystem.

-W

o Implem

entierungskomplexität hoch ist, könnten viele F

ehler auftreten.-

Wo häufig geändert w

urde, könnten viele Fehler verursacht w

erden.-

Wo einige F

ehler sind, sind auch mehr. [S

pLi05]-

…

�A

llgem

eines Q

ualitätsm

od

ell

Qualitä

tsbewertu

ng von Testth

emen (1)

12

[Balz98]

ISO/IE

C9126

Effizie

nz

Zeitverhalten

Verbrauchsverhalten

Funktio

nalitä

tA

ngemessenheit

Richtigkeit

InteroperabilitätS

icherheitO

rdnungsmäß

igkeit

Zuverlässigkeit

Reife

Fehlertoleranz

Wiederherstellbarkeit

�U

ntersch

iedlich

e Qu

alitätsmo

delle

-F

CM

-Modell

-M

odell nach McC

all-

Modell nach B

oehm

-Q

ualitätsmodell in IS

O 9126

-F

UR

PS

�B

etrachtete Q

ualitätsm

erkmale

-F

unktionalität-

Zuverlässigkeit

√

Qualitä

tsbewertu

ng von Testth

emen (2)

13

Kom

formität

Wiederherstellbarkeit

Kom

formität

Übertra

gbarkeit

Anpassbarkeit

InstallierbarkeitK

oexistenzK

onformität

Austauschbarkeit

Änderbarkeit

Analysierbarkeit

Modifizierbarkeit

Stabilität

Testbarkeit

Benutzb

arkeit

Verständlichkeit

Erlernbarkeit

Bedienbarkeit

Attraktivität

Kom

formität

-Z

uverlässigkeit-

Änderbarkeit

�Q

ualität im

Sin

ne d

er Arb

eit-

Qualität einzelner Testthem

en-

Qualität des F

ahrzeug-Getriebe-S

ystems

Ziel u

nd K

onzeptid

ee

�B

ewertung der S

oftwarequalität einzelner Testthem

en�

Bew

ertung der Softw

arequalität des Fahrzeug-G

etriebe-S

ystem�

Bestim

mung der P

riorität einzelner Testthemen

Ad

aptives Testm

anag

emen

tsystem(A

TM

S)

Info

rmatio

nen

ü

ber S

oftw

are-ko

mp

on

enten

Info

rmatio

nen

P

riorität ein

zelner

Testthem

en

Au

tom

atisierte Bew

ertun

g d

er Testthem

en b

eim S

oftw

aretest

�R

eduktion manueller D

etailtätigkeiten bei der Datenbew

ertung�

Unterstützung der Testthem

enpriorisierung anhand dynamisch erm

ittelter B

ewertungsergebnisse

Qu

alität einzeln

erTestth

emen

Qu

alität des

System

s

14

�B

estimm

ung der Priorität einzelner Testthem

en �

Anpassung der P

riorisierung aufgrund dynam

ischer Informationen

Dyn

amisch

e Info

rmatio

nen

(z.B. F

ehlerd

aten, Ä

nd

erun

gen

, Testabd

eckun

gen

)

Info

rmatio

nen

ü

ber Testth

emen

Testthem

en

�A

utonome A

genten bieten ein gutes Potenzial, um

die Kom

plexität zu beherrschen und dieseA

ufgaben zu übernehmen.

�A

gen

tenb

asierter An

satz mit d

er Integ

ration

von

Wissen

du

rch F

uzzy-L

og

ik

Glie

derung

�S

tand der Technik und Problem

beschreibung

�Z

iel und Konzeptidee

�G

rundlagen des Konzepts

�K

onzept des agentenbasierten Testmanagem

entsystems

15

�K

onzept des agentenbasierten Testmanagem

entsystems

�E

valuierung des Prototyps

�Z

usamm

enfassung und Ausblick

Zustand und V

erhalten•Z

iele vorgegeben•B

estimm

t Verhalten

−S

oftwareeinheit m

it definiertem Z

iel −

Autonom

es Verhalten zur E

rreichung des Ziels

−Interaktion m

it Um

gebung und anderen Agenten

−D

auerhafte Beibehaltung des inneren Z

ustandes

�G

run

dko

nzep

te der ag

enten

orien

tierten D

enkw

eise

�A

gen

t:

Agente

norientie

rte

Konzepte

(1)

16

•Bestim

mt V

erhalten•G

gf. anpassbar

Hohe A

bstraktion(z.B

. Verhandlung)

Kontrolle über

Zustand und

Verhalten

Reaktivität (U

mw

elt wahr-

nehmen und reagieren)

•Fortlaufender K

ontrollfluss•U

nabhängig von Aktivierung

Kap

selun

g

Au

ton

om

ie

Interaktio

n

Zielo

rien-

tierun

g

Aktivität

Persisten

z

Proaktivität (voraus-

schauendes Verhalten,

Eigeninitiative)

Ag

ent

�K

apselung von−

Identität („wer“)

−Z

ustand („was“)

−V

erhalten („wie“)

�K

eine Kontrolle über A

ufruf

�Z

usätzlich Kapselung von

−F

reiheitsgradeder A

ktionswahl

und Interaktion�

Anfrage statt A

ufruf

�„w

ann

“

�„m

it wem

“

�„o

b ü

berh

aup

t“

Objekt

Agent

�U

ntersch

ied zu

r Ob

jektorien

tierun

g (h

öh

ere Ab

straktion

seben

e)

Agente

norientie

rte

Konzepte

(2)

17

2. Stru

kturieru

ng

−S

trukturen werden nicht

explizit vorgegeben−

Beschreibung m

öglicher Beziehungen durch

Interaktionsmodelle

1. Zerleg

un

g

un

d A

bstraktio

n−

Zerlegung in autonom

e Agenten

−A

bstraktion auf Basis agentenorientierter

Konzepte

�A

gen

teno

rientierte S

oftw

areentw

icklun

g b

ietet −

Entw

urf einer flexiblenLösung

−M

ögliche Strukturen und V

erhalten im R

ahmen festgelegter V

ariationen�

Reaktio

n au

f Situ

ation

en, d

ie nich

t kon

kret im E

ntw

urf vo

rgeseh

en sin

d

�W

ie entw

ickelt man

So

ftware ag

enten

orien

tiert?

Fuzzy-L

ogik

�F

uzzy-L

og

ik

−Ü

bersetzt: „Unscharfe Logik“

−E

rweitert die klassische M

engenlehre durch „unscharfe“ Fuzzy-M

engen

−E

rlaubt verbale Form

ulierung von Expertenw

issen

Lotfi A. Z

adeh

bietet eine gute Möglichkeit, unscharfe m

enschliche Bew

erbungsmaß

stäbeund S

chlussfolgerungsabläufe nachzubilden. [Lippe06]

�G

run

dlag

e der F

uzzy-L

og

ik

18

−D

arstellung von Fuzzy-M

engen über Zugehörigkeitsfunktionen

Klassisch: 100 km

/h = schnell

60 km/h =

moderat

70 km/h =

?

Fuzzy-M

enge „Geschw

indigkeit“:

Analytic

Hierarchy P

rocess

Thom

as L. Saaty

�A

blau

f der G

ewich

tun

g relevan

ter Fakto

ren d

urch

AH

P

�A

nalytic H

ierarchy P

rocess (A

HP

)

−Z

ur Überprüfung und E

rgänzung von subjektiven „Bauch-E

ntscheidungen“

−Z

um H

erausarbeiten von qualitativen Gew

ichtungsentscheidungen

ermöglicht es, kom

plexe Gew

ichtungsentscheidung systematisch

zu vereinfachen und dadurch rational und transparent zu treffen.

19

Gew

ichtu

ng

smatrix

Fu

nktio

nalität

Zu

verlässigkeit

Än

derb

arkeitG

ewich

t

Fu

nktio

nalität

Zu

verlässigkeit

Än

derb

arkeit

1

1

1 1

1

2

1/2

2

1/2

40%40%

20%

Glie

derung

�S

tand der Technik und Problem

beschreibung

�Z

iel und Konzeptidee

�G

rundlagen des Konzepts

�K

onzept des agentenbasierten Testmanagem

entsystems

20

�K

onzept des agentenbasierten Testmanagem

entsystems

�E

valuierung des Prototyps

�Z

usamm

enfassung und Ausblick

Agente

nty

pen

Softw

arefunktio

nssystem

Softw

aresicht

Modul 2 M

odul 3M

odul 1M

odul 4

Modul 8

Modul 5

Modul6

Modul 7

Modul 9

System-Agent

12

3

21

funktionale Sicht

Testth

ema 1

Testth

ema 2

Testth

ema 3

Aufgaben:

-Bewertu

ng der Q

ualitä

t einzelner T

estth

emen

-Bestim

mung der P

rioritä

t einzelner T

estth

emen

Inte

raktio

nen der A

gente

n

der

22

Austauschen der

relevanten

Informationen

Austauschen der

relevanten

Informationen

Qualitä

tsbewertu

ng (1)

�V

erwen

du

ng

des G

QM

-An

satz [Eb

Du

96]

−Z

iel: B

ewertung der S

tabilität eines Testthemas

�W

as bed

eutet S

tabilität?

−IS

O 9126:

Wahrscheinlichkeit des A

uftretens unerwarteter W

irkungen von Änderungen.

−Interpretation des Testm

anagers:S

tabil, wenn nach dem

hinreichenden Test nur geringe Fehlerw

irkung entdeckt wurde und nicht m

ehr so häufig geändert w

urde.

23

−F

rage 1

: Wie ist der V

ertrauensgrad des Testthemas?

Metrik

1: E

ntd

eckte

Fehle

rM

etrik

2: F

ehle

rschw

ere

Metrik

3: A

nza

hl a

usgefü

hrte

r Testfä

lleM

etrik

4: T

esta

bdeckung

−F

rage 2

: Wie ist die Ä

nderungshäufigkeit des Testthemas?

Metrik

1: A

nzahl der Änderungen

Metrik

2: D

atum der Ä

nderung

Qualitä

tsbewertu

ng (2)

�A

ufstellen

der R

egeln

Reg

elbasis zu

r Bew

ertun

g d

er Stab

ilität einzeln

er Testth

emen

1.Wenn (V

ertrauensgrad ist hoch) und (Änderungshäufigkeit ist hoch) dann (S

tabilität ist mittel)

2.Wenn (V

ertrauensgrad ist hoch) und (Änderungshäufigkeit ist m

ittel) dann (Stabilität ist hoch)

3.Wenn (V

ertrauensgrad ist hoch) und (Änderungshäufigkeit ist gering) dann (S

tabilität ist hoch)4.W

enn (Vertrauensgrad ist m

ittel) und (Änderungshäufigkeit ist hoch) dann (S

tabilität ist gering)5.W

enn (Vertrauensgrad ist m

ittel) und (Änderungshäufigkeit ist m

ittel) dann (Stabilität ist m

ittel)6.W

enn (Vertrauensgrad ist m

ittel) und (Änderungshäufigkeit ist gering) dann (S

tabilität ist hoch)7.W

enn (Vertrauensgrad ist gering) und (Ä

nderungshäufigkeit ist hoch) dann (Stabilität ist gering)

8.Wenn (V

ertrauensgrad ist gering) und (Änderungshäufigkeit ist m

ittel) dann (Stabilität ist gering)

9.Wenn (V

ertrauensgrad ist gering) und (Änderungshäufigkeit ist gering) dann (S

tabilität ist mittel)

24

Regelbasis

WE

NN

...

DA

NN

...

WE

NN

...

DA

NN

...

WE

NN

...

DA

NN

...

Vertrau

ensg

rad

Än

deru

ng

shäu

figkeit

Inferen

zF

uzzifizieru

ng

Defu

zzifizierun

g

Stab

ilitätswert

�B

ewertu

ng

du

rch F

uzzy-L

og

ik

Qualitä

tsbewertu

ng (3)

�Z

weistu

fige Q

ualitätsb

ewertu

ng

−R

egelbasierte Qualitätsbew

ertung durch Fuzzy-Logik

−F

ein-Bew

ertung durch Analytic H

ierarchy Process (A

HP

)

25

w1

w2

w3

w4

w´

1

w´

2

w´

3

010_SB

W030_F

ktReg

040_Strat

050_Ersatzfkt

060_10_OB

D05

……

……

Q1Q

2

Q3

Q4Q

5

, w1

, w2

, w3

, w4, w

5

Prioritä

tsbestim

mung

�Z

weistu

fige P

riorisieru

ng

−R

egelbasierte Priorisierung durch F

uzzy-Logik

−F

ein-Priorisierung durch A

nalytic Hierarchy P

rocess (AH

P)

26

�E

influ

ssfaktoren

auf P

riorisieru

ng

−S

icherheitsrelevanz

−Im

plementierungskom

plexität

−Ä

nderungshäufigkeit

−F

ehleranfälligkeit

−V

ertrauensgrad

−Q

ualität

w1

w2

w3

w4

w5

w6

Reg

elbasis zu

r Prio

risierun

g vo

n T

estthem

en1. W

enn (Sicherheitsrelevanz ist hoch) dann (P

riorität ist hoch) 2. W

enn (Sicherheitsrelevanz ist m

ittel) dann (Priorität ist m

ittel) 3. W

enn (Sicherheitsrelevanz ist gering) dann (P

riorität ist gering)4. W

enn (Implem

entierungskomplexität ist hoch) dann (P

riorität ist hoch)5. W

enn (Implem

entierungskomplexität ist m

ittel) dann (Priorität ist m

ittel)6. W

enn (Implem

entierungskomplexität ist gering) dann (P

riorität ist gering)7. W

enn (Änderungshäufigkeit ist hoch) dann (P

riorität ist hoch)8. W

enn (Änderungshäufigkeit ist m

ittel) dann (Priorität ist m

ittel) 9. W

enn (Änderungshäufigkeit ist gering) dann (P

riorität ist gering) 10. W

enn (Fehleranfälligkeit ist hoch) dann (P

riorität ist hoch)11. W

enn (Fehleranfälligkeit ist m

ittel) dann (Priorität ist m

ittel)12. W

enn (Fehleranfälligkeit ist gering) dann (P

riorität ist gering)13. W

enn (Vertrauensgrad ist hoch) dann (P

riorität ist gering)14. W

enn (Vertrauensgrad ist m

ittel) dann (Priorität ist m

ittel) 15. W

enn (Vertrauensgrad ist gering) dann (P

riorität ist hoch) 16. W

enn (Qualität ist hoch) dann (P

riorität ist gering) 17. W

enn (Qualität ist m

ittel) dann (Priorität ist m

ittel) 18. W

enn (Qualität ist gering) dann (P

riorität ist hoch)

(w1)

(w1)

(w1)

(w2)

(w2)

(w2)

(w3)

(w3)(w

3)(w

4)(w

4)(w4)

(w5)

(w5)

(w5)

(w6)

(w6)

(w6)

Glie

derung

�S

tand der Technik und Problem

beschreibung

�Z

iel und Konzeptidee

�G

rundlagen des Konzepts

�K

onzept des agentenbasierten Testmanagem

entsystems

27

�K

onzept des agentenbasierten Testmanagem

entsystems

�E

valuierung des Prototyps

�Z

usamm

enfassung und Ausblick

Evaluierung des P

roto

typs

�E

valuieru

ng

−E

ntwicklung in Java

−B

ibliotheken mittels JA

DE

(Java Agent D

evelopment F

ramew

ork)

−O

pen Source B

ibliothek jFuzzylogic

−O

pen Source B

ibliothek Apache P

OI

−V

erwendung der historischen D

aten aus abgeschlossenen Projekten

�E

rstes Erg

ebn

is

28

�E

rstes Erg

ebn

is

Mithilfe des A

TM

S können viele Testthem

en in folgenden Testzyklen ausgeschlossen werden.

Weitere E

valuierung läuft zur Zeit.

Glie

derung

�S

tand der Technik und Problem

beschreibung

�Z

iel und Konzeptidee

�G

rundlagen des Konzepts

�K

onzept des agentenbasierten Testmanagem

entsystems

29

�K

onzept des agentenbasierten Testmanagem

entsystems

�E

valuierung des Prototyps

�Z

usamm

enfassung und Ausblick

Zusammenfa

ssung und A

usblic

k

�Z

usam

men

fassun

g

−A

gentenbasierter Konzept zur B

ewertung der S

oftwarequalität sow

ie zur Bestim

mung der

Priorität einzelner Testthem

en

−V

erlässliche Aussage über die aktuelle S

oftwarequalität einzelner Testthem

en

−E

rleichterung der Testthemenpriorisierung

−F

okussierung der Testaktivitäten auf die kritischen Stellen

−V

erhinderung vom unnötigen Testen

30

�A

usb

lick

−O

ptimierung der R

egelbasis

−W

eitere Evaluierung des K

onzepts bei der ZF

Friedrichshafen A

G

Fragen und D

iskussion

Vielen

Dan

k für Ih

r In

teresse!

31