Klassifikationsgenauigkeit und Genauigkeitsmasse (7b)10.05.2013 1 Department of Geography 10.05.2013 Grundlagen Fernerkundung FS2013 Seite 1 Klassifikationsgenauigkeit und Genauigkeitsmasse

10.05.2013

1

Department of Geography

10.05.2013 Seite 1 Grundlagen Fernerkundung FS2013

Klassifikationsgenauigkeit und

Genauigkeitsmasse (7b) Vorlesung

Reik Leiterer, Michael E. Schaepman

Literatur:

Lillesand, T.M., Kiefer, R.W. & Chipman, J.W. (20086): Remote Sensing and Image

Interpretation - 7.17 Classification Accuracy Assessment, 585-592.



10.05.2013

2



Mit welcher Wahrscheinlichkeit stimmt die

Klassifikation für einen beliebigen Punkt in der Karte

mit der Wirklichkeit überein?

Wie genau sind die jeweiligen Klassen?

Wie kann ich die Unsicherheiten der Karte

kommunizieren/ visualisieren?


A classification is not complete

until it has been assessed.

(R.G. CONGALTON 1991:35)


10.05.2013

3


10.05.2013 Grundlagen Fernerkundung FS2013 Seite 5

Klassifikation – Wie genau ist sie denn?

Landsat Thematic Mapper, K 2,4,7

… sieht ganz gut aus.

… ist glaubwürdig/ ist plausibel.

Ist das ausreichend für eine Bewertung der Klassifikationsgüte?



Bestimmung der Klassifikationsgüte - Möglichkeiten

Vergleich mit Bild (visuell) -> sehr unzuverlässig, nicht-quantitativ

Vergleich mit Karte (visuell) -> unzuverlässig, nicht-quantitativ

Vergleich mit ground truth (visuell) -> bedingt abschätzbar, nicht-quantitativ

Vergleich mit ground truth (digital) -> zuverlässig, häufig angewendet, quantitativ

Unabhängige Verwendung von -> zuverlässig, häufig angewendet, quantitativ

ground truth für Training des

Klassifikators und Validierung (digital)

Vergleich mit unabhängiger/ -> „best practice“, sehr zuverlässig, quantitativ

statistisch basierter Referenz (digital)

10.05.2013

4



Bestimmung der Klassifikationsgüte - Möglichkeiten Luftbild – HRSC-AX

Klassifikation:

Wasser, Vegetation, versiegelte Flächen

Visueller Vergleich mit Bild:

Wie gut wurde die Vegetation klassifiziert?


Klassifikationsgenauigkeit – die Fehlermatrix


Referenz/ ground truth Klassifikation

Wald

Ackerland

Sonstige Vegetation

Vegetationsfrei

10.05.2013

5




A B C D Σ

A

B 9

C 30

D 10

Σ 10 24 12

Referenz/ ground truth

Kla

ss

ifik

ati

on

Re

fere

nz/ g

rou

nd

tru

th

Kla

ss

ifik

ati

on

15

9

24

10

3 1

0 0 0

0 0 0

0 0 0

2

15

18 64

Wald

Ackerland

Sonstige Vegetation

Vegetationsfrei




A B C D Σ

A nAA nAB nAC nAD nA+

B nBA nBB nBC nBD nB+

C nCA nCB nCC nCD nC+

D nDA nDB nDC nDD nD+

Σ n+A n+B n+C n+D n++


Kla

ssif

ikati

on

Summe aller klassifizierten Pixel in Klasse A

Summe aller Pixel in Klasse A in der Referenz

Gesamtanzahl aller Pixel/ Grundgesamtheit

Richtig klassifizierte Pixel

(Klassifikation = Referenz)

X

X X

X X X

X

X X

X

X

X Falsch klassifizierte Pixel

(Klassifikation ≠ Referenz)

10.05.2013

6




A B C D Σ

A

B 9

C 30

D 10

Σ 10 24 12


Kla

ss

ifik

ati

on

Re

fere

nz/ g

rou

nd

tru

th

Kla

ss

ifik

ati

on

15

9

24

10

3 1

0 0 0

0 0 0

0 0 0

2

15

18 64



Falsch klassifizierte Pixel


Wald

Ackerland

Sonstige Vegetation

Vegetationsfrei




A B C D Σ

A

B 9

C 30

D 10

Σ 10 24 12


Kla

ss

ifik

ati

on

Re

fere

nz/ g

rou

nd

tru

th

Kla

ss

ifik

ati

on

15

9

24

10

3 1

0 0 0

0 0 0

0 0 0

2

15

18 64

Falsch klassifizierte Pixel


- Fehler 1. Art:

(Commission Error)

Anzahl Pixel, die

irrtümlich der Zielklasse

zugewiesen wurden

- Fehler 2. Art:

(Omission Error)

Alle Pixel, die der

Zielklasse zugehörig

wären, aber nicht

zugewiesen wurden Wald

Ackerland

Sonstige Vegetation

Vegetationsfrei

10.05.2013

7




Fehler 1. Art: (Commission Error) – Beispiel für die Klasse Wald

-> Anzahl Pixel, die irrtümlich der Zielklasse zugewiesen wurden

Fehler 2. Art: (Omission Error) – Beispiel für die Klasse Wald

-> Alle Pixel, die der Zielklasse zugehörig wären, aber nicht zugewiesen wurden


Klassifikation


Klassifikation




A B C D Σ





Σ n+A n+B n+C n+D n++


Kla

ssif

ikati

on

Summe aller klassifizierten Pixel in Klasse A

Summe aller Pixel in Klasse A in der Referenz

Gesamtanzahl aller Pixel/ Grundgesamtheit



X

X X

X X X

X

X X

X

X

X Falsch klassifizierte Pixel


Wie kann ich aus der Fehlermatrix Masse für die Klassifikationsgüte ableiten?

10.05.2013

8


Klassifikationsgenauigkeit – gebräuchliche Masse

Englische Begriffe: Deutsche Synonyme:

Overall Accuracy Gesamtgenauigkeit

Average Accuracy durchschnittliche Genauigkeit

Mean Accuracy mittlere Genauigkeit

Producer Accuracy Produzenten-Genauigkeit

User Accuracy Nutzer-Genauigkeit

Kappa Coefficient Kappa Koeffizient



Genauigkeitsmasse – Overall/ Total Accuracy (OA)


A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


Kla

ssif

ika

tio

n

die Summe der richtig klassifizierten Pixel

Referenz

Klassifikation

Overall

Accuracy =

Gesamtanzahl aller Pixel/ Grundgesamtheit =

58

64 = 0.90625

(~90.63%)

10.05.2013

9


Genauigkeitsmasse – Overall/ Total Accuracy (OA)


A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


Kla

ssif

ika

tio

n (

GL

C2

00

0)

die Summe der richtig klassifizierten Pixel

Referenz

Klassifikation

Overall

Accuracy =

Gesamtanzahl aller Pixel/ Grundgesamtheit =

58

64 = 0.90625

(~90.63%)

Die Overall Accuracy ist ein einfaches Genauigkeitsmass,

aber wenig aussagekräftig!

Fehler 1. Art (Commission) und Fehler 2. Art (Omission)

werden nicht berücksichtigt!


Genauigkeitsmasse – Producer‘s Accuracy (PA)


A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


Kla

ssif

ika

tio

n

Anzahl richtig klassifizierter Pixel in Klasse (A)

Referenz

Klassifikation

Producer‘s

Accuracy =

Anzahl Pixel der Klasse (A) in der Referenz =

15

18 = 0.83333

(~83.33%)

Der Kartenhersteller

(Producer) ist interessiert,

wie vollständig die

jeweiligen Pixel der

Referenzklassen (z.B.

Klasse A) erfasst wurden.

PA 83.33 90 100 83.33

= Omission Error

Alle Pixel, die der Zielklasse

zugehörig wären, aber nicht

zugewiesen wurden

10.05.2013

10


Genauigkeitsmasse – User‘s Accuracy (UA)


A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


Kla

ssif

ika

tio

n

Anzahl richtig klassifizierter Pixel in Klasse (A)

Referenz

Klassifikation

User‘s

Accuracy =

Anzahl aller Pixel der Klasse (A) =

15

15 = 1

(100%)

Der Kartennutzer (User)

ist interessiert, wie

zuverlässig eine Klasse

(z.B. Klasse A) mit der

Realität übereinstimmt.

UA

100

100

80

100

= Commission Error

Alle Pixel, die irrtümlich der

Zielklasse zugewiesen wurden


Genauigkeitsmasse – OA, PA, UA


A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


Kla

ssif

ika

tio

n

Referenz

Klassifikation

UA [%]

100

100

80

100

PA [%] 83.33 90 100 83.33

OA [%] 90.63

Wenn ich Wald (Klasse A)

klassifiziert habe, ist an dieser

Stelle in der Realität auch

immer Wald!

Ich habe existierendes

Ackerland (Klasse C)

vollständig mit meiner

Klassifikation erfasst!

Aber: 20% des klassifizierten

Ackerlandes (Klasse C)

entspricht nicht der Realität!

Aber: 16.67% des existierenden

Waldes (Klasse A) wurden

nicht erfasst!

10.05.2013

11


Genauigkeitsmasse – OA, PA, UA


A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64

Referenz/ ground truth K

lassif

ika

tio

n

Referenz

Klassifikation

UA [%]

100

100

80

100

PA [%] 83.33 90 100 83.33

OA [%] 90.63

90.63% meiner Klassifikation

bzw. meiner klassifizierten

Pixel stimmen mit der

Referenz/ der Realität überein!


Genauigkeitsmasse: Hands-on!


A B Σ

A

B

Σ 20

Referenz

Kla

ssif

ika

tio

n

UA [%]

PA [%]

OA [%]

A A A B B

A A A B B

A A A B B

B B B B B

A A A A B

A A A B B

A A A B B

B B B B B


Klassifikation

10.05.2013

12


Genauigkeitsmasse – Average Accuracy


A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


Kla

ssif

ika

tio

n

Referenz

Klassifikation

UA [%]

100

100

80

100

PA [%] 83.33 90 100 83.33

Overall Accuracy

90.63 %

Summe der User Accuracies aller Klassen Average

Accuracy =

Anzahl Klassen =

380%

4 = 95%

Average Accuracy

95.00 %


Genauigkeitsmasse – Mean Accuracy


A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


Kla

ssif

ika

tio

n

Referenz

Klassifikation

UA [%]

100

100

80

100

PA [%] 83.33 90 100 83.33

Overall Accuracy

90.63 %

Overall Accuracy + Average Accuracy Mean

Accuracy =

2 =

185.63

2 = 92.82%

Average Accuracy

95.00 %

Mean Accuracy

92.82 %

10.05.2013

13


Genauigkeitsmasse – Kappa Coefficient/ KHAT statistic


A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


lassif

ika

tio

n

Referenz

Klassifikation

Unterschied der

Übereinstimmung zwischen

Klassifikation –> Referenz

und Zufallsklassifikation –>

Referenz.

Zu welchem Anteil sind die

„korrekt“ klassifizierten Pixel

zufällig richtig?

Um welchen Prozentsatz ist

meine Klassifikation besser im

Vergleich zu einer rein

zufälligen Klassifikation? Zufalls-Klassifikation


Genauigkeitsmasse – Kappa Coefficient


A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


Kla

ssif

ika

tio

n

Referenz

Klassifikation

Kappa

Coefficient =

Overall Accuracy

1

Zufallsübereinstimmung -

- Zufallsübereinstimmung

(k) ^

10.05.2013

14




A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


lassif

ika

tio

n

Referenz

Klassifikation

Kappa

Coefficient =

= Grund-

gesamtheit 64

Summe der richtig

klassifizierten Pixel = 15+9+24+10

= 58

Overall Accuracy

1



Overall Accuracy = 0.90625




A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


Kla

ssif

ika

tio

n

Referenz

Klassifikation

Kappa

Coefficient =

0.90625

1




Zufalls-

übereinstimmung = Summe der

Produkte der

Zeilen- und

Spaltensummen

Grundgesamtheit2

10.05.2013

15




A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


lassif

ika

tio

n

Referenz

Klassifikation

Kappa

Coefficient =

0.90625

1




Zufalls-

übereinstimmung = (15x18)+

(9x10)+

(30x24)+

(10x12)

4096




A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


Kla

ssif

ika

tio

n

Referenz

Klassifikation

Kappa

Coefficient =

0.90625

1




Zufalls-

übereinstimmung = 1200

4096

= 0.2929

10.05.2013

16




A B C D Σ

A 15 0 0 0 15

B 0 9 0 0 9

C 3 1 24 2 30

D 0 0 0 10 10

Σ 18 10 24 12 64


lassif

ika

tio

n

Referenz

Klassifikation

Kappa

Coefficient =

0.90625

1

0.2929 -

- 0.2929


Zufalls-

übereinstimmung = 0.2929

= 0.8674

Kann interpretiert werden als:

Meine Klassifikation ist 86.74%

besser im Vergleich zu einer

rein zufälligen Klassifikation!




- vielfältig interpretierbar -> es existieren verschiedene Richtwerte

für die Beurteilung des Koeffizienten

- keine allgemeingültigen Aussagen möglich!

Kappa - Coefficient Level of Agreement to Reference

0.00 poor / -

0.00 – 0.20 slight / schwach

0.21 – 0.40 fair / leicht

0.41 – 0.60 moderate / mittelmäßig

0.61 – 0.80 substantial / gut

0.81 – 1.00 almost perfect / sehr gut

(Grouven et al. 2007:66)

10.05.2013

17




- keine allgemeingültigen Aussagen möglich!

Kappa - Coefficient Level of Agreement to Reference

0.00 poor / -

0.00 – 0.20 slight / schwach

0.21 – 0.40 fair / leicht

0.41 – 0.60 moderate / mittelmäßig

0.61 – 0.80 substantial / gut

0.81 – 1.00 almost perfect / sehr gut

A A A A A

A A A A A

A A A A A

A A A A A

A A A A A

A A A A B

A A A A C

A A A A D

Referenz/ ground truth Klassifikation

Wald

Ackerland

Sonstige Vegetation

Vegetationsfrei

Kappa

Coefficient = 0

OA = 85%


Genauigkeitsmasse – Der richtige Umgang


Genauigkeitsanalysen sind abhängig von der Referenz!

Wald (≥20%)

Grasland

Wald (< 20%)

Wasser

x x x x x x x x x x x x x x










A B C D Σ

A 2 1 0 0 3

B 2 3 1 0 6

C 0 2 5 0 7

D 0 0 0 124 124

Σ 4 6 6 124 140


Kla

ssif

ika

tio

n

Kappa = 0.8

OA = 95.6%

10.05.2013

18




Genauigkeitsanalysen sind abhängig von dem Genauigkeitsmass!

Wald (≥20%)

Grasland

Wald (< 20%)











Kappa = 0.8

OA = 95.6%

Wasser

PA UA

0.5 0.5 0.8 1.0

0.7 0.5 0.7 1.0

Average Accuracy = 72.0%

Mean Accuracy = 83.9%




Genauigkeitsanalysen sind abhängig von:

-> der Referenz (Stichprobenverfahren, Genauigkeit)

-> dem verwendeten Genauigkeitsmass

-> der Interpretation der Genauigkeitsmasse

10.05.2013

19


Genauigkeitsmasse – Take-Home Messages


• “A classification is not complete until it has been assessed.”

• Je mehr Genauigkeitsmasse man berücksichtigt, um so

zuverlässiger kann man Aussagen über die Genauigkeit der

Klassifikation treffen.

-> Die Verwendung von nur einem einzelnen Genauigkeitsmass

kann zu starken Fehlinterpretationen führen!

• Die Repräsentativität und Genauigkeit der Referenz bzw. des

Vergleichsdatensatzes muss berücksichtigt werden!

• Seid IMMER kritisch mit veröffentlichten Genauigkeitsangaben!


Genauigkeitsmasse – Zusammenfassung


A B C D Σ





Σ N+A N+B N+C N+D n

Referenz

Kla

ssif

ikati

on

UA =

nii

ni+ PA =

nii n+i

q = Anzahl an Klassen

n = Grundgesamtheit

nii = Anzahl übereinstimmender Pixel

ni+ = Summe der Zeilenwerte

n+i = Summe der Spaltenwerte

Kappa =

nii

n2

Σ q

i = 1 ni+n+i Σ

i = 1 -

q

ni+n+i Σ i = 1

q

-

n Average

Accuracy

UA

n

Σ q

i = 1 =

Overall

Accuracy

nii

n

Σ q

i = 1 =

Mean

Accuracy 2 =

OA Average

Accuracy +

10.05.2013

20


Vielen Dank für die Aufmerksamkeit!


Documents

Klassifikationsgenauigkeit und Genauigkeitsmasse (7b)10.05.2013 1 Department of Geography 10.05.2013 Grundlagen Fernerkundung FS2013 Seite 1 Klassifikationsgenauigkeit und Genauigkeitsmasse