Evaluation - Seminar 'Multimedia Analyse Technologien

MULTIMEDIA-ANALYSE-TECHNOLOGIEN

Verfahren zur Evaluation

SeminarDr. Harald Sack / Jörg Waitelonis / Haojin Yang

Nadine Ludwig / Magnus Knuth / Bernhard QuehlHasso-Plattner-Institut für Softwaresystemtechnik

Universität PotsdamSommersemester 2011

Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).

Mittwoch, 4. Mai 2011

http://creativecommons.org/licenses/by-nc/3.0/deed.de

http://creativecommons.org/licenses/by-nc/3.0/deed.de

Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität Potsdam

2

Multimedia-Analyse-Technologien

1. Evaluation Einführung

2. Grafische Visualisierung

3. Evaluation Beispiele

4. Sonstiges



3

Multimedia-Analyse-TechnologienEvaluationsverfahren

Zusammenhang

■ Video Analyse Technologien liefern Metadaten, die Inhalt und Struktur der analysierten Daten beschreiben

■ Metadaten sind Grundlage für darauf aufbauende Information Retrieval Verfahren

Warum?

■ Wie gut arbeiten die eingesetzten Video Analyse Technologien?

■ ...sind unsere Verfahren genauso gut wie bereits Existierende?

■ ...oder sind sie sogar besser?



4


Warum?

■ Information Retrieval ist eine empirische Disziplin

■ Wann liefert IR ein gutes Ergebnis? Wann ist es signifikant?

■ Feststellen der ‘Güte’ des Ergebnisses des IR

Wofür?

■ Effizienz von IR-Systemen / Klassifikatoren ermitteln

■ Vergleich von IR-Systemen / Klassifikatoren

■ Verbesserung von Algorithmen (Optimierung)

Womit?

■ Was ist ein Maß für die Wirksamkeit eines IR-Systems?



5


Warum Evaluation?

IDEE:

■ Vergleiche das Ergebnis des IR-Systems mit dem idealen Ergebnis.

■ Ideales Ergebnis:

■ Sammlung von Dokumenten (Datensatz zum Experiemetieren)

■ Relevanz Urteil (i. A. relevant vs. nicht relevant)

■ (manuell) vorgegeben

■ “Gold Standard”

■ möglichst von mehreren Personen beurteilt



6


Testdaten



6


Testdaten

Automatische Klassifikation



6


Testdaten




6


Testdaten

Testergebnis




6


Testdaten

Testergebnis

Manuelle KlassifikationAutomatische Klassifikation



6


Testdaten

“Gold Standard”Testergebnis

Manuelle KlassifikationAutomatische Klassifikation



6


Testdaten


Manuelle Klassifikation

= ?




6


Testdaten



= ?




7


Testdaten

“Gold Standard”


= ?


Testergebnis



7


Testdaten

“Gold Standard”


= ?


Testergebnis



7


Testdaten

“Gold Standard”


= ?


Testergebnis

Wie kann man das Ganze quantifizieren?



8


Beispiel: Recall und Precision als Qualitätsmaß



8





8


Menge aller Dokumente




8


Menge aller DokumenteAufgabe: finde alle




8


relevant unrelevant

Menge aller DokumenteAufgabe: finde alle




8


relevant unrelevant

ErgebnisMenge aller Dokumente

Aufgabe: finde alle




9


relevant unrelevant

Ergebnis




9


relevant unrelevant

Ergebnis


true positive (TP)



9


relevant unrelevant

Ergebnis


true positive (TP)

false negative (FN)



9


relevant unrelevant

Ergebnis


true positive (TP)

false negative (FN)

TP (TP + FN)



9


relevant unrelevant

Ergebnis


true positive (TP)

false negative (FN)

TP (TP + FN)

Recall =



9


relevant unrelevant

Ergebnis


true positive (TP)

false negative (FN)

TP (TP + FN)

Recall =

Trefferquote (Recall): Mit welcher Wahrscheinlichkeit finden wir überhaupt einen Apfel?(Wie vollständig ist das Ergebnis?)



9


relevant unrelevant

Ergebnis


true positive (TP)

false negative (FN)

TP (TP + FN)

Recall =

Trefferquote (Recall): Mit welcher Wahrscheinlichkeit finden wir überhaupt einen Apfel?(Wie vollständig ist das Ergebnis?)

p( positiv erkannt | tatsächlich positiv )



10


relevant unrelevant

Ergebnis


false positive (FP)



10


relevant unrelevant

Ergebnis


true positive (TP)

false positive (FP)



10


relevant unrelevant

Ergebnis


true positive (TP) TP (TP + FP)

false positive (FP)



10


relevant unrelevant

Ergebnis



Precision =

false positive (FP)



10


relevant unrelevant

Ergebnis



Precision =

Genauigkeit (Precision): Mit welcher Wahrscheinlichkeit ist im gefundenen Obst ein Apfel?

false positive (FP)



10


relevant unrelevant

Ergebnis



Precision =

Genauigkeit (Precision): Mit welcher Wahrscheinlichkeit ist im gefundenen Obst ein Apfel?

false positive (FP)

p( negativ erkannt | tatsächlich positiv )



11


relevant unrelevant

Ergebnis


true positive (TP)

false negative (FN)

TP (TP + FP)

Precision =

false positive (FP)

TP (TP + FN)

Recall =



11


relevant unrelevant

Ergebnis


true positive (TP)

false negative (FN)

TP (TP + FP)

Precision =

false positive (FP)

true negative (TN)

TP (TP + FN)

Recall =



11


relevant unrelevant

Ergebnis


true positive (TP)

false negative (FN)

TP (TP + FP)

Precision =

false positive (FP)

true negative (TN)

TP (TP + FN)

Recall =

FP (FP + TN)

Fallout =



12


■ Wie können Recall und Precision zu einem Wert kombiniert werden?



12



F1 =2 · precision · recallprecision + recall

1



12




1

Fβ = (1 + β2) · precision · recallβ2 · precision + recall

1



12



■ Mit β kann der Einfluß von Recall oder Precision auf den Gesamtwert gesteuert werden


1

Fβ = (1 + β2) · precision · recallβ2 · precision + recall

1



13





4. Sonstiges


• Gnuplot: Visualisierung von Daten

• http://www.gnuplot.info/


14

Multimedia-Analyse-TechnologienVisualisierung von Evaluationsergebnissen (1)

Daten + Gnuplot Script = schöne Grafik

22 116 115 18614 7713 9712 8811 11510 2029 3188 4357 5866 7375 8784 12783 21972 48731 13255


http://www.gnuplot.info





14



22 116 115 18614 7713 9712 8811 11510 2029 3188 4357 5866 7375 8784 12783 21972 48731 13255

set terminal postscript portrait "Arial" colorset size 1.0,0.3

set ylabel 'no. of terms'set xlabel 'no. of related resources per term'

plot "data.txt" using 1:2 with lines lw 3 title "without properties"







14



22 116 115 18614 7713 9712 8811 11510 2029 3188 4357 5866 7375 8784 12783 21972 48731 13255

set terminal postscript portrait "Arial" colorset size 1.0,0.3

set ylabel 'no. of terms'set xlabel 'no. of related resources per term'

plot "data.txt" using 1:2 with lines lw 3 title "without properties"





15

Evaluation für Optimierung

■ Recall und Precision werden für jeden Testlauf neu berechnet

■ Verändere die Konfigurationsparameter des Algorithmus so, dass Recall und Precision (bzw. F-Measure) maximiert werden.

■ Ermittle Precision und Recall nur für einen Parameter und lasse die anderen fix.

■ Wähle die Parameter möglichst so, dass auch Grenzfälle berücksichtigt werden.




16


Precision/Recall Diagramm

■ jeder Datenpunkt entspricht einem Testdurchlauf (Run)

■ P/R sind im Allgemeinen umgekehrt proportional

gnuplot pr-graph.plot



16





# p, r, run0.80 0.10 10.64 0.18 20.55 0.23 30.41 0.3 40.35 0.37 50.33 0.4 6 0.27 0.50 70.18 0.67 80.15 0.77 90.10 0.90 10

param1.dat




16





# p, r, run0.80 0.10 10.64 0.18 20.55 0.23 30.41 0.3 40.35 0.37 50.33 0.4 6 0.27 0.50 70.18 0.67 80.15 0.77 90.10 0.90 10

param1.dat

#set terminal postscript portrait "Times" colorset terminal x11set ylabel 'Precision'set xlabel 'Recall'

plot 'param1.dat' using 2:1 with lines title 'pr-graph'

pause -1

pr-graph.plot




17


F-Measure Diagramm

■ Testdurchläufe auf der X-Achse

■ das Maximum zeigt den Durchlauf mit den besten Parametern

# p, r, run0.80 0.10 10.64 0.18 20.55 0.23 30.41 0.3 40.35 0.37 50.33 0.4 6 0.27 0.50 70.18 0.67 80.15 0.77 90.10 0.90 10

param1.dat m-graph.plot

#set terminal postscript portrait "Times" colorset terminal x11set ylabel 'F-Measure'set xlabel 'Parameter Run'

plot 'param1.dat' using 3:(2 * $2 * $1 / ($2+$1) ) with lines title 'f-measure';

pause -1

gnuplot m-graph.plot



18




18




19





4. Sonstiges


2

Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität Potsdam

Multimedia-Analyse-TechnologienEvaluation Video Text Identification

Evaluation Video Text Identification


Textlokalisation in Videos

Aufgabe:

welche Bilder in dem Video enthalten Text ?

in Welcher Bildregion befindet sich der Text?

1

Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam

Multimedia Analyse Technologien

Bild ohne Text

Bestimmen der Bildregion

Bild mit Text


Bestimmen der Bildregion2


Multimedia Analyse Technologien

finden der Bounding Box?

Bild in lokale Regionen

aufteilenTe

xtbes

timmung in

lokaler

Reg

ionen


3


Multimedia Evaluation Text-Textlokalisation

Evaluationsverfahren für Textidentifikation – Block/Pixel genau

FNTP

FP

Region der gefundenen Dokumente

Region der relevanten Dokumente


Recall Berechnung :

1. Bestimmung der übereinstimmenden- Textregionen = True Positive


4




FNTP

FP




Recall Berechnung :



5




FNTP

FP



Recall Berechnung :


2. Bestimmung der vergessenden Text- Regionen = False Negative Region der gefundenen Dokumente


Recall =TP

TP + FN=

4

4 + 1

15696px22295px = 0.7

Uberlappungsflache

Flache der grosseren Bounding Box> Threshold (z.b. 80%)

F1 −measure = 0.375

Recall = TPTP+FN = 2

2+1 = 0.667

Precision = TPTP+FP = 2

2+1 = 0.667

1

6




FNTP

FP



Recall Berechnung :


2. Bestimmung der vergessenden Text- Regionen = False Negative

3.



7




FNTP

FP



Precision Berechnung :




8




FNTP

FP







9




FNTP

FP





2. Bestimmung der falsch gefundenen Text- Regionen = False Positive Region der gefundenen Dokumente


10





2. Bestimmung der falsch gefundenen Text- Regionen = False Positive


FNTP

FP





Precision =TP

TP + FP=

4

4 + 1

15696px22295px = 0.7

Uberlappungsflache




2+1 = 0.667


2+1 = 0.667

1

11




FNTP

FP





2. Bestimmung der falsch gefundenen Text- Regionen = False Positive

3.



Methode 1:

TP : Anzahl der korrekt detektierten Bounding Boxes

FN : Anzahl der inkorrekt detektierte Bounding Boxes

FP : Anzahl der nicht gefundenen Bounding Box in der Ground Truth

3


Multimedia Analyse TechnologienEvaluation Text-Textlokalisation

ground truth (19375 px) Detektion result (22295 px)Überlappung (15696 px)

Recall =TP

TP + FN

15696px22295px = 0.7

Uberlappungsflache




2+1 = 0.667


2+1 = 0.667

1

Precision =TP

TP + FP

15696px22295px = 0.7

Uberlappungsflache




2+1 = 0.667


2+1 = 0.667

1


Methode 1:

workflow:

• Überlappungsfläche von gefundener und gesuchter Bounding Box berechnen

• Größere Bounding Box berechnen

• Wenn

➔ korrekt detektierte Bounding Box

3



ground truth (19375 px) Detektion result (22295 px)Überlappung (15696 px)

Beispiel:

→ inkorrekt detektiert

15696px22295px = 0.7

Precision = 0+1+03 = 0.3



2+1 = 0.667


2+1 = 0.667

1

15696px22295px = 0.7

Uberlappungsflache




2+1 = 0.667


2+1 = 0.667

1


Beispiel zur Methode 1:

Detektierte Bounding Boxes:

50% < 80% ➔ 0

85% > 80% ➔ 1

0 < 80% ➔ 0

4



ground truth Detektion result

Überlappung

1

2

3

123

Recall = 0+1+02 = 0.5

Precision = 0+1+03 = 0.3



2+1 = 0.667


2+1 = 0.667

1


Methode 2:

Vorteil: kein Threshold nötig

workflow:

• Gesamte umschließende Fläche G von

zwei Bounding Boxes berechnen

• mp: Matching Percentage berechnen

→

3



gesamte umschließende Fläche von zwei Bounding Boxes (27181 px)

Ground Truth (19375 px) Ergebnis Detektion (22295 px)

Überlappung (15696 px)

Beispiel:

mp = UberlappungsflacheG


2+1 = 0.667


2+1 = 0.667

1

mp = 15696 px27181px = 58%


2+1 = 0.667


2+1 = 0.667

1


Methode 2:

Vorteil: kein Threshold nötig

workflow:

• Gesamte umschließende Fläche G von

zwei Bounding Boxes berechnen

• mp: Matching Percentage berechnen

→

3



gesamte umschließende Fläche von zwei Bounding Boxes (27181 px)

Ground Truth (19375 px) Ergebnis Detektion (22295 px)

Überlappung (15696 px)

Beispiel:

mp = UberlappungsflacheG


2+1 = 0.667


2+1 = 0.667

1

mp = 15696 px27181px = 58%


2+1 = 0.667


2+1 = 0.667

1


Methode 2:

Matching Funktion m(r, R):

r‘ ∈ R (R: Bounding Box Set)

• r: gesuchte Bounding Box

• R: Menge von Bounding Box

• allgemeine Berechnungsgrundlage für Recall, Precision

4



recall =�

rt∈T

m(rt, E)

T

1

precision =�

re∈E

m(re, T )

E

1

T: Ground Truth Bounding Box set

E: gefundene Bounding Box set

m(r,R) = maxmp(r, r�)

1



T{B1, B2} E{B1, B2, B3}

B1: m(B1, E) = mpmax = 50%

B2: m(B2, E) = mpmax = 62%

4



Ground Truth Ergebnis Detektion

Überlappung gesamte umschließende Fläche von zwei Bounding Boxes

where r‘ ∈ R (Bounding box set)

B1

B2

B1

B2B3

m(r, R) = maxmp(r, R�)Recall =

�rt∈T

m(rt,E)T

1


�rt∈T

m(rt,E)T

1

Recall = 0.5+0.622 = 0.56


2+1 = 0.667


2+1 = 0.667

1



T{B1, B2} E{B1, B2, B3}

B1: m(B1, E) = mpmax = 50%

B2: m(B2, E) = mpmax = 62%

4





where r‘ ∈ R (Bounding box set)

B1

B2

B1

B2B3


�rt∈T

m(rt,E)T

1


�rt∈T

m(rt,E)T

1

Recall = 0.5+0.622 = 0.56


2+1 = 0.667


2+1 = 0.667

1



T{B1, B2} E{B1, B2, B3}

B1: m(B1, T) = mpmax = 50%

B2: m(B2, T) = mpmax = 62%

B3: m(B3, T) = mpmax = 0

4



B1

B2

B1

B2B3

where r‘ ∈ R (Bounding box set)m(r, R) = maxmp(r, R�)Precision =

�re∈E

m(re,T )E

1


�rt∈T

m(rt,E)T

1



2+1 = 0.667


2+1 = 0.667

1

Precision = 0.5+0.62+03 = 0.37


2+1 = 0.667


2+1 = 0.667

1





T{B1, B2} E{B1, B2, B3}

B1: m(B1, T) = mpmax = 50%

B2: m(B2, T) = mpmax = 62%

B3: m(B3, T) = mpmax = 0

4



B1

B2

B1

B2B3

where r‘ ∈ R (Bounding box set)m(r, R) = maxmp(r, R�)Precision =

�re∈E

m(re,T )E

1


�rt∈T

m(rt,E)T

1



2+1 = 0.667


2+1 = 0.667

1

Precision = 0.5+0.62+03 = 0.37


2+1 = 0.667


2+1 = 0.667

1




2


Multimedia-Analyse-TechnologienEvaluation Video Genre Detection

Evaluation Video Genre Detection



40

EvaluationsverfahrenGenre Detection

segm

ent

segm

ent

frame: 1001

frame: 1004

Genre Detection

Genre Detection

Framebezogene Auswertung, Bsp. indoor

segm

ent

frame: 1007

Genre Detection

segm

ent

Genre Detection

frame: 1010



40


segm

ent

segm

ent

frame: 1001

frame: 1004

Genre Detection

Genre Detection


segm

ent

frame: 1007

Genre Detection

segm

ent

Genre Detection

frame: 1010

{1001,indoor}

{1004,indoor}

{1007,indoor}

{1010,¬indoor}



41


frame genre

1001 indoor

1004 ¬indoor

1007 indoor

1010 indoor

Ground Truth {1001,indoor}

{1004,indoor}

{1007,indoor}

{1010,¬indoor}




41


frame genre

1001 indoor

1004 ¬indoor

1007 indoor

1010 indoor


{1004,indoor}

{1007,indoor}

{1010,¬indoor}


TP

TP

FP

FN



41


frame genre

1001 indoor

1004 ¬indoor

1007 indoor

1010 indoor


{1004,indoor}

{1007,indoor}


2+1 = 0.667


2+1 = 0.667

1

{1010,¬indoor}


TP

TP

FP

FN



42


Evaluation über Recall/Precision:

• Berechnung von True Positives, False Positives etc.

• für jedes Genre einzeln

• Framebezogen, jeweils 1 Frame pro Segment

• binäre Zuordnung (indoor: ja/nein) oder mit Wahrscheinlichkeitswerten (mit 60% Wahrscheinlichkeit indoor)


2


Multimedia-Analyse-TechnologienEvaluation Face Clustering

Evaluation Face Clustering



44

Multimedia-Analyse-TechnologienEvaluation Faces (1)

Evaluation von Clustering Algorithmen

■ Algorithmus auf Daten bekannter Zuordnung (External Indices)

■ Algorithmus auf Daten unbekannter Zuordnung (Internal Indices)

■ Vergleich von Clustering-Ergebnissen unterschiedlicher Algorithmen (Relative Indices)



45



■ Algorithmus auf Daten bekannter Zuordnung (External Indices)

■ Algorithmus auf Daten unbekannter Zuordnung (Internal Indices)

■ Vergleich von Clustering-Ergebnissen unterschiedlicher Algorithmen (Relative Indices)



46



■ Gegeben sind:

■ eine Datenmenge D mit Zuordnung zu Klassen K

■ ein Qualitätsmaß (externer Index).

■ Ziel:

■ Validieren eines Clusterings, das aus n Clustern besteht.

■ Allgemein:

■ Für jeden Cluster Ci:

■ Berechnung der Qualität gegenüber jeder Klasse Kj

■ Aggregation der Werte pro Cluster

■ Aggregation der Werte für das gesamte Clustering



473


Evaluation von Clustering: Qualitätsmaß

■Klassifikationsorientierte Maße:

■ Purity

■ Precision & Recall

■ F-Measure

■ Ähnlichkeitsorientierte Maße:

■Rand Index

Wie gut hat das Clusteringdie Klassenzuordnung “geraten”?

Inwiefern stimmt das Clusteringmit der Klassenzuordnung überein?



48


Anfertigen einer Ground Truth (bekannte Zuordnung)

■ Ziel: Festlegen von Identitäten

■ Jedes Bild wird manuell einer Person (Cluster) zugeordnet



48


1. Thomas 2. Katy 3. Miley






48


1. Thomas 2. Katy 3. Miley






49


Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus

■ Wie gut passt ein gefundener Cluster zu den Klassen?

■ Hauptklassen bestimmen (Majority Classes)



49







49





Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3



50




■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes




50








50








50








50






2 + 2 + 2 Purity =



50






2 + 2 + 2 Purity =

8



50






2 + 2 + 2 Purity =

8= 75%



51






2 + 2 + 2 Purity =

8= 75%

Problem 1: Wenn jedes Bild in ein eigenes Cluster eingeordnet wird ist Purity = 1.

Problem 2: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt?



52



■ Wie gut wurde der jeweilige Cluster erkannt?


Vergleich zu Klasse 1



52








52






Recall = TP / (TP + FN) = 1.0

korrekt gefunden nicht gefunden



52






Recall = TP / (TP + FN) = 1.0

korrekt gefunden nicht gefunden

Precision = TP / (TP + FP) = 0.66

falsch gefunden



53



■ Aggregieren der Werte aller Cluster (z. B. Mittelwert)

R = 1.0P = 0.66



53




R = 1.0P = 0.66

R = 1.0P = 0.66



53




R = 1.0P = 0.66

R = 1.0P = 0.66

R = 0.5P = 1.0



53




R = 1.0P = 0.66

R = 1.0P = 0.66

R = 0.833P = 0.773

R = 0.5P = 1.0



5433


Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt?



5433



■ Lösung: Rand-Index

■ Betrachte Paare von Elementen


(a) Paar ist im selben Cluster und in der selben Klasse

(b) Paar ist in unterschiedlichen Clustern und in unterschiedlichen Klassen

(c) Paar ist im selben Cluster und in unterschiedlichen Klassen

(d) Paar ist in unterschiedlichen Clustern und in der selben Klasse


5433








(c) Paar ist im selben Cluster und in unterschiedlichen Klassen



5433




■ Betrachte Paare von Elemententrue positive (TP)

false negative (FN)false positive (FP)

true negative (TN)



5533





5533








(c) Paar ist im Selben Cluster und in unterschiedlichen Klassen



5533











5533






true negative (TN)







5533






true negative (TN)

Rand Index = TP + TN

TP + FP + FN + TN



5633


Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den Klassen überein stimmt?

1 2 3 4

6

8

7 5

■ Rand Index berechnet also wieviel Prozent der Paare korrekt zugeordnet wurden

1 2 3 4 5 6 7 8



5633



1 2 3 4

6

8

7 5


same Cluster

different Cluster

same Class

TP = 2 FN = 6

different Class

FP = 3 TN = 171 2 3 4 5 6 7 8



5633



1 2 3 4

6

8

7 5


same Cluster

different Cluster

same Class

TP = 2 FN = 6

different Class

FP = 3 TN = 171 2 3 4 5 6 7 8

RI = (2 + 17) / 28 = 0.69



5733



1 2 3 4

6

8

7 5


1 2 3 4 5 6 7 8

RI = (2 + 17) / 28 = 0.69same Cluster

different Cluster

same Class

TP = 2 3 FN = 6 5

different Class

FP = 3 TN = 17



5733



1 2 3 4

6

8

7 5


1 2 3 4 5 6 7 8

RI = (2 + 17) / 28 = 0.69same Cluster

different Cluster

same Class

TP = 2 3 FN = 6 5

different Class

FP = 3 TN = 17

RI’ = (3 + 17) / 28 = 0.71


2


Multimedia-Analyse-TechnologienEvaluation Spellcorrection

Evaluation Spellcorrection



59

Multimedia-Analyse-TechnologienEvaluation Spellcorrection (1)

Groundtruth tatsächlicher Text

OCR erkannter Text

+Spellcorrection korrigierter Text

Künstlerische Konzeption

KG nstlerischa Konzcotion

KG künstlerische Konzeption



59



OCR erkannter Text





Character =

#Characters - #ErrorsAccuracy =

#Characters



59



OCR erkannter Text





Character =


#Characters

#Errors= minimal notwendige Editieroperationen

(Einfügen, Ersetzen, Löschen)

= Levenshtein-Distanz



59



OCR erkannter Text





Character =


#Characters




,ü‘-,G‘ ,‘-,_‘ ,e‘-,a‘ ,e‘-,c‘ ,p‘-,o‘



59



OCR erkannter Text





Character =


#Characters

accuracyOCR = (24 - 5) / 24 = 0,792




,ü‘-,G‘ ,‘-,_‘ ,e‘-,a‘ ,e‘-,c‘ ,p‘-,o‘



59



OCR erkannter Text





Character =


#Characters

accuracyOCR = (24 - 5) / 24 = 0,792




,ü‘-,G‘ ,‘-,_‘ ,e‘-,a‘ ,e‘-,c‘ ,p‘-,o‘

,ü‘-,G‘ ,‘-,_‘ ,‘-,k‘



59



OCR erkannter Text





Character =


#Characters

accuracyOCR = (24 - 5) / 24 = 0,792

accuracySpellcorrection = (24 - 3) / 24 = 0,875




,ü‘-,G‘ ,‘-,_‘ ,e‘-,a‘ ,e‘-,c‘ ,p‘-,o‘

,ü‘-,G‘ ,‘-,_‘ ,‘-,k‘



60



OCR erkannter Text







60



OCR erkannter Text





Word =

#CorrectWordsAccuracy =

#Words



60



OCR erkannter Text





wordaccOCR = 0 / 2 = 0,0

Word =


#Words



60



OCR erkannter Text






wordaccSpellcorrection = 2 / 2 = 1,0

Word =


#Words



60



OCR erkannter Text






wordaccSpellcorrection = 2 / 2 = 1,0

Word =


#Words

Verwendung von ISRI Analytic Tools for OCR Evaluation1: accuracy, wordacc

1 http://code.google.com/p/isri-ocr-evaluation-tools/


http://code.google.com/p/isri-ocr-evaluation-tools/

http://code.google.com/p/isri-ocr-evaluation-tools/


61


accuracy wordacc

0,792 0,0

0,875 1,0

gainabs = xSpellcorrection - xOCR 0,083 1,0gainrel = xSpellcorrection / xOCR 1,105 inf




Wie groß ist der Gewinn?



62





4. Sonstiges



6325

Multimedia-Analyse-TechnologienReferenzen

http://trec.nist.gov/presentations/TREC8/intro/sld033.htm

http://en.wikipedia.org/wiki/Information_retrieval#Recall

http://trec.nist.gov/pubs/trec15/appendices/CE.MEASURES06.pdf








Technology

Evaluation - Seminar 'Multimedia Analyse Technologien