1 Mai 2007 Seminar Intelligente Systeme KFZ-Kennzeichenerkennung Alexander Nöhrer 0656294 Andreas...

1

Mai 2007

Seminar Intelligente Systeme

KFZ-Kennzeichenerkennung

Alexander Nöhrer 0656294

Andreas Vida 0155987

2

Mai 2007

Seminar Intelligente Systeme

Agenda

• Motivation

• Anforderungen

• Ablauf in einem typischen Gesamtsystem

• Ausgewählte Teilschritte

• Vergleich vorhandener Systeme

3

Mai 2007

Seminar Intelligente Systeme

Motivation

• Automatisierte Mautabwicklung

• Section Control

• Parkanlagen

• Verkehrsflusskontrolle

• Überwachung

4

Mai 2007

Seminar Intelligente Systeme

Anforderungen an solche Systeme

Sie sollen• in Gebäuden und im Freien funktionieren• mit unterschiedlicher und ungleichmäßiger Beleuchtung

klarkommen• Invariant gegenüber Verzerrungen der Kennzeichen sein.• robust gegen Defekte oder andere Störungen sein• eine möglichst flexible Entfernung zwischen Kamera und Auto

erlauben • sollen mit alternativen Aufnahmetechniken (etwa IR) und bereits

gespeicherten Bildern funktionieren

5

Mai 2007

Seminar Intelligente Systeme

Allgemeine Vorgehensweise (I)

Vorverarbeitung

Lokalisierung desKennzeichens

Korrektur vonVerformungen

6

Mai 2007

Seminar Intelligente Systeme

Allgemeine Vorgehensweise (II)

Segmentierung derSchriftzeichen

Schriftzeichen-erkennung

Nachverarbeitung

P0 9015 AC

7

Mai 2007

Seminar Intelligente Systeme

Lokalisierung des Kennzeichens

Eigenschaften der Kennzeichenregion:

•Vorgegebene Farbe und Textur

•Hoher Kontrast

•Ausgeprägte vertikale Kanten

•Rechtecksform mit fixem Seitenverhältnis

Problem: → Jedes Land hat eigene Vorgaben

8

Mai 2007

Seminar Intelligente Systeme

Lokalisierung [Shapiro et al.2006]

a) Downsampling

b) Vertikale Kanten

c) Rangfilter

d) Vertikale Projektion

9

Mai 2007

Seminar Intelligente Systeme

Lokalisierung [Shapiro et al. 2006]

e) Neigungskorrektur über Radontransformation (oben)

f) Weitere Eingrenzung über horizontale Projektion (rechts)

10

Mai 2007

Seminar Intelligente Systeme

Lokalisierung [Mahini et al. 2006]1. Skaliere Bild (starte mit 100x100 Pixel)2. Finde Kandidatenregionen.

Verwende dabei morphologische Operatoren, Sobel uvm…

3. „Soft“-Thresholding4. Verifikation der Kandidatenregionen über deren

Features:Größe, mittlere Intensität, Form, Seitenverhältnis.Projektion der Region auf die Hauptachse (PCA) und Analyse des enstehenden Histogramms

5. Schild nicht gefunden? Weiter bei 1. mit nächstgrößerer Skalierung. Sonst Lokalisierung fertig.

11

Mai 2007

Seminar Intelligente Systeme

Grauwert-Morphologie I• Sei A ein mxn Bild und B ein jxk

Strukturelement• Erosion• Dilation

“Dilation dilates(erweitert) black regions”

[http://www.ph.tn.tudelft.nl]

12

Mai 2007

Seminar Intelligente Systeme

Grauwert-Morphologie II

• Aufbauend auf Erosion und Dilation kann man definieren:

• Close A B = (A B) B• Open A B = (A B) B• Bothat A B = (A B) - A• Tophat A B = A – (A B)

13

Mai 2007

Seminar Intelligente Systeme

Kennzeichenlokalisierung

• Ausgangsbild

14

Mai 2007

Seminar Intelligente Systeme

Kennzeichenlokalisierung1. Grauwertbild2. Bothat 2x83. Sobel (vertikal)4. Abs5. Histogrammstretch6. Histogramm-

logarithmierung7. Medianfilter 5x58. Faltung mit 3x30

Matrix (nur 1en)

15

Mai 2007

Seminar Intelligente Systeme

Kennzeichenlokalisierung

• Ausgangsbild:graue Regionenauf 1 gesetzt,Rest auf 0.Mahini verwendet R=G=B (?!)

16

Mai 2007

Seminar Intelligente Systeme

Kennzeichenlokalisierung

• Ausgangsbildnach Closuremit einem 3x3Strukturelement

17

Mai 2007

Seminar Intelligente Systeme

Kennzeichenlokalisierung

• Oben: Bild der letzten Folie mit Schwellwert 50

• Unten: Multiplikation der letzten 3 Bilder

18

Mai 2007

Seminar Intelligente Systeme

Kennzeichenlokalisierung• Oben: Bild der

letzten Folie mit nach Closure (Mahini verwendet hier Tophat !?)

• Unten: Binärkandidaten (Schwellwert)

19

Mai 2007

Seminar Intelligente Systeme

Kennzeichenlokalisierung• Zahlreiche andere Ansätze

– Template matching– Farbgrenzen (color collocation)– Gaborfilter + Vektorquantisierung– Farbbasiert mit SVM (support vector machine) +

CAM (continuously adaptive mean shift)– Lokal adaptive Schwellwertverfahren– Neuronale Netzwerke…

20

Mai 2007

Seminar Intelligente Systeme

Neigungskorrektur[Liu et al. 2005]

•2 Arten der Verdrehung

•optimaler Winkel hat die schmalste horizontale Projektion

•Wichtig: Bezugspunkte finden, die auf einer Linie liegen (verwende 8-Nachbarschaft)

21

Mai 2007

Seminar Intelligente Systeme

Segmentierung der Schriftzeichen

• Globaler Schwellwert, etwa [Otsu1979]

• Lokale Verfahren bringen Verbesserung

• → Lokal adaptiver Schwellwert [Lee et al. 2004 ]

22

Mai 2007

Seminar Intelligente Systeme

Leistungsvergleich: Lokalisierung

1-2s98%490/500Color-features-Yang

?96%624/650Adaptive-local-binarization-Lee

1,28s3,7%missrate 7,3% false-detection-rate

Color-Texture based-SVM-CAM-Kim

<400ms81,2% (0% false detection rate)

812/1000Multinational - Shapiro

0,7s96,9%107/110Modular Networks –Ji

3,12s98%294/300Gabor+VQ -Kahraman

300ms96,5%260/269Feature based - Mahino

23

Mai 2007

Seminar Intelligente Systeme

?