1 Mai 2007 Seminar Intelligente Systeme KFZ-Kennzeichenerkennung Alexander Nöhrer 0656294 Andreas Vida 0155987

1

Mai 2007

Seminar Intelligente Systeme

KFZ-Kennzeichenerkennung

Alexander Nöhrer 0656294

Andreas Vida 0155987

2

Mai 2007


Agenda

• Motivation

• Anforderungen

• Ablauf in einem typischen Gesamtsystem

• Ausgewählte Teilschritte

• Vergleich vorhandener Systeme

3

Mai 2007


Motivation

• Automatisierte Mautabwicklung

• Section Control

• Parkanlagen

• Verkehrsflusskontrolle

• Überwachung

4

Mai 2007


Anforderungen an solche Systeme

Sie sollen• in Gebäuden und im Freien funktionieren• mit unterschiedlicher und ungleichmäßiger Beleuchtung

klarkommen• Invariant gegenüber Verzerrungen der Kennzeichen sein.• robust gegen Defekte oder andere Störungen sein• eine möglichst flexible Entfernung zwischen Kamera und Auto

erlauben • sollen mit alternativen Aufnahmetechniken (etwa IR) und bereits

gespeicherten Bildern funktionieren

5

Mai 2007


Allgemeine Vorgehensweise (I)

Vorverarbeitung

Lokalisierung desKennzeichens

Korrektur vonVerformungen

6

Mai 2007


Allgemeine Vorgehensweise (II)

Segmentierung derSchriftzeichen

Schriftzeichen-erkennung

Nachverarbeitung

P0 9015 AC

7

Mai 2007


Lokalisierung des Kennzeichens

Eigenschaften der Kennzeichenregion:

•Vorgegebene Farbe und Textur

•Hoher Kontrast

•Ausgeprägte vertikale Kanten

•Rechtecksform mit fixem Seitenverhältnis

Problem: → Jedes Land hat eigene Vorgaben

8

Mai 2007


Lokalisierung [Shapiro et al.2006]

a) Downsampling

b) Vertikale Kanten

c) Rangfilter

d) Vertikale Projektion

9

Mai 2007


Lokalisierung [Shapiro et al. 2006]

e) Neigungskorrektur über Radontransformation (oben)

f) Weitere Eingrenzung über horizontale Projektion (rechts)

10

Mai 2007


Lokalisierung [Mahini et al. 2006]1. Skaliere Bild (starte mit 100x100 Pixel)2. Finde Kandidatenregionen.

Verwende dabei morphologische Operatoren, Sobel uvm…

3. „Soft“-Thresholding4. Verifikation der Kandidatenregionen über deren

Features:Größe, mittlere Intensität, Form, Seitenverhältnis.Projektion der Region auf die Hauptachse (PCA) und Analyse des enstehenden Histogramms

5. Schild nicht gefunden? Weiter bei 1. mit nächstgrößerer Skalierung. Sonst Lokalisierung fertig.

11

Mai 2007


Grauwert-Morphologie I• Sei A ein mxn Bild und B ein jxk

Strukturelement• Erosion• Dilation

“Dilation dilates(erweitert) black regions”

[http://www.ph.tn.tudelft.nl]

12

Mai 2007


Grauwert-Morphologie II

• Aufbauend auf Erosion und Dilation kann man definieren:

• Close A B = (A B) B• Open A B = (A B) B• Bothat A B = (A B) - A• Tophat A B = A – (A B)

13

Mai 2007


Kennzeichenlokalisierung

• Ausgangsbild

14

Mai 2007


Kennzeichenlokalisierung1. Grauwertbild2. Bothat 2x83. Sobel (vertikal)4. Abs5. Histogrammstretch6. Histogramm-

logarithmierung7. Medianfilter 5x58. Faltung mit 3x30

Matrix (nur 1en)

15

Mai 2007



• Ausgangsbild:graue Regionenauf 1 gesetzt,Rest auf 0.Mahini verwendet R=G=B (?!)

16

Mai 2007



• Ausgangsbildnach Closuremit einem 3x3Strukturelement

17

Mai 2007



• Oben: Bild der letzten Folie mit Schwellwert 50

• Unten: Multiplikation der letzten 3 Bilder

18

Mai 2007


Kennzeichenlokalisierung• Oben: Bild der

letzten Folie mit nach Closure (Mahini verwendet hier Tophat !?)

• Unten: Binärkandidaten (Schwellwert)

19

Mai 2007


Kennzeichenlokalisierung• Zahlreiche andere Ansätze

– Template matching– Farbgrenzen (color collocation)– Gaborfilter + Vektorquantisierung– Farbbasiert mit SVM (support vector machine) +

CAM (continuously adaptive mean shift)– Lokal adaptive Schwellwertverfahren– Neuronale Netzwerke…

20

Mai 2007


Neigungskorrektur[Liu et al. 2005]

•2 Arten der Verdrehung

•optimaler Winkel hat die schmalste horizontale Projektion

•Wichtig: Bezugspunkte finden, die auf einer Linie liegen (verwende 8-Nachbarschaft)

21

Mai 2007


Segmentierung der Schriftzeichen

• Globaler Schwellwert, etwa [Otsu1979]

• Lokale Verfahren bringen Verbesserung

• → Lokal adaptiver Schwellwert [Lee et al. 2004 ]

22

Mai 2007


Leistungsvergleich: Lokalisierung

1-2s98%490/500Color-features-Yang

?96%624/650Adaptive-local-binarization-Lee

1,28s3,7%missrate 7,3% false-detection-rate

Color-Texture based-SVM-CAM-Kim

<400ms81,2% (0% false detection rate)

812/1000Multinational - Shapiro

0,7s96,9%107/110Modular Networks –Ji

3,12s98%294/300Gabor+VQ -Kahraman

300ms96,5%260/269Feature based - Mahino

23

Mai 2007


?

Documents

1 Mai 2007 Seminar Intelligente Systeme KFZ-Kennzeichenerkennung Alexander Nöhrer 0656294 Andreas Vida 0155987