Computer Vision

2_Seite 1

Zielsetzung

Automatische Bildauswertung als Informationsquelle

Automatisches Situationsverstehen zur Ableitung von Maßnahmen

• Zur Unterstützung des MenschenAufmerksamkeitssteuerungDiagnoseunterstützungQuantitative Analyse

• Für autonome SystemeMissionsplanungRegelung bei Missionsdurchführung

Beantwortung der Grundfragen• Wo befinde und wie bewege ich mich in Bezug auf meine Umgebung? (Navigation)• Welche Objekte (Art, Ort, Zustand) befinden sich in meiner Umgebung? (Objekterkennung)

Computer Vision

2_Seite 2

Die Auswertungsaufgaben

• Detektion im Bild

• Lokalisierung in der Welt

• Verfolgung

• Identifikation

• Analyse

Computer Vision

2_Seite 3

Was nicht passieren sollte

Computer Vision

2_Seite 4

Vorgehensweise

Automatische Informationsgewinnung aus Bildern und Bildfolgendurch Messung der Bildinhalte (mittels Merkmalen) anhand von Modellen

• Modelle beschreiben den Kontext und das Ziel der erforderlichen Informationsgewinnung.

• Merkmale sind aus den Bilddaten gewonnene Elemente, die wesentliche Eigenschaften der Modellelemente enthalten.

• Die Messung gibt Aufschluss über das Maß an Übereinstimmung von Bildelementen mit dem Modell.

– Modellparameterschätzung: Maximierung des Übereinstimmungsmaßes bezüglich Modellparameter– Klassifikation: Schwellwerte bezüglich des Übereinstimmungsmaßes entscheiden über die Zuordnung zur Modellklasse.

Computer Vision

2_Seite 5

Vorgehensweise

Abbildungsmodell

Sensorbewegungsmodell

Szenenmodell

Objektmodell

Objektbewegungsmodell

Merkmalsextraktion für ModelleKanten, Ecken, Flecken,TexturmaßeVerschiebungsvektorfelder, ...

Parameterschätzung von expliziten und impliziten Modellen

Klassifikation dergeschätzten ParameterPhys. GesetzeExpertensystemeFuzzy LogicLernende Klass.

Semantische Beschreibungder Klassifikationsergebnisseund Kohärenzen

Szenendynamikmodell

Messung der räumlichen und zeitlichen Kohärenzender geschätzten Parameter

Änderungsdetektion

Merkmalselektion, Modellauswahl

Computer Vision

2_Seite 6

Die Auswertungsaufgaben

• Detektion im Bild

• Lokalisierung in der Welt

• Verfolgung

• Identifikation

• Analyse

!

Computer Vision

2_Seite 7

Detektionsmechanismen

Radiometrische Eigenschaften (sensornah)Fernes Infrarot (Temperatur)Radar (Rückstreuquerschnitt, MTI)...

Geometrische EigenschaftenUmrißlinienSignaturen...

Dynamische EigenschaftenInterne ObjektdynamikBewegungsmuster

Computer Vision

2_Seite 8

Detektion mittels radiometrischer Eigenschaften

Fernes Infrarot (Temperatur)Beispiel Flugzeugdetektion in IR-Bildern (8-12 µm)

0

200

400

600

800

1000

1200

1400

20 40 60 80 100 120 140 160 180 200 220 240 260

An

zah

l B

ild

pu

nkte

Helligkeit (Grauwert)

Hintergrund Objekt

Histogrammsegmentierung

Detektionsmechanismen

Computer Vision

2_Seite 9

Detektion mittels radiometrischer Eigenschaften

SAR (Rückstreuquerschnitt)

Beispiel: Landfahrzeuge in SAR-Bildern

Rückstreuquerschnittliefert auch andere Objekte alsLandfahrzeuge(Clutterobjekte)

0

200

400

600

800

1000

1200

1400

20 40 60 80 100 120 140 160 180 200 220 240 260

Detektionsmechanismen

Computer Vision

2_Seite 10

Detektion mittels radiometrischer Eigenschaften

Fernes Infrarot (Temperatur)

Beispiel Landfahrzeugein IR-Bildern 8-12 µmHoneywell-Linescanner

•Helle Bereiche nicht repräsentativ für zu detektierende Objekte

•Es werden auch andere Objekte detektiert .

•Manche Objekte werden nicht detektiert.

0

200

400

600

800

1000

1200

1400

20 40 60 80 100 120 140 160 180 200 220 240 260

Detektionsmechanismen

Computer Vision

2_Seite 11

Detektion mittels radiometrischer Eigenschaften

Fazit

Im einfachsten Fall sind die radiometrischen Objekteigenschaften vollkommen verschieden vom Hintergrund. Dann können so Objekte eindeutig detektiert werden.

Hintergrundobjekte haben z.T. die gleichen radiometrischen Eigenschaften wie die Objekte. Dies führt zu Falschalarmen.

Im schwierigsten Fall sind die radiometrischen Objekteigenschaften dem Hintergrund sehr ähnlich. Dann müssen entweder extrem hohe Falschalarmraten oder Fehldetektionen (misses) hingenommen werden. können so Objekte eindeutig detektiert werden.

Abhilfe durchZuhilfenahmegeometrischerMerkmale

Detektionsmechanismen

Computer Vision

2_Seite 12

Detektion mittels geometrischer Eigenschaften

Umrisse

Originalbild

Verarbeitungeiner “Regionof Interest”

Detektionsmechanismen

Computer Vision

2_Seite 13

Relevante BereicheIR Linescanner Bild der CL 289

Detektionsmechanismen

Rechtwinkligkeit

Computer Vision

2_Seite 14

Detektion mittels geometrischer Eigenschaften

Automatisch erlernte Signaturen

Abbildung 1: Aus dem Bild gewonnene kreisförmige Ausschnitte mit Flugzeugsignaturen

Hintergrundbilder, die vom Verfahren gelernt werden

Trainingsdatensatz für das automatischeTraining eines Klassifikators.

Flugzeugsignaturen, die vom Verfahrengelernt werden

Detektionsmechanismen

Computer Vision

2_Seite 15

Detektion mittels geometrischer Eigenschaften: Signaturen

Anwendung: SAR-Flugzeugdetektor

Anwendung auf nicht trainierte Bilder

Detektionsmechanismen

Computer Vision

2_Seite 16

Detektion mittels dynamischer Eigenschaften

Interne Objektdynamik

Beispiel: Sich bewegende Rotoren von Hubschraubern

Detektionsmechanismen

Computer Vision

2_Seite 17

Lokal geschätzte Flußvektoren

Detektionsmechanismen

Detektion mittels dynamischer Eigenschaften

Hindernisdetektion mit optischem Fluß

Computer Vision

2_Seite 18

Hindernisdetektion mit optischem Fluß

Klassifikation von Flußvektorendurch stochastischen Test:

- bewegt,- stationär über Fahrbahnebene,- auf Fahrbahnebene.

Als bewegt klassifizierte Flußvektoren

Detektionsmechanismen

Computer Vision

2_Seite 19

Hindernisdetektion mit bewegungskompensiertem Differenzbild

Bewegungskompensiertes Differenzbild Binarisierungsergebnis(Robert Bosch GmbH)

Detektionsmechanismen

Computer Vision

2_Seite 20

Die Auswertungsaufgaben

• Detektion im Bild

• Lokalisierung in der Welt

• Verfolgung

• Identifikation

• Analyse

N: 49.800067, E: 24.429837, h: 348996.5

Computer Vision

2_Seite 21

Lokalisierung in der Welt

Wo in der Welt befinden sich die im Bild detektierten Objekte?

Geokodierung des Bildes.

Wo in der Welt befinde ich mich selbst?Navigation durch Landmarken.

Computer Vision

2_Seite 22

Lokalisierung in der Welt

Geokodierung des BildesBeispiel: Bild mit Straßenkarte

Automatische FeinkodierungStraßen aus Vektorkarte:Anpassung mittels Flugdaten

Computer Vision

2_Seite 23

Lokalisierung in der Welt

Navigation anhand von Landmarken

Beispiel: INS-Rekalibrierung

Aktuelle Schrägansicht

Orthophoto Flughafen

Zuordnung durchSchätzung derParameter derprojektiven Transformation

Computer Vision

2_Seite 24

Lokalisierung in der Welt

Navigation anhand von Landmarken

Beispiel: INS-Rekalibrierung

Merkmale im Schrägansichtsphoto

Merkmale im Orthophoto

Computer Vision

2_Seite 25

Lokalisierung in der Welt

Navigation anhand von Landmarken

Beispiel: INS-Rekalibrierung

In das Orthophoto projizierte Schrägaufnahme

Referenzierungsergebnis: Transformation zwischen den Bildern

In die Schrägaufnahme projiziertesOrthophoto

Computer Vision

2_Seite 26

Landmarken-Navigation anhand Fahrspurbegrenzung

Detektion und Verfolgungvon Fahrspurbegrenzungen - markiert - unmarkiert

Klassifikation von Fahrspurbegrenzungen

Mehrspurdetektion

Fortlaufende Güteüberwachung,ggf. Re-Initialisierung.

Lokalisierung in der Welt

Autobahn/Landstraße

Computer Vision

2_Seite 27

Landmarken-Navigation anhand Fahrspurbegrenzung

Modellerzeugung der Landmarken

Tele ATLAS

Gerichtete Graphen Jpoints

Lon, lat Edges

Name Class Permissions

Innenortsbereiche

Lokalisierung in der Welt

Computer Vision

2_Seite 28

Landmarken-Navigation anhand Fahrspurbegrenzung

Modellerzeugung der Landmarken

Ergebnis

Lokalisierung in der Welt

Computer Vision

2_Seite 29

Landmarken-Navigation anhand Fahrspurbegrenzung

Lokalisierung in der Welt

Computer Vision

2_Seite 30

Landmarken-Navigation anhand Fahrspurbegrenzung

Lokalisierung in der Welt

Computer Vision

2_Seite 31

Landmarken-Navigation anhand Fahrspurbegrenzung

Lokalisierung in der Welt

Computer Vision

2_Seite 32

Landmarken-Navigation anhand Fahrspurbegrenzung

Lokalisierung in der Welt

Computer Vision

2_Seite 33

Die Auswertungsaufgaben

• Detektion im Bild

• Lokalisierung in der Welt

• Verfolgung

• Identifikation

• Analyse

Computer Vision

2_Seite 34

Verfolgung

Folge von Prädiktion und Detektion (Messung)

Merkmalstracker

Modelltracker

Weitere:- Korrelationstracker- Umrisstracker (Snakes)

Computer Vision

2_Seite 35

Die Auswertungsaufgaben

• Detektion im Bild

• Lokalisierung in der Welt

• Verfolgung

• Identifikation

• Analyse

„Space Shuttle“

Computer Vision

2_Seite 36

Identifikation

Typbestimmung mittels Bildmerkmalen

Merkmalextraktion,Klassifikation

MerkmalextraktionKlassifikatortraining,

Binari-sierung

Binari-sierung

Klassifikationsvor-schläge:

Boing 737: 0.279A320 : 0.599....

Klassifikator,mit Merkmal-datenbank

Computer Vision

2_Seite 37

Identifikation

Typbestimmung durch Anpassung von CAD-Modellen

Anpassung eines jeden Modells bezüglich Position und Winkellage an die Objektkanten im Bild.

Restfehler: Ähnlichkeit

Das Modell mit dem kleinsten Restfehler identifiziert den Objekttyp.

A300-600

B737-300

A310-300