Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik...

1/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Grundlagenomnidirektionaler Sichtsysteme

Oberseminar TAMS:

22. Juni 2003

2/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

3/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Inspiration Biologie

omnidirektionale Sicht in der Natur:

Tag-Insekten

Nacht-Insekten

Krustentieren

Beispiel: Gigantocypris

Große Augen

Optik wie bei Teleskopen

einfallendes Licht

Lücke

4/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Übersicht

1. Biologie

2. Omnivision-Systeme

3. Fixed Viewpoint Contstraint

4. Eigenschaften catadioptischer Systeme

5. Panoramabilder

6. Anwendungen in der Robotik

5/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Übersicht

1. Biologie

2. Omnivision-Systeme

3. Fixed Viewpoint Contstraint

4. Eigenschaften catadioptischer Systeme

5. Panoramabilder

6. Anwendungen in der Robotik

6/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Omnidirektionale Sichtsysteme

Drei unterschiedliche Systeme:

1. Fischauge-Objektiv

2. rotierende Kamera

3. catadioptrische Sichtsysteme

dioptrics → Linsen

catoptrics → Spiegel

7/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Geschichte

1970: U.S.-Patent von Rees

Kamera & hyberbolider Spiegel

1990: Echtzeit-Verarbeitung der Bilddaten

konische, sphärische und hyperbolide Spiegel

1997: Theoretische Analyse von Nayar & Baker

paraboloider Spiegel mit telezentrischer Linse

8/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Spiegel-Designs

9/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Vor- und Nachteile

Kann das omnidirektionale Bild in ein normales

perspektivisches Bild umgewandelt werden?

Wie schmal ist der Astigmatismus?

Werden Standard-Linsen und Kameras benutzt?

Wie groß ist der vertikale Blickwinkel?

10/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Übersicht

1. Biologie

2. Omnivision-Systeme

3. Fixed Viewpoint Contstraint

4. Eigenschaften catadioptischer Systeme

5. Panoramabilder

6. Anwendungen in der Robotik

11/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Single Viewpoint

Projektionszentrum des Spiegels

ermöglicht geometrisch korrekte Projektionen

Zuordnung:

Intensitätswert eines Pixel ↔ Lichtstrahl aus bestimmter Richtung

Zuordnung kann vorausberechnet werden

12/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Grundlage: Lochkamera

Objekt

optische Achse„Loch“

Bildebene

Bild

Mattscheibe

13/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Viewpoint

Kamera

Spiegel

Viewpoint

14/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Fixed Viewpoint Constraint (1)

optische Achse

Bildebene

Loch

Viewpoint v = (0,0)

z

r

c

p = (0,c)

Weltpunktz

r

r

ztan

r

zc tan

Normale

tandr

dz

+

2

15/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Fixed Viewpoint Constraint (2)

Gesucht: Spiegeloberfläche z (r)

Lösung der quadratischen Differentialgleichung:

0)2()(2)2( 222

czr

dr

dzzczr

dr

dzzcr

16/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Allgemeine Lösung

4

2

21

2

2

41

2222

22

22

2

ck

k

cr

cz

k

kckr

cz

)0(

)2(

k

k

17/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Lösung (1)

k = 2 und c > 0

planer Spiegel:

2

cz

18/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Lösung (2)

k ≥ 2 und c = 0

konischer Spiegel:

2

2

2r

kz

v (0,0) = p (0,c)

19/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Lösung (3)

k > 0 und c = 0

sphärischer Siegel:

222 krz

20/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Lösung (4)

k > 0 und c > 0

ellipsoider Spiegel:

11

2

1 22

2

2

r

b

cz

a ee

4

2 2ckae

2

kbe v

p

Spiegel

Bildebene

21/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Lösung (5)

k > 2 und c > 0

hyperboloider Spiegel:

11

2

1 22

2

2

r

b

cz

a hh

k

kcah

2

2

k

cbh

2

2

v

p

Spiegel

Bildebene

22/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Übersicht

1. Biologie

2. Omnivision-Systeme

3. Fixed Viewpoint Contstraint

4. Eigenschaften catadioptischer Systeme

5. Panoramabilder

6. Anwendungen in der Robotik

23/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Auflösung catadioptrischer Systeme

v

p

Spiegel

Bildebene

Pixel

dA

d

d

d

dA

rzc

zr

d

dA

22

22

24/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Unschärfe

v

Spiegel

Bildebene

Weltpunkt

f

25/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Aufbau

zwei Möglichkeiten:

Glaskugel

Glasröhre

v

p

26/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Reflexionen

v

p

schwarzeNadel

27/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Alternative bei Reflektionen

v

paraboloiderSpiegel

CCD-Element

telezentrische Linse

28/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Übersicht

1. Biologie

2. Omnivision-Systeme

3. Fixed Viewpoint Contstraint

4. Eigenschaften catadioptischer Systeme

5. Panoramabilder

6. Anwendungen in der Robotik

29/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Panoramabilder

Omnidirektional Panorama

359° 180° 0°

0°180°

30/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

31/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

32/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Panoramabildern

Projektion auf Zylinder

Interpolation

Nearest Neighbour

Bilineare Interpolation

Bikubische Interpolation

Filter

Vorteile bei horizontal angewandten Filtern

33/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Übersicht

1. Biologie

2. Omnivision-Systeme

3. Fixed Viewpoint Contstraint

4. Eigenschaften catadioptischer Systeme

5. Panoramabilder

6. Anwendungen in der Robotik

34/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Anwendungen in der Robotik (1)

Lokalisation

Snapshot-Vergleich

Feature-Extraktion (z.B. Symmetrie)

Messgerät

Drehungen

Tiefenmessung (Stereo)

35/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Anwendungen in der Robotik (2)

Modellbildung

meistens Aufnahmen an mehreren Orten

danach Tiefenkarte

dann Modell

Überwachungskamera

Tracking

36/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel Westhoffwesthoff@informatik.uni-hamburg.de

Danke für die Aufmerksamkeit!