68
Augmented Reality - Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker [email protected]

Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker [email protected]

  • Upload
    vubao

  • View
    219

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Augmented Reality-

Grundlagen

Intelligente Mensch-Maschine-Interaktion - IMMISS 2011

Prof. Didier [email protected]

Page 2: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Die Vorlesung am

07.06

findet im Raum Zuse am DFKI statt

2

Page 3: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Augmented Reality

Displays und Tracking

Die Kamera

Kamerakalibrierungsverfahren

Übersicht

3

Page 4: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Historie

Ivan Sutherland (1960s): erste Experimente mit HMDsRemote Reality Virtual Reality

4

Page 5: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

-5-

Allgemeines Trend: IPT (immersive projection technology)

Workbench

Stereo-projektion

CAVE

Page 6: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

CAVE

6

Page 7: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Virtual Reality

EigenschaftenEchtzeit Interaktivität „Immersion“Multi-modale

Interaktion

Immersion:Das Gefühl teil

der virtuellen Welt zu sein

-7-

Page 8: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

VR Anwendungen & Echtzeit physikalische Simulation

8

Page 9: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Augmented Reality: Grundlagen

9

+

=AR kombiniert

reale und virtuelle Welt

Page 10: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Immersive Virtuelle Umgebungen (VE):Komplettes Ersetzen der Realität

Augmented Reality:Benutzer sieht reale UmgebungKontakt bleibt erhaltenUmgebung wird durch virtuelle Informationen ergänzt nicht

ersetzt

Augmented Reality: Grundlagen

10

Page 11: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Augmented Reality: Grundlagen / Historie

Frühe 1990s: David Mizell (Boeing) prägt den Begriff Augmented Reality

11

Page 12: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

-12-

AR und VR kann nicht losgelöst betrachtet werden

[Milgram & Kishikino 94] Paul Milgram führt den Begriff “Mixed Reality” ein.

Mixed Reality stellt aller Formen von VR und AR dar.

Augmented Virtuality: Reale Objekte oder z.B. Videobilder in einer VR-Welt.

Mixed Reality Continuum

Augmented Reality (AR)

Real Environment

Augmented Virtuality (AV)

Virtual Environment

Page 13: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Technology: video-based tracking

Page 14: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

14

Page 15: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Charakterisierung von Azuma (1997):

AR kombiniert reale und virtuelle WeltAR ist interaktiv in EchtzeitAR erfordert Registrierung in 3D

Augmented Reality: Grundlagen

15

[Azuma 97][University of North Carolina]

Page 16: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Anwendungsbeispiele:Sport Übertragungen

16

Page 17: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Anwendungsbeispiele:Head-up display

Page 18: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

-18-

Automobil: Simulation vs. reale Welt

Page 19: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Anwendungsbeispiele:Medizin

19

Page 20: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

SpieleSony: EyeToyAR-Quake (Univ.)

Anwendungsbeispiele:Edutainment

20

Page 21: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

KulturgüterAugmented Tour GuideRekonstruktionen

Anwendungsbeispiele:Edutainment

21

Page 22: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Augmented Reality

Page 23: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

DISPLAYS

23

Page 24: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Handgeführt

Displays

24

Head Mounted Displays (HMD)

Page 25: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Head Mounted Display

25

Optical Combiner

GrafikMonitor Optical See-Through

Combiner

Virtuelles BildReales Bild

Kamera

Grafik

Monitor

Video See-Through

Page 26: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Optical See-Through : Beispielsgerät

With courtesy of Trivisio

Page 27: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Verdeckungen zwischen realen und virtuellen Objekten

Verdeckungen in AR

27

Verdeckungen sind nicht berücksichtigt

Verdeckungen sind berücksichtigt.

Ein Modell, oder Maske mussexistieren und bei der Visualisierung einbezogen werden.

Page 28: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Optical‐See‐Through

+ real world in full resolution

– virtual image mostly not bright enough – ghost view

Video‐See‐Through

+ Full control of the information wich is displayed

‐ Real world is perceived over the camera (focal plane, stereo, delay, scale…)

Page 29: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Und bei See-Through HMD

Problem 2: das virtuelles Bild erscheint noch durchsichtig…

Problem 1: Verdeckung realles/virtuelles Objekt…

Verdeckung reales / virtuelles Objekt(wie gehabt, siehe oben)

Page 30: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

HMD mit Alpha-Channel

Courtesy of Kiyoshi Kiyokawa, Communication research lab

With courtesy of Trivisio

Verdeckung reales / virtuelles Objekt(Software Z-Buffer – Siehe unten)

Maske vom Light-Blocking-Filter Ergebnis

Page 31: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

HMD with alpha channel

by Kiyokawa

by Kiyokawa

Page 32: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

HMD mit „Alpha Channel“

KiyokawaKiyokawa Trivisio

Page 33: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

33

VIDEO LIGHT BLOCKER

Page 34: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

TRACKING

34

Page 35: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Augmented Reality: Wie?

Input Daten:1 Videobild (current frame)1 Modell (CAD, Vrml...)

Aufgaben der AR: Videobild im Hintergrund rendern Modell im Vordergrund richtig rendern

rendernrichtig rendern ???

Page 36: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

AR ist „richtig rendern“

Richtig rendernGeometrisch: größe + lagerichtigPhotometrisch: richtige Beleuchtung

Rendering (Computer Graphik)projection matrix glMatrixMode(GL_PROJECTION);glFrustum(-1.0, 1.0, -1.0, 1.0, 1.5, 20.0);gluPerspective(60.0, 1.0, 1.5);

modelview matrixglMatrixMode(GL_MODELVIEW);glMultMatrix(N); /* apply transformation N */gluLookAt(...); /* positions the camera */

Page 37: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Projektionmatrix

Transformiert 3D Weltkoordinaten in 2D Bild-(Fenster-) koordinaten

Enthält:ZoomSichtwinkelPerspektivische Distortion der Kamera

Page 38: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Modelview matrix

Transformiert 3D koordinaten des Weltkoordinatensystems in 3D Koordinaten der Kamerakoordinatensystems

R, t

Page 39: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Tracking in Praxis: Basisfunktionalitäten

39

Input video Pattern recognition

Calculate 3D camera position &

orientation

Synthesis and render on input

video

Registration of 3D virtual objects

Page 40: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

© 2008, Fraunhofer IGD

40

Projektive Bilder

Eindruck der Tiefe in den Bildern Parallele Linien treffen sich an der Unendlichkeit “Unendlichkeit” wird zur begrenzten Position im Bild projektiert “Horizont” “unendlich ferne Punkte”, …

[Triggs and Mohr]

Page 41: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Welche GenauigkeitVariablen6 DOF Position + OrientierungViewing Parameter

Abhängig von AnwendungChirurgie ( < mm)Outdoor Navigation (m)

Abhängig von menschlichen SinnenAbweichungen von 0,5 Bogenminuten

Höher als in VRKoexistenz von real und virtuell

Tracking: Genauigkeit?

41

Page 42: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Offline VerfahrenNotwendige Informationen werden aus den Bildern

zurückgewonnenKeine zusätzliche Hardware

Online/Echtzeit VerfahrenMechanische, Magnetische Verfahren (Siehe HCI-

Vorlesung)Tendenz: Kamera-basierte Lösungen

Tracking

42

Page 43: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Kamerabasierte VerfahrenMobil6 DOFBildverarbeitungPassive Targets

Outside-InInside-Out

Tracking

43

Page 44: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Tracking

44

• Outside-In• Empfänger (z.B. Kameras)

in Umgebung beobachten den Benutzer

• Sender am Benutzer

• Präparierung der Umgebung

• Wenig mobil

Page 45: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Tracking

45

• Inside-Out• Empfänger (Kamera) am

Benutzer• Sender (Merkmale) in

Umgebung

Page 46: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Offline-Tracking / Augmented VideoVideo im Vorfeld aufgenommenInteraktion mit virtueller Szene in EchtzeitKalibrierung, Schätzung von Kamerapose

Tracking

46

Page 47: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Einzelbild:Rückrechnung von P“Direct Linear Transformation” (DLT)2D Punkte im Bild (mi)3D Punkte (Mi Vermessen oder VR-Model)Gleichung pro Punkt : mi = PMi

Bestimmung von PZerlegung von P in K (Brennweite…), R und t

ProblemeViele Punkte (mind. 20)Rauschempfindlich Instabile Punktkonfiguration

Tracking

47

Page 48: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Video-Sequenz

Automatisierung notwendigKlassischer Ansatz

2D-Punktverfolgung über die ganze Bildsequenz anschließende Bestimmung des 3D-Kamerapfades Probleme:

2D Punktverfolgung bei Verdeckungen Akkumulation der Fehler

Tracking

48

Page 49: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Marker-based Tracking: Passiv 4 x 4 Binärcode

Ein Marker ist ausreichend(4-Eckpunkte) um die Kameraposition/orientierung zu rechnen

Die Marker werden in die Szene platziert und vermessen

Algorithmus:1. Markerextraktion: Bestimmung der

Eckpunkte2. Markeridentifikation3. Berechnung der Kameraposition

und Orientierung

Tracking / Registrierung

49

Page 50: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Die Kamera

50

Page 51: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Bilderaufnahmegerät

3D2D Abbildung!

Was ist eine Kamera?

51

Page 52: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Verschiedene Kameras, verschiedene Bilder

Kameraparameter (fokal Länge…) sehr wichtig für AR

Was ist eine Kamera?

52

Nikon Coolpix 2100 Olympus D630 zoom

Page 53: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Eine Kamera erstellt eine projektive Abbildung von R3 nach R2

Was ist eine Kamera?

53

Page 54: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Abstraktes Kameramodell -Kasten mit kleinem Loch

Die Lochkamera Theorie

54

• In der Praxis, virtuelles Bild statt echte Bildebene

Page 55: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

2 Gleichungen:

Transformation

55

Image plane

Pinhole ObjectVirtualimage plane

ZYfy

ZXfx ,

…sind aber nicht linear!

)/,/(),,( ZYfZXfZYX

Page 56: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Einfach eine Dimension mehr…

Homogene Koordinaten

56

nKoordinatehomogene

nKoordinateekartesisch

),,(),( yxyx

nKoordinateekartesisch

3

2

3

1

nKoordinatehomogene

321 ),(),,(CC

CCCCC

Page 57: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

1010101

1ZYX

ff

ZYfXf

Recall: das Kameralochmodel

10100

1ZYX

ff

ZYfXf

ZYX

)/,/(),,( ZYfZXfZYX

1//

1

ZYfZXf

ZYX

Page 58: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

)/,/(),,( ZYfZXfZYX

Recall: Pinhole camera model

PXx

1010101

1ZYX

ff

ZYfXf

Page 59: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

PP

Skew

Neue Matrix:

Optisches Zentrum Offset und Skew

59

Tyx

T cZfYcZfXZYX )/,/(),,(

= principal point (PP)T

yx cc ),(

ZYX

cfcsf

yx

yy

xx

1000

1

n12

21

m

ph

pw

(cx,cy)

P s = skew

Page 60: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Intrinsische Parameter der Kamera:Brennweite (Focal Length)Bildhauptpunkt (PP)Skew factor (meistens s=0)

Die intrinsichen Parameter der Kamera

60

1000 yy

xx

cfcsf

K

• K ist die Kalibrierungsmatrix der Kamera

Tyx cc ),(yx ff ,

s

ZYX

Kyx

.1

Page 61: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Die Kamera bewegt sich im Bezug zur Szene

Translation t + Rotation R

Position und Orientierung

61

R, t

Page 62: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Transformationsmatrix vom Koordinatensystem der Szene zum Koordinatensystem der Kamera:

Die extrinsichen Parameter der Kamera

62

1'''

1333

ZYX

tRZYX

R, t

• R und t sind die extrinsischen Parameter der Kamera

Page 63: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

K : intrinsiche ParameterR, t : extrinsiche Parameter

P = K [R,t] ist die Projektionsmatrix der Kamera

Die Kamera

63

11

ZYX

tRKyx

Page 64: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

KameramodellR : RotationsmatrixT : TranslationsvektorK : intrinsische Parameter

Für M=(x,y,z,1) und m(x,y,1) gilt: m ~ PM, wobei P=K(R,t)

Die Kamera: Zusammenfassung

64

100cyfy0cxsfx

K

M

mo

x

y

z

o

x

z

y

R, tO

Kamera

Szene

Page 65: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Reale Kamera – Bildpunkte verzerrtxd,yd – Verzerrte BildpunkteParameter k1, k2

Linien müssen gerade sein!

Bildentzerrung

65

222

42

21

42

21

)1(

)1(

dd

d

d

yxr

rkrkyy

rkrkxx

Page 66: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

Image tracker

66

Page 67: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

67

Page 68: Augmented Reality Grundlagen - ags.cs.uni-kl.de · Augmented Reality-Grundlagen Intelligente Mensch-Maschine-Interaktion - IMMI SS 2011 Prof. Didier Stricker Didier.Stricker@dfki.de

68

Reading:

Azuma, Ronald T. A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments 6 , 4 (August 1997), 355 - 385