U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 1 / 35 Projektpraktikum AR mit korrekter Beleuchtung Entwicklung einer

4. Mai 2006

1 / 35

U N I V E R S I T Ä TKOBLENZ · LANDAU

Arbeitsgruppe Computergrafik

Projektpraktikum AR mit korrekter Beleuchtung

Entwicklung einer Augmented Reality Anwendung, bei der virtuelle Objekte korrekt

beleuchtet werden

4. Mai 2006

2 / 35



Anforderungen und Ziele

Erfassung der aktuellen Beleuchtungs-verhältnisse mit Hilfe von zwei High Dynamic Range (HDR) Videokameras

Bestimmung der 3D-Positionen der Lichtquellen durch Triangulierung (Epipolargeometrie)

Beleuchtung virtueller Objekte durch Multipass Rendering Verfahren mit Schlagschatten für jede Lichtquelle

4. Mai 2006

3 / 35



Aufgabenverteilung

Zerlegung in 3 Teilbereiche: Gruppe 1

• Kameraanbindung

• Lichtquellen erkennen

Gruppe 2• Kalibrierung

• 3D Rekonstruktion (Epipolargeometrie)

Gruppe 3• 3D Visualisierung mit Schatten und Beleuchtung

• Generieren der AR-Szene

4. Mai 2006

4 / 35



Organisation

Regelmäßige Treffen Wiki

http://geri.uni-koblenz.de/Projektpraktika/ARLight/

Subversion

4. Mai 2006

5 / 35



Programm ARLight

Unterstützte Plattformen Windows (Visual Studio) Linux

• Offline (keine Kameratreiber)

Programmiersprache C++ Verwendete Toolkits/Libraries:

OpenCV, Glut Cg, Rendertexture, Glew ARToolkit Glui

4. Mai 2006

6 / 35



Programm ARLight

4. Mai 2006

7 / 35



Konzept

Klassendiagramm

4. Mai 2006

8 / 35



Gruppe 1Hardware und Lichtdetektion

Andreas von Arb

Matthias Korn

Maik Stange

4. Mai 2006

9 / 35



Kameras

4. Mai 2006

10 / 35



Kameras

High Dynamic Range 12 Bit Integer logarithmisch skaliert Lichtempfindlichkeit: 0,02 – 1 000 000 lux Auflösung: max 768 x 496 Pixel

• Stereo (512 x 496)

30 Bilder pro Sekunde (bei Vollauflösung)

4. Mai 2006

11 / 35



Kamera-Ansteuerung

Spezielle PCI-Framegrabberkarte maximal 2 HDR Kameras pro Karte Treiber für Windows

Benötigt zusätzlich Kameratreiber wurde nicht mitgeliefert Aber: Beispielprogramm zur Ansteuerung

• Erweitert, u.a. (Stereo-) Video und Einzelbild speichern

• Anpassung an ARLight

4. Mai 2006

12 / 35



Fischaugenobjektiv

4. Mai 2006

13 / 35



Gruppe 2Kalibrierung und 3D-Rekonstruktion

Lisa Blum

Michael Kreil

Kathrin-Jennifer Kunze

4. Mai 2006

14 / 35



Gruppe 33D-Visualisierung und AR

Jens Anhenn

Timo Wallrath

Yonghui Wan

4. Mai 2006

15 / 35



Voraussetzungen

3D-Lichtpositionen HDR-Farbwerte der Lichtquellen Ambienter Term

Aufgabenstellung:Darstellung der Szene inklusive korrekt beleuchteter virtueller Geometrie und Schatten

4. Mai 2006

16 / 35



Features der Engine

VRML-Loader Beleuchtung virtueller Objekte per N

Lichtquellen Shadow Volumes Einbindung Webcam-Bild

4. Mai 2006

17 / 35



Verwendete Technik

OpenGL Cg RenderTexture ARToolkit

4. Mai 2006

18 / 35



Display-Durchlauf

grabben des Webcam-Bildes

RenderTexture0

4. Mai 2006

19 / 35



Display-Durchlauf

Schleife über alle Lichter setzen von Modelview- und Projectionmatrix Projektionsebene für Schatten in z-Buffer setzen der Shader-Parameter

(Lichtposition, HDR-Farbwerte, Ambienter Term)

4. Mai 2006

20 / 35



Display-Durchlauf

Schleife über alle Lichter zeichne virtuelles Objekt

RenderTexture0

4. Mai 2006

21 / 35



Display-Durchlauf

Schleife über alle Lichter zeichne Schatten

RenderTexture0

4. Mai 2006

22 / 35



Schleife über alle Lichter

Display-Durchlauf

RenderTexture0

+RenderTexture1

RenderTexture1

4. Mai 2006

23 / 35



Schleife über alle Lichter

Display-Durchlauf

+RenderTexture0 RenderTexture1

RenderTexture1

4. Mai 2006

24 / 35



Display-Durchlauf

Tone Mapping

max

'lum

rr

RenderTexture1

Bildschirm:

Tonemapping

Shader

4. Mai 2006

25 / 35



Augmented Reality

4. Mai 2006

26 / 35



Realität

4. Mai 2006

27 / 35



Ausblick

Verbesserungsmöglichkeiten Quelltextqualität Sampling-Verfahren Erweiterte Farbkalibrierung Flächenlichtquellen …

Studienarbeit Diplomarbeit

4. Mai 2006

28 / 35



Danksagung

Prof. Dr. Stefan Müller

Thorsten Grosch

Rodja Trappe

Jacques

4. Mai 2006

29 / 35



Projektpraktikum AR mit korrekter Beleuchtung

Danke für Ihre Aufmerksamkeit

Präsentation anschließend im CG-Labor (B 014)

Documents

U N I V E R S I T Ä T KOBLENZ · LANDAU Arbeitsgruppe Computergrafik 4. Mai 2006 1 / 35 Projektpraktikum AR mit korrekter Beleuchtung Entwicklung einer