Volumetrische Rekonstruktion und interaktives Rendern von Bäumen anhand von Fotografien

Alex Reche, Ignacio Martin und George Drettakis

Einführung

Ziel:• Erfassen von real existierenden

Bäumen anhand von Fotografien.• Erstellen eines Modells mit

niedriger Polygonzahl.

Einführung

Zentrale Beobachtung:• Pixel ist Projektion einer best.

Anzahl von Blättern und Ästen auf den Hintergrund.

• Transparenz-Effekt: Pixel eine Mischung aus Vordergrundfarbe (Blätter/Äste) und Hintergrundfarbe (Himmel).

Inhalt

1) Aufnahme der Fotografien

Inhalt

1) Aufnahme der Fotografien2) Berechnung der Transparenzkanäle

Inhalt

1) Aufnahme der Fotografien2) Berechnung der Transparenzkanäle3) Rekonstruktion eines 3D-Gitters

Inhalt

1) Aufnahme der Fotografien2) Berechnung der Transparenzkanäle3) Rekonstruktion eines 3D-Gitters4) Texturgenerierung durch Billboards

Inhalt

11 Fotografien11 Transparenzkanäle der Fotografien11 Zellkomplex mit Alphawerten für jede

Zelle11 M xM -Textur pro Foto für jede Zelle

Bildaufnahme

• 20-30 Fotos/Baum• Alle Richtungen• Gleiche Entfernung• Uniformer

Hintergrund• Kalibrierung

anhand von Marken im Bild

Berechnung der Alphakanäle

Algorithmus von Ruzon und Tomasi• Anwender definiert Bereiche

• Vorder-, Hintergrund, transparent, ignorieren

• Algorithmus berechnet Transparenzwerte

Berechnung der Alphakanäle

• Transformation in den Lab-Farbraum

• Clusterbildung in der ab-Ebene (F/B)

• Lineare Interpolation der transparenten Werte:

Rekonstruktion der Gitterzellen

Überblick:• Rekursives 3x3x3-Gitter in der

Bounding-Box

Rekonstruktion der Gitterzellen

Überblick:• Rekursives 3x3x3-Gitter in der

Bounding-Box• Bestimmung der Alphawerte der Zellen

Rekonstruktion des Bildaufnahmevorgages

Rekonstruktion der Gitterzellen

Überblick:• Rekursives 3x3x3-Gitter in der

Bounding-Box• Bestimmung der Alphawerte der Zellen

Rekonstruktion des Bildaufnahmevorgages

• Hier keine Betrachtung der Farbwerte!

Rekonstruktion der Gitterzellen

Modell für die Bildentstehung:• Strahl durch Zelle:

Rekonstruktion der Gitterzellen

Modell für die Bildentstehung:• Strahl durch Zelle:

• Bei mehreren Zellen:

Rekonstruktion der Gitterzellen

Modell für die Bildentstehung:• Strahl durch Zelle:

• Bei mehreren Zellen:

• Verwendung eines absortion only Modells• Nur Absorption, keine Emission, Schatten...• Nur Transparenzen, keine farbigen Zellen

• Ermittlung aller Zellen, die für Pixel relevant waren.

• Initialisierung der Pixelopazitätenkleinste Opazität der sichtbaren Pixel

• Optimierung der Opazitäten, so dass die Gleichungen für alle Pixel erfüllt sind.

Rekonstruktion der Gitterzellen

Rekonstruktion der Gitterzellen

• Formel:

Rekonstruktion der Gitterzellen

• Formel:

• Rekursiv definiert:

Rekonstruktion der Gitterzellen

• Formel:

• Rekursiv definiert:

• Induktion:

Rekonstruktion der Gitterzellen

• Formel:

• Rekursiv definiert:

• Induktion:

• Darstellung mit Transparenzen und Logarithmieren:

Rekonstruktion der Gitterzellen

• Ebenengleichung:

Rekonstruktion der Gitterzellen

• Ebenengleichung:

• Formel ist n-dimensionale Ebene!

• Pro Pixel: Projektion ist „Optimierungvorschlag“ für betroffene Zellen

• Wichtung mit der Bedeutung der Zelle• Entfernung zum Bild, Strecke des Schnittes mit dem

Strahl

• Aktualisierung der Transparenzen mit Mittel der Optimierungsvorschläge

Rekonstruktion der Gitterzellen

Rekonstruktion der Gitterzellen

• transparency cutoff threshold• Ignorieren der Pixel ab bestimmter

Transparenz• Wert wischen 0.9 und 0.96• Starker Einfluss auf Geschwindigkeit

des Verfahrens

Rekonstruktion der Gitterzellen

Resultat:Gitternetz mit

Transparenzwert für jede Zelle

Texturgenerierung

Überblick:• Anhängen von blickpunktabhängigen

Billboards an jede Zelle• Interpolation zwischen den n dichtesten

Kameras

Texturgenerierung

Erste Idee: Projizieren des Billboards in die Fotografie

Problem: Blurring-Effekt

Texturgenerierung

• Optimales VerfahrenMöglich, wenn alle Informationen vorhanden wären

Texturgenerierung

1) Für jedes Bild: Ordnen der Zellen von vorne nach hinten

2) Projektion der Zelle in das Bild Region R3) Resamplen der Textur T des Billboards4) Bewerten der Pixel von T5) Auswahl der Wahrscheinlichsten Pixel6) Löschen der Pixel im Bild7) Rekonstruktion der gelöschten Pixel im

Bild

Texturgenerierung

• Zelltransparenz:

gewichtet:

Texturgenerierung

• Zelltransparenz:

gewichtet:

• Aktuelle Transparenz der Pixel:

Aktualisierung, wenn Pixel verwendet:

Texturgenerierung

• Bedeutung:

• Zusätzlich Alter für jedes PixelInkrement, wenn Pixel für Billboard

verwendet

Texturgenerierung

Texturgenerierung

• Sortieren der Pixel von T nach Alter und Bedeutung

• Auswahl der ersten Pixel

• Billboard erhält Farbwerte der ausgewählten Pixel und Alphawert der Zelle

Texturgenerierung

Ergebnisse

18 Fotografien110.000 Zellen58 MB Texturen (4x4)15+15 Minuten

22 Fotografien51.000 Zellen150 MB Texturen (8x8)15+30 Minuten

Pinie

Eiche

Ausblick und Probleme

• Aufnahme vor neutralem Hintergrund• Anderer Algorithmus?

• Keine Berücksichtigung der Beleuchtung bei der Bildaufnahme• Beleuchtung vor der Texturierung

entfernen?

• Nicht zufriedenstellend, wenn Baum aus der Nähe betrachtet wird

• Hohes Datenaufkommen der Texturen