Schneller hybrider Disparitätsschätzer            1Nicole Brandenburg and Serap Askar

Schneller hybrider Disparitätsschätzer

für ein

3D-Echtzeit-Videokonferenzsystem

Heinrich Hertz Institut für Nachrichtentechnik

Berlin

Nicole Brandenburg and Serap Askar

Schneller hybrider Disparitätsschätzer            2Nicole Brandenburg and Serap Askar

Überblick

3D-Echtzeit-Videokonferenzsystem

Konzept der Disparitätsschätzung

Struktur des schnellen hybriden Disparitätsschätzers

Nachverarbeitung

Ergebnisse

Zusammenfassung

Schneller hybrider Disparitätsschätzer            3Nicole Brandenburg and Serap Askar

Virtual Scene

3D Echtzeit-Videokonferenzsystem Konferenzteilnehmer an verschiedenen Orten

Display

Virtuelle Kamera

Bewegungs-ParallaxeSteuerung der virtuellen

Kamerabewegung durch Head Tracking

Schneller hybrider Disparitätsschätzer            4Nicole Brandenburg and Serap Askar

3D Echtzeit-Videokonferenzsystem

Synthese einer virtuellen Ansicht

Schneller hybrider Disparitätsschätzer            5Nicole Brandenburg and Serap Askar

Konzept der Disparitätsschätzung

Rektifikation Rektifikation

Hybrider rekusiver Disparitätschätzer

Segmentgestützte Nachverarbeitung

Konsistenztest

Segmentgestützte Interpolation

Segmentgestützte Interpolation

Segmentgestützte Nachverarbeitung

linkes Bild rechtes Bild

R -> L DisparitätL -> R Disparität

Hautfarben-Segmentierung

Hautfarben-Segmentierung

Schneller hybrider Disparitätsschätzer            6Nicole Brandenburg and Serap Askar

Pixel-rekursion

Auswahl der besten Disparität

Disparitäts-speicher

Struktur des hybriden Disparitätsschätzers

Block-rekursion

3 Kandidaten

Disparitäts-vektor

linkes Bild

Start-Vektor

Update- Vektor

rechtes Bild

Schneller hybrider Disparitätsschätzer            7Nicole Brandenburg and Serap Askar

Block-Rekursion

3 Kandidaten werden getestet

Vorgängerbild aktuelles Bild

zeitlich

horizontal

vertikal

Keine Definition eines Suchbereichs um die Kandidaten

Auswahl des besten Kandidaten mittels DBD

Schneller hybrider Disparitätsschätzer            8Nicole Brandenburg and Serap Askar

Pixel-rekursion

Auswahl der besten Disparität

Disparitäts-speicher

Struktur des hybriden Disparitätsschätzers

Block-rekursion

3 Kandidaten

Disparitäts-vektor

linkes Bild

Start-Vektor

Update- Vektor

rechtes Bild

Schneller hybrider Disparitätsschätzer            9Nicole Brandenburg and Serap Askar

Pixel-Rekursion Initialisierung von zwei pixel-rekursiven Prozessen Berechnung der Update-Vektoren mit Hilfe des optischen

Flusses Auswahl des besten Update-Vektors anhand der DPD

Start-Vektor

update vector d

incremental updateinitial vector d

Schneller hybrider Disparitätsschätzer            10Nicole Brandenburg and Serap Askar

Pixel-rekursion

Auswahl der besten Disparität

Disparitäts-speicher

Struktur des hybriden Disparitätsschätzers

Block-rekursion

3 Kandidaten

Disparitäts-vektor

linkes Bild

Start-Vektor

Update- Vektor

rechtes Bild

Schneller hybrider Disparitätsschätzer            11Nicole Brandenburg and Serap Askar

Ergebnisse des HRM

L R

L->R

Originalbilder

Disparitäten

Große Verdeckungen !

R->L

Falsche Disparitäten !

Schneller hybrider Disparitätsschätzer            12Nicole Brandenburg and Serap Askar

Konsistenztest Vergleich der L->R und R->L Disparitäten

Ersetzen der unzuverlässigen Disparitäten

Schneller hybrider Disparitätsschätzer            13Nicole Brandenburg and Serap Askar

Segmentierung der Hände mittels Hautfarbe

Segmentierung innerhalb der Bounding Boxen

Tracking der Bounding Boxen

Hautfarbensegmentierung mit Region Growing Tracken der

Bounding Boxen

Unterabtastung

Bounding Boxen

Schneller hybrider Disparitätsschätzer            14Nicole Brandenburg and Serap Askar

Segmentgestützte Nachverarbeitung

Disparitäten Handmaske

Disparitäten

Handmaske

Verwendung von Disparitäten des gleichen Objekts

Disparitätssprünge bleiben erhalten

Schneller hybrider Disparitätsschätzer            15Nicole Brandenburg and Serap Askar

Dense Field Interpolation

Segmentgestütztes Interpolieren der Disparitäten

sparse field 4x4

dense field

Schneller hybrider Disparitätsschätzer            16Nicole Brandenburg and Serap Askar

Experimentelle Ergebnisse ohne

NachverarbeitungEinfache

NachverarbeitungSegmentgestützteNachverarbeitung

Schneller hybrider Disparitätsschätzer            17Nicole Brandenburg and Serap Askar

Experimentelle Ergebnisseohne

Nachverarbeitungeinfache

NachverarbeitungsegmentgestützteNachverarbeitung

Schneller hybrider Disparitätsschätzer            18Nicole Brandenburg and Serap Askar

Rechenzeiten für ITU-Rec. 601, 25 Hz, 1:1

Zeiten enthalten: a) unabhängige L R and R L Schätzung

b) Konsistenztest

c) Interpolation der unzuverlässigen Disparitäten

----8x8

< 40 ms4x4

Zielaktuell

Pentium III, 700 MHz

87 ms

22 ms

Rastergröße

Schneller hybrider Disparitätsschätzer            19Nicole Brandenburg and Serap Askar

Zusammenfassung Schneller hybrider Disparitätsschätzer

Blockrekursion : Auswahl aus drei Kandidaten

Pixelrekursion : Nutzung des optischen Flusses

Nachverarbeitung

Verwerfen unzuverlässiger Disparitäten

Segmentgestütztes Füllen der Löcher

Segmentgestützte Dense Field Berechnung

Echtzeitfähigkeit

Echtzeitfähig für ein 8x8 Grid, optimierbar für 4x4

Schneller hybrider Disparitätsschätzer            20Nicole Brandenburg and Serap Askar

Ende