Schneller hybrider Disparitätsschätzer 1Nicole Brandenburg and Serap Askar
Schneller hybrider Disparitätsschätzer
für ein
3D-Echtzeit-Videokonferenzsystem
Heinrich Hertz Institut für Nachrichtentechnik
Berlin
Nicole Brandenburg and Serap Askar
Schneller hybrider Disparitätsschätzer 2Nicole Brandenburg and Serap Askar
Überblick
3D-Echtzeit-Videokonferenzsystem
Konzept der Disparitätsschätzung
Struktur des schnellen hybriden Disparitätsschätzers
Nachverarbeitung
Ergebnisse
Zusammenfassung
Schneller hybrider Disparitätsschätzer 3Nicole Brandenburg and Serap Askar
Virtual Scene
3D Echtzeit-Videokonferenzsystem Konferenzteilnehmer an verschiedenen Orten
Display
Virtuelle Kamera
Bewegungs-ParallaxeSteuerung der virtuellen
Kamerabewegung durch Head Tracking
Schneller hybrider Disparitätsschätzer 4Nicole Brandenburg and Serap Askar
3D Echtzeit-Videokonferenzsystem
Synthese einer virtuellen Ansicht
Schneller hybrider Disparitätsschätzer 5Nicole Brandenburg and Serap Askar
Konzept der Disparitätsschätzung
Rektifikation Rektifikation
Hybrider rekusiver Disparitätschätzer
Segmentgestützte Nachverarbeitung
Konsistenztest
Segmentgestützte Interpolation
Segmentgestützte Interpolation
Segmentgestützte Nachverarbeitung
linkes Bild rechtes Bild
R -> L DisparitätL -> R Disparität
Hautfarben-Segmentierung
Hautfarben-Segmentierung
Schneller hybrider Disparitätsschätzer 6Nicole Brandenburg and Serap Askar
Pixel-rekursion
Auswahl der besten Disparität
Disparitäts-speicher
Struktur des hybriden Disparitätsschätzers
Block-rekursion
3 Kandidaten
Disparitäts-vektor
linkes Bild
Start-Vektor
Update- Vektor
rechtes Bild
Schneller hybrider Disparitätsschätzer 7Nicole Brandenburg and Serap Askar
Block-Rekursion
3 Kandidaten werden getestet
Vorgängerbild aktuelles Bild
zeitlich
horizontal
vertikal
Keine Definition eines Suchbereichs um die Kandidaten
Auswahl des besten Kandidaten mittels DBD
Schneller hybrider Disparitätsschätzer 8Nicole Brandenburg and Serap Askar
Pixel-rekursion
Auswahl der besten Disparität
Disparitäts-speicher
Struktur des hybriden Disparitätsschätzers
Block-rekursion
3 Kandidaten
Disparitäts-vektor
linkes Bild
Start-Vektor
Update- Vektor
rechtes Bild
Schneller hybrider Disparitätsschätzer 9Nicole Brandenburg and Serap Askar
Pixel-Rekursion Initialisierung von zwei pixel-rekursiven Prozessen Berechnung der Update-Vektoren mit Hilfe des optischen
Flusses Auswahl des besten Update-Vektors anhand der DPD
Start-Vektor
update vector d
incremental updateinitial vector d
Schneller hybrider Disparitätsschätzer 10Nicole Brandenburg and Serap Askar
Pixel-rekursion
Auswahl der besten Disparität
Disparitäts-speicher
Struktur des hybriden Disparitätsschätzers
Block-rekursion
3 Kandidaten
Disparitäts-vektor
linkes Bild
Start-Vektor
Update- Vektor
rechtes Bild
Schneller hybrider Disparitätsschätzer 11Nicole Brandenburg and Serap Askar
Ergebnisse des HRM
L R
L->R
Originalbilder
Disparitäten
Große Verdeckungen !
R->L
Falsche Disparitäten !
Schneller hybrider Disparitätsschätzer 12Nicole Brandenburg and Serap Askar
Konsistenztest Vergleich der L->R und R->L Disparitäten
Ersetzen der unzuverlässigen Disparitäten
Schneller hybrider Disparitätsschätzer 13Nicole Brandenburg and Serap Askar
Segmentierung der Hände mittels Hautfarbe
Segmentierung innerhalb der Bounding Boxen
Tracking der Bounding Boxen
Hautfarbensegmentierung mit Region Growing Tracken der
Bounding Boxen
Unterabtastung
Bounding Boxen
Schneller hybrider Disparitätsschätzer 14Nicole Brandenburg and Serap Askar
Segmentgestützte Nachverarbeitung
Disparitäten Handmaske
Disparitäten
Handmaske
Verwendung von Disparitäten des gleichen Objekts
Disparitätssprünge bleiben erhalten
Schneller hybrider Disparitätsschätzer 15Nicole Brandenburg and Serap Askar
Dense Field Interpolation
Segmentgestütztes Interpolieren der Disparitäten
sparse field 4x4
dense field
Schneller hybrider Disparitätsschätzer 16Nicole Brandenburg and Serap Askar
Experimentelle Ergebnisse ohne
NachverarbeitungEinfache
NachverarbeitungSegmentgestützteNachverarbeitung
Schneller hybrider Disparitätsschätzer 17Nicole Brandenburg and Serap Askar
Experimentelle Ergebnisseohne
Nachverarbeitungeinfache
NachverarbeitungsegmentgestützteNachverarbeitung
Schneller hybrider Disparitätsschätzer 18Nicole Brandenburg and Serap Askar
Rechenzeiten für ITU-Rec. 601, 25 Hz, 1:1
Zeiten enthalten: a) unabhängige L R and R L Schätzung
b) Konsistenztest
c) Interpolation der unzuverlässigen Disparitäten
----8x8
< 40 ms4x4
Zielaktuell
Pentium III, 700 MHz
87 ms
22 ms
Rastergröße
Schneller hybrider Disparitätsschätzer 19Nicole Brandenburg and Serap Askar
Zusammenfassung Schneller hybrider Disparitätsschätzer
Blockrekursion : Auswahl aus drei Kandidaten
Pixelrekursion : Nutzung des optischen Flusses
Nachverarbeitung
Verwerfen unzuverlässiger Disparitäten
Segmentgestütztes Füllen der Löcher
Segmentgestützte Dense Field Berechnung
Echtzeitfähigkeit
Echtzeitfähig für ein 8x8 Grid, optimierbar für 4x4
Schneller hybrider Disparitätsschätzer 20Nicole Brandenburg and Serap Askar
Ende