Ähnlichkeitssuche durch Gestaltcharakterisierung auf 3D Datenbanken

Ähnlichkeitssuche durch Ähnlichkeitssuche durch Gestaltcharakterisierung auf 3D Gestaltcharakterisierung auf 3D

DatenbankenDatenbanken

Daniel A. Keim, Dietmar Saupe,

Benjamin Bustos, Tobias Schreck, Dejan V. Vranić

Multimedia Signal Processing Group (SA 449/10-1)

Prof. Dr. Dietmar Saupe

Dr. Dejan V. Vranić (WissAng, 04/2002-03/2004)

Databases, Data Mining and Visualization Group (KE 740/6-1)

Prof. Dr. Daniel Keim

Tobias Schreck (WissAng, Beginn: 11/2002)

Benjamin Bustos (Forschungsstudent, Beginn: 10/2002)

Universität Konstanz, FB Informatik und Informationswissenschaft

Projektteilnehmer

Projektüberblick

• Featuredefinition und Evaluierung• Selektion und Kombination von Feature Vektoren• Effiziente Anfragebearbeitung • SOM-basiertes Retrievalsystem

1. Featuredefinition und Evaluierung (1)

• FV Extraktion

– Normalisierung: PCA-Varianten– Geometriebasiert: Volumina, Voxelisierung, Momente, Funktionen auf

der Kugelfläche– Bildbasiert: Silhouette und Tiefenpuffer– Representation im Orts- und im Frequenzbereich

• Untersuchte Eigenschaften

– Invarianz bzgl. Translation, Rotation, Skalierung– Robustheit bzgl. Auflösung– Robustheit bzgl. Rauschen– Effizienz der Featureextraktion– Effektivität des Retrieval

1. Featuredefinition und Evaluierung (2)

Rotationsinvarianz und Kugelfunktionen bzgl. verschiedenen Radien

D. VRANIC: An Improvement of Rotation Invariant 3D Shape Descriptor Based on Functions on Concentric Spheres.IEEE International Conference on Image Processing (ICIP 2003) (Barcelona, Spain, September 2003).

Funkhouser et al (2003)

Vranic (2003)

1. Featuredefinition und Evaluierung (3)

Experimentelle Untersuchungen:- Im Durchschnitt gute Retrievalqualität durch PCA-gestützte und

bildbasierte Verfahren

- Kein klarer Gewinner über alle Objektklassen hinweg

- Effiziente Extraktion möglich

B. BUSTOS, D. KEIM, D. SAUPE, T. SCHRECK, D.VRANIC: An Experimental Comparison of Feature-Based 3D Retrieval Methods. Poster Paper.2nd International Symposium on 3D Data Processing, Visualization, and Transmission (3DPVT’04) (Thessaloniki, Greece, September 2004).

1. Featuredefinition und Evaluierung (4)

Dissertation von Dejan Vranić 12/2003:

• Definition und Implementierungsdetails zu 12 Algorithmen• Vergleich mit 7 konkurrierenden Verfahren• Sensitivitätsanalysen• Statische Kombinationen• Evaluierung auf 4 Referenzdatenbanken

D. VRANIC: 3D Model Retrieval (PhD Thesis), University Leipzig, 2004

2. Selektion und Kombination (1)

Feature Selektionsproblem

2. Selektion und Kombination (2)

Idee:- Schätze erwartete Retrievalqualität auf einer Testdatenbank- Selektiere oder Kombiniere anhand des Schätzwertes

Indikatorfunktionen:- Entropie- Purity (max. Klassengröße)

B. BUSTOS, D. KEIM, D. SAUPE, T. SCHRECK, D. VRANIC: Automatic Selection and Combination of Descriptors for Effective 3D Similarity Search. IEEE International Workshop on Multimedia Content-based Analysis and Retrieval (MCBAR’2004) (Miami, Florida, USA, December 2004).

k = 7

Ranking

2. Selektion und Kombination (3)

Dynamische Selektion:

- Selektiere FV, der den Indikator maximiert- Verbesserung gegenüber Depth Buffer FV- Robustes k-Intervall

B. BUSTOS, D. KEIM, D. SAUPE, T. SCHRECK, D. VRANIC: Using Entropy Impurity for Improved 3D Object Similarity Search.IEEE International Conference on Multimedia and Expo (ICME’04) (Taipei/Taiwan, June 2004).

2. Selektion und Kombination (4)

Dynamische Kombination:

- Nutze Indikator zur Bildung einer gewichteten Kombination- 30% Verbesserung gegenüber Depth Buffer FV- Dynamische Kombination nahe an optimaler Selektion

3. Effiziente Anfragebearbeitung (1)

• Effizienzproblem: – Hochdimensionale Featurevektoren (>100d je FV) Curse of

dimensionality– Dynamische Gewichtung von Kombinationen Struktur der

Distanzfunktion variabel Räumliche Indexierungstechniken (R-Tree, X-Tree, SS-Tree ...) versagen

• Idee:- Verwende Pivot-basierte metrische Indexstruktur- Erzeuge zur Anfragezeit die Distanzmatrix Dq : P x (DB-P) aus der

Menge gegebener FV-spezifischer Distanzmatrizen- Verwende Dq zur Reduktion der Kandidatenmenge

B. BUSTOS, D. KEIM, T. SCHRECK: A pivot-based index structure for combination of feature vectors.20th Annual ACM Symposium on Applied Computing, Multimedia & Visualization Track (SAC-MMV'05) (Santa Fe, New Mexico, March 2005)

3. Effiziente Anfragebearbeitung (2)

Evaluierung auf 2 Hauptspeicherbasierten Datenbanken:

- Ausschlussbedingung greift (Selektivität gut)- Speedup Faktoren von bis zu 7 gegenüber dem sequentiellen Scan möglich

Experiment:

4 Featurevektoren, total 89d

4. Interaktives Retrievalsystem (1)

B. BUSTOS, D. KEIM, C. PANSE, T. SCHRECK: 2D Maps for Visual Analysis and Retrieval in Large Multi-Feature 3D Model Databases. Poster Paper.IEEE Visualization Conference (VIS’2004) (Austin, Texas, USA, October 2004).

Selbstorganisierende Karte (SOM) als Überblicksinstrument

Smoothed density histogram

4. Interaktives Retrievalsystem (2)

SOM als Anfrageinstrument

Response surface

U-Matrix

4. Interaktives Retrievalsystem (3)

SOM in der FV Evaluierung

U-Matrizen zu vier verschiedenen Featurevektoren

Markierung:

Best matching units zu einer Anfrageklassse mit 26 Objekten

Danksagung

Ende

Vielen Dank für Ihre Aufmerksamkeit!

Fragen?

Ausgewählte PublikationenB. BUSTOS, D. KEIM, T. SCHRECK: A pivot-based index structure for combination of feature vectors,

Proc. 20th Annual ACM Symposium on Applied Computing, Multimedia & Visualization Track (SAC-MMV'05)", to appear 2005

B. BUSTOS, D. KEIM, C. PANSE, T. SCHRECK: 2DMaps for Visual Analysis and Retrieval in Large Multi-Feature 3D Model Databases. In IEEE Visualization Conference (VIS’2004), Poster Paper (Austin, Texas, USA, October 2004).

B. BUSTOS, D. KEIM, D. SAUPE, T. SCHRECK, D. VRANIC: Automatic Selection and Combination of Descriptors for Effective 3D Similarity Search. In IEEE International Workshop on Multimedia Content- based Analysis and Retrieval (MCBAR’2004) (Miami, Florida, USA, December 2004).

B. BUSTOS, D. KEIM, D. SAUPE, T. SCHRECK, D. VRANIC: Using Entropy Impurity for Improved 3D Object Similarity Search. In Proc. IEEE International Conference on Multimedia and Expo (ICME’04) (Taipei/Taiwan, June 2004).

B. BUSTOS, D. KEIM, D. SAUPE, T. SCHRECK, D.VRANIC: An Experimental Comparison of Feature-Based 3D Retrieval Methods. In Second International Symposium on 3D Data Processing, Visualization, and Transmission (3DPVT’04) (Thessaloniki, Greece, September 2004).

D. VRANIC: An Improvement of Rotation Invariant 3D Shape Descriptor Based on Functions on Concentric Spheres. In Proceedings of the IEEE International Conference on Image Processing (ICIP 2003) (Barcelona, Spain, September 2003), vol. III, pp. 757–760.

D. VRANIC: 3D Model Retrieval (PhD Thesis), University Leipzig, 2004