Embed Size (px)
Citation preview
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
1
Jet-Extraktion für Facial AnimationJet-Extraktion für Facial Animation
-10-5
05
10
-10
-5
0
5
10-0.1
-0.05
0
0.05
0.1
0.15
-10-5
05
10
-10
-5
0
5
10-0.2
-0.1
0
0.1
0.2
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
2
GliederungGliederung
Einordnung der Arbeiten
Gabortransformation als Grundlage von Jets
Jets als Ähnlichkeitsmaß zur Bewegungsschätzung
Optimierung durch Filterreduktion
Ergebnisse der Merkmalsverfolgung
Zusammenfassung
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
3
Facial Animation Coding in MPEG-4Facial Animation Coding in MPEG-4
Translation und Rotation
Lokale Deformation(Skalierung u. Mimik)
Suche derGesichtsregion
Analyse derGesichtsmerkmaleAusgangsvideo
Generierung derFDP/FAP
VideoVideo VideoVideoAnalyseAnalyse SyntheseSyntheseKanalKanal
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
4
Elastic Bunch Graph MatchingElastic Bunch Graph Matching
Jet, bestehend aus 12 Gabor-Wavelets (4 Orientierungen bei 3 unterschiedlichen Größen)
Labeled Graph
Gabor-Wavelets
Laurenz Wiskot, Christoph von der Malsburg, Thomas Maurer
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
5
GabortransformationGabortransformation
-15 -10 -5 0 5 10 15
0
0.2
0.4
0.6
0.8
1
A
-10 -8 -6 -4 -2 0 2 4 6 8 10-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
biologisch motivierte Faltungskernerobust gegen leichte Rotation in der Bildebenerobust gegen Translation und Skalierung
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
6
GabortransformationGabortransformation
-10-5
05
10
-10
-5
0
5
10-0.1
-0.05
0
0.05
0.1
0.15
-10-5
05
10
-10
-5
0
5
10-0.2
-0.1
0
0.1
0.2
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
7
GabortransformationGabortransformation
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
8
Gabortransformation vs. Template MatchingGabortransformation vs. Template Matching
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
9
Gabortransformation vs. Template MatchingGabortransformation vs. Template Matching
0 20 40 6080
100 1200
1
2
3
4
Template MatchingJet mit variablen Filtern
Bild der Sequenz
Äh
nlic
hk
eits
maß
d
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
10
Gabortransformation vs. Template MatchingGabortransformation vs. Template Matching
Jet-Extraktion Template Matching
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
11
Reduktion der FilterkerneReduktion der Filterkerne
Berechnung der globalen Spektralanteile des BildesBerechnung der Gabor-Filterparameter
a 00nxnya 10nxny
a 01nxnya 11nxny
a 00nxnya 10nxny
a 20nxny
a 01nxnya 11nxny
a 21nxny
a 30nxny
a 31nxny
a 02nxnya 12nxny
a 22nxnya 32nxny
a 03nxnya 13nxny
a 23nxnya 33nxny
Berechnung der spektralenMerkmalskontraste
Spitzenwertdetektion
Berechnung der spektralenMerkmalskontraste
Spitzenwertdetektion
i = 1 i = 2
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
12
Filterzahl und FiltergrößeFilterzahl und Filtergröße
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
13
Performance von angepaßten FilterkernenPerformance von angepaßten Filterkernen
20 40 60 80 100 1200
1
2
3
4
Bild der Sequenz
merkmalsbasierende Jetsfeste Jets
Äh
nli
chk
eits
maß
d
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
14
Performance von angepaßten FilternPerformance von angepaßten Filtern
20 40 60 80 100 1200
1
2
3
Bild der Sequenz
Äh
nli
chke
itsm
aß d
Jet aus 40 festen FilternJet aus 30 variablen FilternJet aus 20 variablen FilternJet aus 10 variablen Filtern
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
15
Reduktion der FilterkerneReduktion der Filterkerne
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
16
Zeitliche Stabilisierung über KalmanfilterZeitliche Stabilisierung über Kalmanfilter
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau Jet-Extraktion für Facial AnimationD. Albrecht
Hamburg, 30.11.2001
17
ZusammenfassungZusammenfassung
Betrachtung als eine erfolgversprechende Technologie
ähnliche Probleme wie andere Technologien (Wandern
auf Kanten, zeitliche Stabilisierung notwendig)
relativ stabil gegen Beleuchtungsänderungen
im Verbund mit anderen Verfahren zur Merkmals-
extraktion zu behandeln
Notwendigkeit von weiteren Forschungsaktivitäten zur
Systemintegration
