Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann

1

1/27

Martina Fröhlich - Simulation der Mimik

Simulation der Mimik

Mimic Morphing

Emotionssensitive Avatare

2/27


Inhaltsangabe

• Anwendungsbeispiele

• Probleme

• Methoden/Techniken

-videobasierende Techniken

-modellbasierende Techniken

• Zusammenfassung

• Blick in die Zukunft

2

3/27


Anwendungsbeispiele

Darsteller in ComputerspielenVirtuelle Nachrichtensprecherin

Synface – Gesicht hilft Schwerhörigen

4/27


Sonstige Anwendungsgebiete

• Virtuelle Lehrer

• Virtuelle Kundenbetreuer

• Darsteller in computeranimierten Filmen

• Avatare in der virtuellen Realität

• Medizinische Modelle zur Operationsplanung

3

5/27


Inhaltsangabe


• Probleme




• Zusammenfassung


6/27


Probleme

• Es muss möglichst echt wirken:

- Gesichter sollen natürlich aussehen- Bewegungen müssen fließend ablaufen- Emotionen müssen realistisch dargestellt werden

• Es darf nicht zuviel Rechnerkapazität beanspruchen

4

7/27


Inhaltsangabe


• Probleme




• Zusammenfassung


8/27


Die 6 Basisemotionen

5

9/27


Facial Action Coding System

• Von Ekman und Friesen 1978 eingeführt

• 64 Action Units (AU`s)

• Gesichtsausdrücke aus Teilbewegungen aufgebaut

Bsp.: - Heben der Augenbraue

- Senken der Mundwinkel

- Neigen des Kopfes

10/27


Morphing

• Manuell festgelegte Orientierungspunkte werden ineinander überführt

6

11/27


Concatenation

• Gesichter werden in definierte Abschnitte unterteilt und können beliebig neu zusammengefügt werden

12/27


Statistische Modelle

• Pixel einer Bitmap über Dimensionen dargestellt

• Bild mit 512 * 512 Pixeln entspricht einem

262 144 - dimensionalen Vektor

• Reduzierung des Vektorraumes über Principal Component Analyse

7

13/27


Video-Rewrite-System

• Eingeführt von Bregler et al. (1997)

• Vorhandene Videosequenz bleibt unverändert, nur Mundregion wird angepasst

• Sprache in Form von Triphonen eingebaut

• Eigenpoint-Model

• Morphing

14/27


Eigenpoint-Modell

8

15/27


Inhaltsangabe


• Probleme




• Zusammenfassung


16/27


Modellbasierte Systeme -Grundlagen

• Polygon-Modell

• Subdivision/ Metanurbs

• Metaballs/ Metashapes

• Splines

• NURBS

• Tesselation

9

17/27


Polygon-Modell

18/27


Interpolation

• Knoten in verschiedenen Gesichtsausdrücken werden gespeichert und ineinander überführt

• Lineare Interpolation

��

• Non-Lineare Interpolation

10

19/27


Direkte Parameterisation

• Positionsänderungen der Knoten basieren auf einfachen geometrischen Berechnungen

• Bewegungen über verschiedene Parameter gespeichert

• Parameter in zwei Kategorien eingeteilt

- Bewegungen

- Grundlegende Gesichtsformen

20/27


Datengesteuerte Anwendungen

• Laserbasierendes Scannen

• Projektionstechniken

• Motion Capturing

- Face Tracking

11

21/27


Bilderfassungssysteme

22/27


Muskuläre und Pseudomuskuläre Modelle

• Direkte Parameterisation, tatsächliche Muskelstruktur als Basis für Berechnungen

• Thalmann und Kalra (pseudomuskulär) -Freiformdeformationen

• Water`s Muskelmodell – verschiedene Muskeln

• Platt und Badler - Oberflächenspannung

• Lee (Spring-Mass-Model)

12

23/27


Spring-Mass-Model

• Dreischichtiges Hautmodell

• Knoten stellen Massepunkte dar, die über Federn miteinander verbunden sind

24/27


Inhaltsangabe


• Probleme




• Zusammenfassung


13

25/27


Zusammenfassung

• Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann

• Die Optimale ist abhängig davon, welche Funktion das Gesicht erfüllen soll

• Oft werden mehrere Techniken kombiniert, um zum Ziel zu kommen

26/27


Inhaltsangabe


• Probleme




• Zusammenfassung


14

27/27


Blick in die Zukunft

• Das A und O : mehr Rechnerkapazität

Documents

Simulation der Mimik-Präsentation[1] · 13 25/27 Martina Fröhlich - Simulation der Mimik Zusammenfassung • Es gibt verschiedene Techniken, mit denen man Mimik simulieren kann