Virtuelle Charaktere - · NPC (non-player character) ... 10 und 80 verschiedene Phonemen (Deutsch ca. 40)

© Virtuelle Präsenz WS08/09, Uni Ulm

Kapitel 6

Virtuelle Charaktere


6

InhaltVi

rtue

lle C

hara

kter

e

● Einleitung● Mimik● Gestik


6.1

Avatare und FreundeAv

atar

e un

d Fr

eund

e

● Kategorien von virtuellen Charakteren– Repräsentant einer realen Person– autonomer Charakter gesteuert durch den Computer

● Wichtige Eigenschaften– Mimik und Gestik synchron zur Sprache– zusätzliches Verhalten bei autonomen Charakteren

(natürlich, emotional und intelligent)


6.1

Avat

are

und

Freu

nde

● Avatar– 2D/3D Repräsentant einer

natürlichen Person in einervirtuellen Umgebung

● Softbot– Software und Robot, Programme, die mit dem

Benutzer kommunizieren

● NPC (non-player character)– beleben virtuelle Welten– eigenständige vom Computer gesteuerte Charaktere


6.1

Avat

are

und

Freu

nde

● Software Guides– Weiterentwicklung der Hilfefunktion– Analyse des Benutzerverhaltens →Tipps

● Chatbots– Programme, mit denen man sich

in Grenzen unterhalten kann

● Assistenten– Ziel: Ersatz von menschlicher Assistenz– z.B.: Virtual Guido

(http://www.gebaerden.hamburg.de/)

http://www.gebaerden.hamburg.de/


6.2

MimikM

imik

● Allgemeines– Mimik: sichtbare Bewegung der Gesichtsoberfläche– läuft oft in Sekundenbruchteilen ab– Ausdruck von Emotionen, Intuition, ...– gibt Aufschluss über individuelle Eigenschaften eines

Menschen– kann wichtiger Bestandteil

der non-verbalenKommunikation sein


6.2

Mim

ik

● Phonem– jeder Laut, der erzeugt wird, ist ein Phonem– Natürliche menschliche Sprache beinhaltet zwischen

10 und 80 verschiedene Phonemen (Deutsch ca. 40)● Visem

– jedem Phonem wird ein Visem zugeordnet– spiegelt Lippenstellung wider– Synchronisation von Sprache und Lippen– Beispiel: „Talking Heads“

A E O U F L


6.2

Mim

ik

● FACS (Facial Action Coding System)– Standardklassifikation der mimischen

Muskelbewegungen– Aufteilung der

Gesichtsbewegungin Action Units (AU)

– Gesichtsausdrückedurch Kombinationvon AUs

AU12 + 25 AU20 + 25


6.2

Mim

ik

● Morphing– nahtloser Übergang von einem

Quellbild in ein Zielbild

● Datenerfassung– punktweise Digitalisierung– Tracking Modell– 3D-Laserscanner– CRT / MRT– Stereoskopische Aufnahmen– Fotoaufnahmen


6.2

ModellierungM

imik

● Konkatenatives Modell– basiert auf real aufgenommenen Videobildern– Vorteil: hochqualitative Aufnahmen, einfache Erstellung– Nachteil: Gesichtsausdrücke nur möglich, wenn Bild

vorhanden ist, Kopfhaltung bleibt statisch– Übergange werden mittels Morphing realisiert– Beispiel: MikeTalk (MIT)


6.2

Mim

ik

● Beispiel MikeTalk (MIT)– für jedes Visem muss ein Bild vorhanden sein


6.2

Mim

ik

● Beispiel MikeTalk (MIT)– für jedes mögliche Paar von Visemen wird ein

Übergang definiert


6.2

Mim

ik

● Beispiel MikeTalk (MIT)– Abbildungsalgorithmus

● forward wraping von Bild0 nach Bild1● forward wraping von Bild1 nach Bild0● morphing der entstandenen Bildpaare● Ausfüllen der „Löcher“, undefinierte Pixel


6.2

Mim

ik



6.2

Mim

ik

● Parametrisches Modell– Festlegung einer geeigneten Menge von Parametern

● Struktur und Gestalt eines individuellen Gesichts ● Ausdruck von Emotionen

– Face Mesh● Menge von Polygonen, z.B. durch 3D-Scanner● bestimmte Gesichtsausdrücke durch Setzen der

Parameter festlegen● Problem: weiche

Übergänge

→Meshdeformation


6.2

Mim

ik

● Tracking Modell– Erkennung der Mimik durch

Software– Übertragung auf Animation

– definierte Referenzpunkte ermöglichen es die Animation im Raum zu bewegen


6.2

Mim

ik

● Anatomisches Modell– Aufteilung des Modells in

● Knochen (starres Polygonnetz)● Haut (flexibles Polygonnetz)● Muskel (verbinden einen oder mehrere Hautpunkte

mit einem Knochen, elastisch)


6.2

Mim

ik

● MPEG-4– MPEG = Movie Picture Experts Group– MPEG-1/2

● blockbasierte Bildkompression

– MPEG-4● Erweiterung um modell-orientierte Kodierung● Szenengraph einmal zum Empfänger übertragen● anschließend nur nach Transformation, Deformation● Bandbreite von 2 Kbit/s ausreichend

(für rein modell-basierten Strom)


6.2

Mim

ik

● Binary Format For Scene (BIFS)– beschreibt räumliche-zeitliche Komposition von

Medienobjekten– synthetische Objekte: geom. Figuren, Texturen,

Beleuchtung– natürliche Objekte: Stream-Objekte für Video u. Audio– zusätzlich Sensoren für Interaktivität– angelehnt an VMRL (aber binär)– Modelle für Gesicht (Mimik) und Körper (Gestik)


6.2

Mim

ik

● Gesichtsanimation– Face Feature Points (FFP)

● insgesamt 84 FFPs● Position für jedes

Gesichtsmodell relevant● sind Referenzpunkte für

Facial Animation Parameters● FFPs definieren neutrales Gesicht

– Blick in Richtung z-Achse– Gesichtsmuskeln entspannt– Augenlider berühren Iris– Lippen in Kontakt,...


6.2

Mim

ik

● Face Definition Parameters (FDP)– definieren individuelles Gesicht als

Polygonnetz– Gesichtstextur und

Face Animation Table (FAT)● Facial Animation Parameters (FAP)

– erzeugen synthetischen Gesichtsaustdruck– jeder FAP korrespondiert zu einer Aktion, die

Merkmalpunkte (FFP) bewegt● Face Animation Table (FAT)

– Definiert, wie sich ein Eckpunkt bewegt, in Bezug auf eine Bewegung jeden FFPs


6.2

Mim

ik

● Gesichtsanimationsparameter– 68 FAPS zur Repräsentation verschiedenster

Gesichtanimationen

Beispiel: 6 Grundemotionen


Gestik6.

3G

estik

● Allgemeines– Gestik: kommunikative Bewegungen insbesondere der

Arme und der Hände, teil der non-verbalen Kommunikation

– Typologie: ● ikonische Gesten● deiktische Gesten● lexikalisierte Gesten● koverbale Gesten


6.3

Ges

tik

● Beispiel: ikonische Geste– Ägypten: „Bitte sind Sie geduldig.“– Italien: „Was meinen Sie genau?“– Griechenland: „Das ist perfekt.“

● Herausforderung– Erkennen von Gesten– realistische Animation von Gesten– automatischen Generieren von Gesten

(inhaltsabhängig)


6.3

Ges

tik

● Gestikerkennung– Datenhandschuh

– Bildbasierte Erkennung (z.B. durch neuronales Netz)

Anwendung: ● SIVIT (Siemens Virtual Touchscreen)● 3D-Kiosksystem (Firma Rittal, 2005)


6.3

Ges

tik

● Animation von Gesten– vordefinierte Animation (z.B. durch Motion Capturing

oder durch 3D-Modellierungsprogramme)● Keyframe-Animationen

– prozedurale Animationen– Kombination von vordefinierten Animation und

prozeduralen Animationen

Keyframe-Animation


6.3

Ges

tik

● Kinematik– Kinematik = Bewegung– Kinematische Kette: starre Körper verbunden durch

Gelenke– Kette beginnt mit Elternteil– Kind ist über Gelenk mit Elternteil verbunden– bewegt sich das Elternteil, dann bewegen sich die

Kindteile ebenfalls


6.3

Ges

tik

● Vorwärtsgerichtete Kinematik– Stellung der einzelnen Gelenke der Kettenglieder

vorgegeben– daraus kann Lage des letzten Gliedes eindeutig

berechnet werden


6.3

Ges

tik

● Inverse Kinematik– Lage des letzten Gliedes der Kette ist bekannt– daraus berechnen sich die Winkel aller Gelenke– aufgrund der vielen möglichen Gelenkstellung ist es

nicht einfach natürliche aussehende Bewegungen zu erzeugen


6.3

Ges

tik

● Vertex Skinning– Skelett (Bones)

● unsichtbares hierarchisches Knochengerüst● definierte Drehpunkte, entsprechen Drehpunkte

– Skin (Haut)● Polygonnetz über Skelett legen● jeder Vertex ist mindestens einem Knochen

zugeordnet● Einfluss der Knochenstellung auf die Vertizes ist

gewichtet


6.3

Ges

tik

● Vertex Skinning Fortsetzung– Animation ändert die Stellung der Knochen

→Haut wird dementsprechend deformiert


6.3

Ges

tik

● H-Anim Standard= Humanoid Animation (www.h-anim.org)

– spezifiziert Datenstruktur für Körpermodelle– Algorithmen zur Bewegungsmodellierung nicht definiert– basiert auf VRML97, aber allgemein verwendet– Erstellung:

● H-Anim Werkzeuge, z.B. Virtock VizX3D ● fertige Modelle unter www.h-anim.org/Models● Modellierungswerkzeuge, z.B. 3D Studio Max, Maya

(Export nach VRML, danach konvertieren)

http://www.h-anim.org/

http://www.h-anim.org/Models


6.3

Ges

tik

● Modellierung in definierter Grundposition– Aufrecht stehende Position– Blick in Richtung z-Achse– Füsse nach vorne, Arme seitlich platziert


6.3

Ges

tik

● Knotentypen– Grundtypen:

● Humanoid: Wurzel● Segment: Körperteil /

Knochen● Joint: Gelenk / Verweis

auf Hautnetz– erweiterte Typen:

● Site: def. Ort relativ zu Segment, z.B. für Kleidung, Schmuck, ...


6.3

Ges

tik

● MPEG-4: Körperanimation– ähnlich der Gesichtsanimation– Body Definition Parameters (BDP)

● def. individuellen Körper mit Polygonnetz und Texturen

● korrespondiert mit VRML H-Anim Standard

● Knochen, Gelenke, Haut (Polygonnetz)


6.3

Ges

tik

● Body Animation Parameter (BAP)– erzeugen bestimmte Bewegungen und Gesten– ändern Winkel von Gelenken– übertragbar auf andere Körpermodelle



Kapitel 6

Virtuelle Charaktere



6Inhalt

Virt

uelle

Cha

rakt

ere

● Einleitung● Mimik● Gestik



6.1

Avatare und FreundeAv

atar

e un

d Fr

eund

e

● Kategorien von virtuellen Charakteren– Repräsentant einer realen Person– autonomer Charakter gesteuert durch den Computer

● Wichtige Eigenschaften– Mimik und Gestik synchron zur Sprache– zusätzliches Verhalten bei autonomen Charakteren

(natürlich, emotional und intelligent)

Verhalten der autonomen Charaktere abhängig von der Implementierung der „Künstlichen Intelligenz“



6.1

Avat

are

und

Freu

nde

● Avatar– 2D/3D Repräsentant einer

natürlichen Person in einervirtuellen Umgebung

● Softbot– Software und Robot, Programme, die mit dem

Benutzer kommunizieren

● NPC (non-player character)– beleben virtuelle Welten– eigenständige vom Computer gesteuerte Charaktere

Im Hinduismus bedeutet Avatar eine Gottheit, die freiwillig eine physische Gestalt annimmt, um an der Schöpfung teilzunehmen

Begriff Softbot als Sammelbegriff für alle virtuellen Charaktere, die nicht von einer natürlichen Person gesteuert werden. Softbots aber auch als „intelligente Agenten“ die z.B. im Internet Daten sammeln, usw.



6.1

Avat

are

und

Freu

nde

● Software Guides– Weiterentwicklung der Hilfefunktion– Analyse des Benutzerverhaltens →Tipps

● Chatbots– Programme, mit denen man sich

in Grenzen unterhalten kann

● Assistenten– Ziel: Ersatz von menschlicher Assistenz– z.B.: Virtual Guido

(http://www.gebaerden.hamburg.de/)

Chatbots oftmals als „Gesicht“ einer Firma, Organisation, Institut,...



6.2

MimikM

imik

● Allgemeines– Mimik: sichtbare Bewegung der Gesichtsoberfläche– läuft oft in Sekundenbruchteilen ab– Ausdruck von Emotionen, Intuition, ...– gibt Aufschluss über individuelle Eigenschaften eines

Menschen– kann wichtiger Bestandteil

der non-verbalenKommunikation sein

Der Gesichtsausdruck beruht im Wesentlichen auf der Kontraktion der mimischen Muskulatur und wird besonders durch Augen und Mund als die beweglichsten Teile des Gesichts hervorgebracht.

Mimische Kommunikation und Interaktion ist sozial bedeutsamer, als es die auffälligere und besser dokumentierbare Sprache vermuten lässt.

Beispiele:Stirn runzeln: TadelNase rümpfen: Ekel, Abscheujemanden angähnen: jemanden zum

Langweiler erklären



6.2

Mim

ik

● Phonem– jeder Laut, der erzeugt wird, ist ein Phonem– Natürliche menschliche Sprache beinhaltet zwischen

10 und 80 verschiedene Phonemen (Deutsch ca. 40)● Visem

– jedem Phonem wird ein Visem zugeordnet– spiegelt Lippenstellung wider– Synchronisation von Sprache und Lippen– Beispiel: „Talking Heads“

A E O U F L

Das Phonemkonzept taucht erstmals in den Arbeiten von Jan Niecislaw Baudouin de Courtenay (1845-1929) auf, wurde aber vor allem durch die Weiterentwicklungen von Nikolai Trubetzkoi (1890-1938) bekannt.

Untersuchungen zeigen, dass für das Verstehen von gesprochener Sprache, sowohl die Phonem als auch die Visemen eine Bedeutung spielen.

Visemen finden vor allem beim „Lippenlesen“ großen Einfuss,



6.2

Mim

ik

● FACS (Facial Action Coding System)– Standardklassifikation der mimischen

Muskelbewegungen– Aufteilung der

Gesichtsbewegungin Action Units (AU)

– Gesichtsausdrückedurch Kombinationvon AUs

AU12 + 25 AU20 + 25

Durch die Aufteilung des Gesichts in Action Units bedarf es keiner verbalen Beschreibung des Gesichtsausdruckes mehr. Er kann ohne Bedeutungszuordnung codiert werden.

Für einen einzelnen Gesichtsausdruck können bis zu 20 Action Units kombiniert werden.



6.2

Mim

ik

● Morphing– nahtloser Übergang von einem

Quellbild in ein Zielbild

● Datenerfassung– punktweise Digitalisierung– Tracking Modell– 3D-Laserscanner– CRT / MRT– Stereoskopische Aufnahmen– Fotoaufnahmen

Morphing Vorgehensweise:- festlegen von Quell- und Zielbild- festlegen von korrespondierende Referenzpunkten in beiden Bildern- Interpolation zwischen Referenzpunkten

- Bestimmen der Pixeleigenschaften im Zwischenbild- Mischen der Pixeleigenschaften in Abgängigkeit der gewünschten Interpolationsschritte



6.2

ModellierungM

imik

● Konkatenatives Modell– basiert auf real aufgenommenen Videobildern– Vorteil: hochqualitative Aufnahmen, einfache Erstellung– Nachteil: Gesichtsausdrücke nur möglich, wenn Bild

vorhanden ist, Kopfhaltung bleibt statisch– Übergange werden mittels Morphing realisiert– Beispiel: MikeTalk (MIT)



6.2

Mim

ik

● Beispiel MikeTalk (MIT)– für jedes Visem muss ein Bild vorhanden sein



6.2

Mim

ik

● Beispiel MikeTalk (MIT)– für jedes mögliche Paar von Visemen wird ein

Übergang definiert



6.2

Mim

ik


● forward wraping von Bild0 nach Bild1● forward wraping von Bild1 nach Bild0● morphing der entstandenen Bildpaare● Ausfüllen der „Löcher“, undefinierte Pixel



6.2

Mim

ik




6.2

Mim

ik

● Parametrisches Modell– Festlegung einer geeigneten Menge von Parametern

● Struktur und Gestalt eines individuellen Gesichts ● Ausdruck von Emotionen

– Face Mesh● Menge von Polygonen, z.B. durch 3D-Scanner● bestimmte Gesichtsausdrücke durch Setzen der

Parameter festlegen● Problem: weiche

Übergänge

→Meshdeformation

Menge von Parametern:- Farbe- relative Größe der Gesichtsteile- Augen: Pupille, Lid, Blickrichtung, Brauen- Mund: Öffnung, Ausdruck, Mundwinkel, Kiefer- Kopfposition



6.2

Mim

ik

● Tracking Modell– Erkennung der Mimik durch

Software– Übertragung auf Animation

– definierte Referenzpunkte ermöglichen es die Animation im Raum zu bewegen



6.2

Mim

ik

● Anatomisches Modell– Aufteilung des Modells in

● Knochen (starres Polygonnetz)● Haut (flexibles Polygonnetz)● Muskel (verbinden einen oder mehrere Hautpunkte

mit einem Knochen, elastisch)

Anatomisches Modell ist sehr realitätsnah, jedoch ist ein hoher Rechenaufwand von Nöten.



6.2

Mim

ik

● MPEG-4– MPEG = Movie Picture Experts Group– MPEG-1/2

● blockbasierte Bildkompression

– MPEG-4● Erweiterung um modell-orientierte Kodierung● Szenengraph einmal zum Empfänger übertragen● anschließend nur nach Transformation, Deformation● Bandbreite von 2 Kbit/s ausreichend

(für rein modell-basierten Strom)

MPEG-4 definiert Standards für:- audio, visuellem und audiovisuellem Inhalt (natürlich oder synthetisch) → Media Objekte- Komposition dieser Media Objekte- Transport dieser Objekte über das Netzwerk (Quality of Service)- Interaktion mit diesen Objekten



6.2

Mim

ik

● Binary Format For Scene (BIFS)– beschreibt räumliche-zeitliche Komposition von

Medienobjekten– synthetische Objekte: geom. Figuren, Texturen,

Beleuchtung– natürliche Objekte: Stream-Objekte für Video u. Audio– zusätzlich Sensoren für Interaktivität– angelehnt an VMRL (aber binär)– Modelle für Gesicht (Mimik) und Körper (Gestik)



6.2

Mim

ik

● Gesichtsanimation– Face Feature Points (FFP)

● insgesamt 84 FFPs● Position für jedes

Gesichtsmodell relevant● sind Referenzpunkte für

Facial Animation Parameters● FFPs definieren neutrales Gesicht

– Blick in Richtung z-Achse– Gesichtsmuskeln entspannt– Augenlider berühren Iris– Lippen in Kontakt,...



6.2

Mim

ik

● Face Definition Parameters (FDP)– definieren individuelles Gesicht als

Polygonnetz– Gesichtstextur und

Face Animation Table (FAT)● Facial Animation Parameters (FAP)

– erzeugen synthetischen Gesichtsaustdruck– jeder FAP korrespondiert zu einer Aktion, die

Merkmalpunkte (FFP) bewegt● Face Animation Table (FAT)

– Definiert, wie sich ein Eckpunkt bewegt, in Bezug auf eine Bewegung jeden FFPs



6.2

Mim

ik

● Gesichtsanimationsparameter– 68 FAPS zur Repräsentation verschiedenster

Gesichtanimationen

Beispiel: 6 Grundemotionen



Gestik6.

3G

estik

● Allgemeines– Gestik: kommunikative Bewegungen insbesondere der

Arme und der Hände, teil der non-verbalen Kommunikation

– Typologie: ● ikonische Gesten● deiktische Gesten● lexikalisierte Gesten● koverbale Gesten

ikonische Geste: bildhafte Gestendeiktische Geste: Zeigegestelexikalisierte Geste: Gesten, welche wie Wörter einer

Lautsprache fungieren und als Symbol gelernt werden (abhängig von Kultur)

koverbale Gesten: ???



6.3

Ges

tik

● Beispiel: ikonische Geste– Ägypten: „Bitte sind Sie geduldig.“– Italien: „Was meinen Sie genau?“– Griechenland: „Das ist perfekt.“

● Herausforderung– Erkennen von Gesten– realistische Animation von Gesten– automatischen Generieren von Gesten

(inhaltsabhängig)



6.3

Ges

tik

● Gestikerkennung– Datenhandschuh

– Bildbasierte Erkennung (z.B. durch neuronales Netz)

Anwendung: ● SIVIT (Siemens Virtual Touchscreen)● 3D-Kiosksystem (Firma Rittal, 2005)

Zur bildbasierten Erkennung muss das Quellbild verschiedene Filterungen durchlaufen um das gewünschte Resultat zu erhalten, z.B. Gaborfilter



6.3

Ges

tik

● Animation von Gesten– vordefinierte Animation (z.B. durch Motion Capturing

oder durch 3D-Modellierungsprogramme)● Keyframe-Animationen

– prozedurale Animationen– Kombination von vordefinierten Animation und

prozeduralen Animationen

Keyframe-Animation



6.3

Ges

tik

● Kinematik– Kinematik = Bewegung– Kinematische Kette: starre Körper verbunden durch

Gelenke– Kette beginnt mit Elternteil– Kind ist über Gelenk mit Elternteil verbunden– bewegt sich das Elternteil, dann bewegen sich die

Kindteile ebenfalls



6.3

Ges

tik

● Vorwärtsgerichtete Kinematik– Stellung der einzelnen Gelenke der Kettenglieder

vorgegeben– daraus kann Lage des letzten Gliedes eindeutig

berechnet werden



6.3

Ges

tik

● Inverse Kinematik– Lage des letzten Gliedes der Kette ist bekannt– daraus berechnen sich die Winkel aller Gelenke– aufgrund der vielen möglichen Gelenkstellung ist es

nicht einfach natürliche aussehende Bewegungen zu erzeugen



6.3

Ges

tik

● Vertex Skinning– Skelett (Bones)

● unsichtbares hierarchisches Knochengerüst● definierte Drehpunkte, entsprechen Drehpunkte

– Skin (Haut)● Polygonnetz über Skelett legen● jeder Vertex ist mindestens einem Knochen

zugeordnet● Einfluss der Knochenstellung auf die Vertizes ist

gewichtet



6.3

Ges

tik

● Vertex Skinning Fortsetzung– Animation ändert die Stellung der Knochen

→Haut wird dementsprechend deformiert



6.3

Ges

tik

● H-Anim Standard= Humanoid Animation (www.h-anim.org)

– spezifiziert Datenstruktur für Körpermodelle– Algorithmen zur Bewegungsmodellierung nicht definiert– basiert auf VRML97, aber allgemein verwendet– Erstellung:

● H-Anim Werkzeuge, z.B. Virtock VizX3D ● fertige Modelle unter www.h-anim.org/Models● Modellierungswerkzeuge, z.B. 3D Studio Max, Maya

(Export nach VRML, danach konvertieren)



6.3

Ges

tik

● Modellierung in definierter Grundposition– Aufrecht stehende Position– Blick in Richtung z-Achse– Füsse nach vorne, Arme seitlich platziert



6.3

Ges

tik

● Knotentypen– Grundtypen:

● Humanoid: Wurzel● Segment: Körperteil /

Knochen● Joint: Gelenk / Verweis

auf Hautnetz– erweiterte Typen:

● Site: def. Ort relativ zu Segment, z.B. für Kleidung, Schmuck, ...



6.3

Ges

tik

● MPEG-4: Körperanimation– ähnlich der Gesichtsanimation– Body Definition Parameters (BDP)

● def. individuellen Körper mit Polygonnetz und Texturen

● korrespondiert mit VRML H-Anim Standard

● Knochen, Gelenke, Haut (Polygonnetz)



6.3

Ges

tik

● Body Animation Parameter (BAP)– erzeugen bestimmte Bewegungen und Gesten– ändern Winkel von Gelenken– übertragbar auf andere Körpermodelle

Documents

Virtuelle Charaktere - · NPC (non-player character) ... 10 und 80 verschiedene Phonemen (Deutsch ca. 40)