Ursula Zucker

Chair for Image UnderstandingComputer Science

Technische Universität München

zucker@in.tum.de

Facial Expression Recognition A Comparison Between Humans and

Algorithms

2007-05-09 2/8Technische Universität MünchenUrsula Zucker

Motivation Zum Thema Mimikerkennung:

Ziel: Mensch-Maschine-Kommunikation 6 universelle Mimiken: Angst, Ärger, Ekel, Erstaunen,

Freude, Trauer oft nur minimale Muskelbewegungen

-> zuverlässige Erkennung schwierig Erkennungsrate von Algorithmen: ca. 70%

Fragestellung: Wie gut erkennt der Mensch Mimiken?

-> Umfrage um einen Vergleich zu ermöglichen

2007-05-09 3/8Technische Universität MünchenUrsula Zucker

Über die Umfrage Cohn-Kanade AU-Coded Facial Expression

Database 488 Mimik-Sequenzen keine “natürlichen” Mimiken kein Kontext keine ground truth

Umfrage zufällig gewählte Sequenz soll eingeordnet werden ca. 250 Teilnehmer 5413 Klassifizierungen -> ca. 11 pro Sequenz

2007-05-09 4/8Technische Universität MünchenUrsula Zucker

Betrachtung der einzelnen Sequenzen

Erläuterung: 1 Zeile = 1 Sequenz je dunkler desto eindeutiger

ist die Klassifizierung nachträglich sortiert

Ergebnis: Freude: gut erkennbar Ärger und Ekel: werden oft

verwechselt Angst: schlecht erkennbar

2007-05-09 5/8Technische Universität MünchenUrsula Zucker

Paarweise Verwechslung von Mimiken

)(

)(),(

21

2121

H

H

Ergebnis: Angst und Erstaunen: werden oft verwechselt Freude und Ekel: werden selten verwechselt

Berechnung:

2007-05-09 6/8Technische Universität MünchenUrsula Zucker

Konfusionsmatrix

Ergebnis: Freude: wird gut erkannt Angst: wird sehr schlecht erkannt, oft mit Ekel

verwechselt

2007-05-09 7/8Technische Universität MünchenUrsula Zucker

Erkennungsrate

Ergebnis: Michel et. al.: schlechter beim Erkennen von Ärger Schweiger et. al.: schlechter beim Erkennen von Ekel,

Angst, Freude und im Durchschnitt

2007-05-09 8/8Technische Universität MünchenUrsula Zucker

Zusammenfassung Probleme:

einseitige Betrachtung: nur visuelle Information keine Kontextinformation keine “natürlichen” Mimiken

Fazit: schlechte Erkennungsrate beim Menschen leichtes Verwechseln mancher Mimiken Verwechslung durch gemeinsame Action Units besser: mehr Informationsquellen einbeziehen

(Sprache, Kontext,...)