GESTENERKENNUNGVON ALBERT GASS
GLIEDERUNG
• Einleitung
• einleitendes Zitat
• Visuelle Gestenerkennung
• Allgemein
• Merkmale
• Farben
• Geometrie der Objekte
GLIEDERUNG
• Modellierung der beteiligten Daten
• Art der Datenaufnahme• Daten-Handschuhe
• partiell gefärbte Handschuhe
• natürliche Erkennung
• Zeichnen-Modell
• Hand-Erkennung
• Phasen der Gestenerkennung
• Algorithmen und Verfahren• Rubine Alg., SiGrid Alg., DTW, HHM
GLIEDERUNG
• Schwierigkeiten
• Hardware
• Beleuchtung
• Perspektive
• Feinheit der Gesten
• Quellen
EINLEITUNG
"Computers became primary objects of our attention resulting in an area called
“human computer interaction.” Today, however, we must ask: Are we actually interested
in interacting with computers? Isn’t our goal rather to interact with information, to
communicate and to collaborate with people? Shouldn’t the computer move into the
background?" - N., Streiz
EINLEITUNG
• Computer treten mehr in den Hintergrund
• Unterstützende Funktion
• Integration als Kommunikationsapparat
• Intelligenz und Autonomie
• Heutige Bedienungserleichterungen:
• Touchscreens
• PDAs
• Graphic-Tablets
VISUELLE GESTENERKENNUNG
ALLGEMEIN
• Basiert auf Bildverarbeitung
• Verfolgung von Bewegungen
• -> Erkennen von Gesten
• Verfolgung von ausgezeichneten Markern/Merkmalen bzw. Eigenschaften
MERKMALE
FARBEN
• einfachste Eigenschaft
• Beschreibung jedes Pixels eines digitalen Bildes mit seiner Farbe
• Aufgespannter Farbraum als Schwellenwert
• Abhängigkeit von der Beleuchtung
GEOMETRIE DER OBJEKTE
• einfache Objekte
• z.B.: Kreis
• komplexe Objekte
• menschliches Gesicht
• mehrere Objekte müssen parallel erkannt werden
MODELLIERUNG DER BETEILIGTEN DATEN
ART DER DATENAUFNAHME
DATEN-HANDSCHUHE
• korrekte Position
• hohe Genauigkeit und Geschwindigkeit
• gute Kompatibilität
• Nachteil
• Bewegungseinschränkung
PARTIELL GEFÄRBTE HANDSCHUHE
• Position durch Farberkennung
• zuverlässig
• Einschränkung der Natürlichkeit
NATÜRLICHE ERKENNUNG
• keine zusätzliche Hardware nötig
• Darstellung der natürlichen Hand
• basiert auf Modellen, konzipiert für
• Aussehen
• Erscheinung
• Zugriff auf maschinelles Lernen
ZEICHNEN-MODELL
• erfolgreich für stiftbasierte Benutzerschnittstellen
HAND-ERKENNUNG
• Unterteilung in Vorder- und Hintergrund
• Pigmentierung
• YUV-Farbmodell
• Gauss
• Statistisches Modell
• Farben-Normierung
• Beschleunigt die Rechengeschwindigkeit
• Kontur eines Objekts
PHASEN DER GESTENERKENNUNG
• Data Acquisition
• Sammeln der wichtigen Daten
• Gesture Modeling
• Anwendung der empfangenen Daten auf das jeweilige Modell
• meist sind einige Vorprozesse nötig
• Feature Extraction
• weich und reibungslos
• Merkmale können zu Trainingszwecken und als Vorlage dienen
• Recognition Stage
• Klassifizierung der Geste
ALGORITHMEN UND VERFAHREN
RUBINE ALGORITHMUS
• entwickelt von Dean Rubine (1991)
• Basis vieler Algorithmen zur Gestenerkennung
• merkt sich in periodischen Intervallen die Position
• Feature-Ermittlung
• Sinus, Cosinus
• Entfernungen
• Dauer und Geschwindigkeit
SIGRID ALGORITHMUS
• entwickelt von Beat Signer, Moira Noirre und Ueli Kurrmann (2007)
• Basiert auf Bit-Signaturen in einem Grid
• n gleich große Quadrate
• Eindeutigkeit durch Bit-String
• Transformation des Zeichenvorgangs auf Grid
• Vergleich mit bereits bekannten Bit-Strings
• Levensthein Distanz
• Hamming Distanz
DYNAMIC TIME WARPING
• misst Ähnlichkeiten zweier Sequenzen
• unabhängig von
• Zeit
• Geschwindigkeit
• Rechenaufwand
• O(n²)
• Anwendung
• Sprach-, Unterschriften- und Umrisserkennung
HIDDEN MARKOV MODEL
• stochastisches Modell
• Markov-Kette mit unbeobachteten Zuständen
• Übergang auf zufällig Weise von einem in einen anderen Zustand
• Anwendung
• Sprach- und Gestenerkennung
• Spamfilter
• Schriftenerkennung
SCHWIERIGKEITEN
HARDWARE
• Wahl der verwendeten Hardware zur Erfassung
• davon abhängig ist:
• Qualität des Ausgangsmaterials
• gewünschte Informationen
• Infrarot-, Restlicht- oder Normalbilder
• hohe Auflösung für feine Details
• hohe Frequenz der Aufnahme (vor allem bei Bewegungsabläufen)
BELEUCHTUNG
• Einschränkungen der Farbqualität durch Schatten und Reflexion
• Verfälschung der Farben durch auftretende Blendeffekte
• Verdunkelung der Farbtöne durch Schatten
• Zusammensetzung des Lichts
• natürliches und künstliches Licht
• unterschiedliche Blauanteile
PERSPEKTIVE
• Entfernung zur Kamera
• eintretender Winkel vom Objekt
• auftretende Phänomene
• Objekte werden überdeckt
• Objekte werden verzerrt dargestellt
• je nach Entfernung Gesten schwer erkennbar
• Lösung
• mehrere Kameras verwenden
FEINHEIT DER GESTEN
• wann und welche Gesten sollen erkannt werden
• Bewegungen metrisch erfassen
• mögliche Probleme bei zu starker Feinheit
• Fehlinterpretation unbewusster Bewegungen
• leichtes Zittern
QUELLEN
• http://www.ampublisher.com/Mar%202012/IPCV-1203-015-Hand-Gesture-Modeling-Recognition-Geometric-Features-Review.pdf
• http://de.wikipedia.org/wiki/Wikipedia:Hauptseite
• http://users.informatik.haw-hamburg.de/~ubicomp/projekte/master10-11-aw1/kilan/bericht.pdf