GESTENERKENNUNGVON ALBERT GASS

GLIEDERUNG

• Einleitung

• einleitendes Zitat

• Visuelle Gestenerkennung

• Allgemein

• Merkmale

• Farben

• Geometrie der Objekte

GLIEDERUNG

• Modellierung der beteiligten Daten

• Art der Datenaufnahme• Daten-Handschuhe

• partiell gefärbte Handschuhe

• natürliche Erkennung

• Zeichnen-Modell

• Hand-Erkennung

• Phasen der Gestenerkennung

• Algorithmen und Verfahren• Rubine Alg., SiGrid Alg., DTW, HHM

GLIEDERUNG

• Schwierigkeiten

• Hardware

• Beleuchtung

• Perspektive

• Feinheit der Gesten

• Quellen

EINLEITUNG

"Computers became primary objects of our attention resulting in an area called

“human computer interaction.” Today, however, we must ask: Are we actually interested

in interacting with computers? Isn’t our goal rather to interact with information, to

communicate and to collaborate with people? Shouldn’t the computer move into the

background?" - N., Streiz

EINLEITUNG

• Computer treten mehr in den Hintergrund

• Unterstützende Funktion

• Integration als Kommunikationsapparat

• Intelligenz und Autonomie

• Heutige Bedienungserleichterungen:

• Touchscreens

• PDAs

• Graphic-Tablets

VISUELLE GESTENERKENNUNG

ALLGEMEIN

• Basiert auf Bildverarbeitung

• Verfolgung von Bewegungen

• -> Erkennen von Gesten

• Verfolgung von ausgezeichneten Markern/Merkmalen bzw. Eigenschaften

MERKMALE

FARBEN

• einfachste Eigenschaft

• Beschreibung jedes Pixels eines digitalen Bildes mit seiner Farbe

• Aufgespannter Farbraum als Schwellenwert

• Abhängigkeit von der Beleuchtung

GEOMETRIE DER OBJEKTE

• einfache Objekte

• z.B.: Kreis

• komplexe Objekte

• menschliches Gesicht

• mehrere Objekte müssen parallel erkannt werden

MODELLIERUNG DER BETEILIGTEN DATEN

ART DER DATENAUFNAHME

DATEN-HANDSCHUHE

• korrekte Position

• hohe Genauigkeit und Geschwindigkeit

• gute Kompatibilität

• Nachteil

• Bewegungseinschränkung

PARTIELL GEFÄRBTE HANDSCHUHE

• Position durch Farberkennung

• zuverlässig

• Einschränkung der Natürlichkeit

NATÜRLICHE ERKENNUNG

• keine zusätzliche Hardware nötig

• Darstellung der natürlichen Hand

• basiert auf Modellen, konzipiert für

• Aussehen

• Erscheinung

• Zugriff auf maschinelles Lernen

ZEICHNEN-MODELL

• erfolgreich für stiftbasierte Benutzerschnittstellen

HAND-ERKENNUNG

• Unterteilung in Vorder- und Hintergrund

• Pigmentierung

• YUV-Farbmodell

• Gauss

• Statistisches Modell

• Farben-Normierung

• Beschleunigt die Rechengeschwindigkeit

• Kontur eines Objekts

PHASEN DER GESTENERKENNUNG

• Data Acquisition

• Sammeln der wichtigen Daten

• Gesture Modeling

• Anwendung der empfangenen Daten auf das jeweilige Modell

• meist sind einige Vorprozesse nötig

• Feature Extraction

• weich und reibungslos

• Merkmale können zu Trainingszwecken und als Vorlage dienen

• Recognition Stage

• Klassifizierung der Geste

ALGORITHMEN UND VERFAHREN

RUBINE ALGORITHMUS

• entwickelt von Dean Rubine (1991)

• Basis vieler Algorithmen zur Gestenerkennung

• merkt sich in periodischen Intervallen die Position

• Feature-Ermittlung

• Sinus, Cosinus

• Entfernungen

• Dauer und Geschwindigkeit

SIGRID ALGORITHMUS

• entwickelt von Beat Signer, Moira Noirre und Ueli Kurrmann (2007)

• Basiert auf Bit-Signaturen in einem Grid

• n gleich große Quadrate

• Eindeutigkeit durch Bit-String

• Transformation des Zeichenvorgangs auf Grid

• Vergleich mit bereits bekannten Bit-Strings

• Levensthein Distanz

• Hamming Distanz

DYNAMIC TIME WARPING

• misst Ähnlichkeiten zweier Sequenzen

• unabhängig von

• Zeit

• Geschwindigkeit

• Rechenaufwand

• O(n²)

• Anwendung

• Sprach-, Unterschriften- und Umrisserkennung

HIDDEN MARKOV MODEL

• stochastisches Modell

• Markov-Kette mit unbeobachteten Zuständen

• Übergang auf zufällig Weise von einem in einen anderen Zustand

• Anwendung

• Sprach- und Gestenerkennung

• Spamfilter

• Schriftenerkennung

SCHWIERIGKEITEN

HARDWARE

• Wahl der verwendeten Hardware zur Erfassung

• davon abhängig ist:

• Qualität des Ausgangsmaterials

• gewünschte Informationen

• Infrarot-, Restlicht- oder Normalbilder

• hohe Auflösung für feine Details

• hohe Frequenz der Aufnahme (vor allem bei Bewegungsabläufen)

BELEUCHTUNG

• Einschränkungen der Farbqualität durch Schatten und Reflexion

• Verfälschung der Farben durch auftretende Blendeffekte

• Verdunkelung der Farbtöne durch Schatten

• Zusammensetzung des Lichts

• natürliches und künstliches Licht

• unterschiedliche Blauanteile

PERSPEKTIVE

• Entfernung zur Kamera

• eintretender Winkel vom Objekt

• auftretende Phänomene

• Objekte werden überdeckt

• Objekte werden verzerrt dargestellt

• je nach Entfernung Gesten schwer erkennbar

• Lösung

• mehrere Kameras verwenden

FEINHEIT DER GESTEN

• wann und welche Gesten sollen erkannt werden

• Bewegungen metrisch erfassen

• mögliche Probleme bei zu starker Feinheit

• Fehlinterpretation unbewusster Bewegungen

• leichtes Zittern

QUELLEN

• http://www.ampublisher.com/Mar%202012/IPCV-1203-015-Hand-Gesture-Modeling-Recognition-Geometric-Features-Review.pdf

• http://de.wikipedia.org/wiki/Wikipedia:Hauptseite

• http://users.informatik.haw-hamburg.de/~ubicomp/projekte/master10-11-aw1/kilan/bericht.pdf