28
Universität Bielefeld Technische Fakultät Seminar Kommunikation: Das Miteinander von Mensch und Maschine Zeichen & Gebärden Nadine Leßmann Thomas Plötz [email protected] [email protected] Alexander Rüegg Jörg Waltemathe [email protected] [email protected] Bielefeld, August 2000

Zeichen & Gebärden - Technische Fakultät | … · Universität Bielefeld Technische Fakultät Seminar Kommunikation: Das Miteinander von Mensch und Maschine Zeichen & Gebärden

  • Upload
    lytram

  • View
    219

  • Download
    0

Embed Size (px)

Citation preview

Universität BielefeldTechnische Fakultät

SeminarKommunikation:

Das Miteinander von Mensch und Maschine

Zeichen & Gebärden

Nadine Leßmann Thomas Plö[email protected] [email protected]

Alexander Rüegg Jörg [email protected] [email protected]

Bielefeld, August 2000

INHALTSVERZEICHNIS 2

Inhaltsverzeichnis

1 Einleitung 3

2 Gebardensprache 32.1 Geschichte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32.2 Eigene Sprache? – Pro und Contra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.3 Grammatik (DGS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.4 Strukturen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

3 Kommunikationssysteme 73.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

4 Horhilfen 74.1 Horgerate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74.2 Implantate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

4.2.1 Funktion (Siemens-Vibrant Soundbridge) . . . . . . . . . . . . . . . . . . . . . . . 84.2.2 Projekt bei der EXPO 2000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

4.3 Gebardenerkennung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114.3.1 Prinzipien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114.3.2 Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134.3.3 Vor- und Nachteile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.4 Gebardenerzeugung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184.4.1 Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

4.5 Lippenlesen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184.5.1 Ubersicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184.5.2 Aufbau des Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184.5.3 Praktischer Einsatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

5 Zusammenfassung 20

A Beispiele der DGS 22

1 EINLEITUNG 3

1 Einleitung

Seit Jahrhunderten sind Moglichkeiten der Kommunikation uber Lautsprachen hinaus bekannt. Gehorlosebenutzen Zeichen- und Gebardensprachen weltweit um miteinander zu interagieren. Dabei handelt es sichum vollwertige Sprachen im linguistischen Sinn.

Im Rahmen des Seminars ”Kommunikation: Das Miteinander von Mensch und Maschine” sollen dieChancen und Moglichkeiten der Kommunikation uber Zeichen- und Gebardensprachen untersucht werden.Dazu werden im ersten Teil theoretische Aspekte der Gebardensprachen untersucht mit Berucksichtigungihrer Geschichte. Aufgrund ihrer Komplexitat ist die Realisierung gebardenverstehender Systeme in na-herer Zukunft nicht zu erwarten. Im zweiten Teil der Ausarbeitung werden derzeit gangige technischeSysteme zur Gebardenerkennung bzw. -produktion vorgestellt. Diese stellen Hilfsmittel fur Gehorlose beider Erlernung der Zeichen- bzw. Gebardensprache dar. Weiterhin sind sie Stationen auf dem Weg zutatsachlich gebardenerkennenden Systemen. Diese ermoglichen Gehorlosen in der ihnen naturlichen Artund Weise, mit Maschinen zu kommunizieren. Als weitere Hilfsmittel fur Gehorlose werden Horimplantatevorgestellt sowie deren Chancen und Grenzen diskutiert.

2 Gebardensprache

2.1 Geschichte

Die Geschichte der Gebardensprache ist vermutlich so alt wie die Geschichte der Menschheit selbst.Sparliche Uberlieferungen alter Kulturen lassen dies erahnen. Es steht zu vermuten, daß zu allen ZeitenMenschen mit eingeschranktem Hor- bzw. Sprechvermogen eigene Kommunikationsstrukturen entwickel-ten und auch benutzten. Der in diesem Kapitel dargestellte geschichtliche Abriß konzentriert sich jedochausschließlich auf die Zeit, in der der Problematik ”Gebardensprache“ nennenswertere Aufmerksamkeitzuteil wurde. Es wird sich dabei vor allem auf [1] bezogen.

• 16. Jahrhundert – Geronime Cardano, ein italienischer Physiker stellt fest und postuliert: ”TaubeMenschen konnen geschriebene Sprache, reprasentiert durch ihre Symbole, lernen“. Diese Feststel-lung behandelte zum ersten Mal die Problematik der Kommunikation tauber Menschen in einerobjektiven und nicht abwertenden Art und Weise. Bis dahin wurde das Phanomen der Gebar-densprache entweder nicht wahrgenommen oder verachtlich die Sprache als ”Affensprache“ etc.abgewertet.

• 1620 – Juan Pable de Bonet bringt das erste Lehrbuch uber ein ’manuelles’ Alphabet fur Taubeheraus.

• 1755 – Charles Michel de Laepee, ein Pariser Abt grundet die erste freie Gehorlosenschule. Basisder Lehrmethoden war die Gestenkommunikation der, damals offensichtlich zahlenmaßig relevanten,Gehorlosengemeinde in Paris. Er ubernahm von ihnen ihr System konventioneller Gesten, Hand-zeichen und Fingerstellungen. Fur noch nicht erfasste Begriffe, Redewendungen etc. entwickelte eruber die Adaption des gesprochenen Franzosisch eine beinahe umfassende Gebardensprache.

• 1778 – Samuel Heinicke grundet in Leipzig die erste staatlich anerkannte Gehorlosenschule. Dortlehrte er Sprache und Sprachverstehen.

• 19. Jahrhundert – Mit den beiden Stromungen innerhalb der Lehre der Gehorlosensprache (Frank-reich und Deutschland) erfuhr die Gebardensprache zumindest in Europa eine sehr rasche und weiteVerbreitung im 18. Jahrhundert. Mitte des 19.Jahrhunderts erfolgte jedoch eine Zasur und die ver-breitete Meinung bzgl. der Gebardensprache war nicht die einer entwickelten Sprache sondern einerArt Pantomime oder bestenfalls einer Ansammlung von Gesten, die nur einfache, konkrete Zusam-menhange ausdrucken konnen. – ”Die Gebardensprache stehe einer Integration der Gehorlosen indie Gesellschaft im Weg.“

2 GEBARDENSPRACHE 4

• ab 1960 – Es erfolgte eine Umdenken, initiiert von der linguistischen Forschung in den USA. Mankam zu der Einsicht, daß die Gebardensprache eine naturliche Sprache mit einer eigenen Strukturdarstellt. Wer sie gut beherrscht, kann sich ebenso komplex und abstrakt ausdrucken wie in dergesprochenen Sprache. Sie ist zudem mit dem Selbstverstandnis der Gehorlosen und ihrer Kultureng verbunden.

Die im 18. Jahrhundert entwickelten Methoden sind die Basis fur die heutige Kommunikation Horende<-> Taube.

In Amerika fanden die meist europaischen Siedler teilweise weit entwickelte indianische Zeichenspra-chen vor, die eindeutig und offensichtlich gut benutzbar waren. Dennoch wurden viele europaische Ansatzein dortigen Gehorlosenschulen ubernommen (z.B. ”literal art college - Washington D.C.“). Die indianischenAnsatze wurden im Folgenden beinahe komplett unterdruckt. Heute existiert dort eine recht gut entwickel-te Sprache, die vor allem auch von vielen Horenden praktiziert wird. Dadurch kommt es zur Ubernahmevon sprachlichen Strukturen der Lautsprache in die US-amerikanische Gebardensprache (American SignLanguage).

2.2 Eigene Sprache? – Pro und Contra

In diesem Abschnitt soll die Argumentation zur Gebardensprache als eigene Sprache in ihren Pro- undContraargumenten uberblicksweise dargestellt werden. Es wird sich dabei im Wesentlichen auf die Aus-fuhrungen in [2] bezogen.

Contra

• Gebardensprachen werden hauptsachlich fehlende Merkmale von ”Sprache“ (Phonologie, Morpholo-gie, Syntax) vorgeworfen. Die Chereme1 besitzen im Gegensatz zu Phonemen keine Distinktivitat,stattdessen haben sie einen eher ikonischen Charakter.

• Die vermeintlich mangelnde Leistungsfahigkeit der Gebardensprache impliziert eine geringere Viel-seitigkeit.

Pro

• Gebardensprachen beinhalten tatsachlich vorhandene sprachliche Strukturen z.B. Grammatik – vgl.dazu 2.3.

• Ein intuitives Argument pro eigener Sprache ist die tatsachliche Moglichkeit der Kommunikation mitHilfe einer Gebardensprache. Derartige Sprachen integrieren mehrere Sprachinstrumente (Gestik,Mimik . . . ), ermoglichen eine intuitive Gebardenfindung und bieten als Basiskomunikationsmitteldas Fingeralphabet.

DiskussionBeinahe samtliche Gegenargumente basieren auf der Pramisse der Gleichsetzung von ”Sprache“ und ”Laut-sprache“. Es wird versucht, die fur lautsprachliche Strukturen geltenden Gesetzmaßigkeiten 1:1 auf Ge-bardensprachen anzuwenden. Die speziellen Contraargumente liegen in der Natur der Argumentation.

Laut [2] bilden hauptsachlich wissenschaftliche Defizite die Grundlage der Argumentation contra ei-gener Sprache. Es wird darauf hingewiesen, daß mangelndes Wissen vorurteilsfreie Argumentation nichtzulaßt. Beispielsweise erfolgt eine verbreitete Leugnung der Moglichkeit von Bilingualitat von Menschenund es herrscht haufig Unverstandnis gegenuber einer sprachlichen Minderheitensituation.

1Chereme entsprechen in Zeichensprachen den Phonemen der Lautsprachen – sie bilden die kleinsten bedeutungsunter-scheidenden Einheiten.

2 GEBARDENSPRACHE 5

2.3 Grammatik (DGS)

An dieser Stelle werden die sechs wesentlichsten Merkmale der Grammatik der ”Deutschen Gebardenspra-che“ (DGS) illustriert. Diese Merkmale sind daruberhinaus Merkmale einer Sprache im herkommlichenSinne, womit die Proargumentation aus Abschnitt 2.2 genahrt wird. Einige Beispiele fur spezielle Gebar-den, an denen die nachfolgend dargestellten grammatikalischen Merkmale nachzuvollziehen sind, findensich in Anhang A.

Tempus: Uber eine imaginare Zeitlinie im Gebardenraum werden sowohl allgemeine als auch punktuelleZeitangaben an erster Stelle der Syntaxfolge angegeben. Im Unterschied zur Lautsprache behalt dieTempusangabe ihre Gultigkeit bis zur folgenden Zeitgebarde.

Inkorporation: Erganzende Informationsgaben werden in einer Grundgebarde mitausgedruckt (Boot-Fahren, 4-Wochen).

Simultanitat: Zwei (oder mehr) Handlungen werden im Gebardenzeichen (Hande, Mimik) gleichzeitigausgefuhrt – Vorteil der Dreidimensionalitat! (z.B.: ’Beim Zeitungslesen wird der Kaffee umgeruhrtund schließlich getrunken.’)

Direktionalitat: Betreffende Personen oder Dinge werden im Gebardenraum lokalisiert und anschlie-ßend festgelegt (Zeigefunktion).

Lokalitat: Betreffende Personen oder Dinge werden an bestimmten Stellen im Gebardenraum lokalisiertund anschließend uber eine Zeigefunktion, d.h. eine Referenz auf einen festen Ort im Gebardenraum,festgelegt.

Simultane Mimik: Die Realisierung von Steigerungen und Satztypen (Aussage, Frage, Verneinungenetc.) erfolgt uber die Mimik.

2.4 Strukturen

In diesem Abschnitt sollen einige interessante Fakten bzgl. der Strukturen einer Gebardensprache amBeispiel der ”Deutsche Gebardensprache“ (DGS) festgemacht werden. Die Abbildungen im Anhang illu-strieren diese.

• Numerus: durch Zahlen- bzw. Mengenangaben oder Wiederholungen

• Mimik:- fur Satzaufbau (Frage, Bitte . . . )- als Ausdruck der Gefuhle- als Ausdruck fur Großenordnungen und Dimensionen

• spezielle Gebarden – Idiome, z.B. Solidaritat, nach Hause gehen, Klatschen usw.

• Mundbild: Nachahmung der visuell wahrnehmnbaren Lippenbewegungen, die Worter der gespro-chenen Sprache zugeordnet sind

• Hande nicht im Sinne einer konkreten pantomimischen Nachahmung der Wirklichkeit benutzt –stattdessen Handzeichen nach klaren Regeln gebildet

• Gebardenzeichen meist aus Teilelementen

Mit einer begrenzten Zahl von Elementen und Regeln kann eine unbegrenzte Zahl von neuen Zeichen undSatzen erzeugt werden – dies ist das Argument fur das Vorhandensein einer ‘Sprache’ im linguistischenSinn:

• Handform (Faust, Zeigefingerhand, Schwurhand)

2 GEBARDENSPRACHE 6

Sprachinstrument

Mimik

Augen

Mund

Gesicht

Struktur d. Gebärden

zweihänd. Gebärden

Hände

Kopf

Schultern

Oberkörper

Blickrichtung

Kopfrichtung

Zeigen der Hände

Thema

Person

Situation

Kontext

Deiktik

Körperhaltung

Augenausdruck

Blickrichtung

Mundgestik

Mundbilder

Handform

Handstellung

Ausführungsstelle

Bewegung

Symmetrieform

Mittelform

Dominanzform

Zweihand-Komplex

Abbildung 1: Sprachinstrumente der DGS

• Handstellung (z.B.: Zeigefingerhand – Handrucken nach oben, unten, vorne oder zum Korper)

• Ausfuhrungsstelle (Handzeichen vor Brust, Kopf, an Schulter etc.)

• Bewegung (Richtung, Geschwindigkeit, Intensitat, Dauer)

3 KOMMUNIKATIONSSYSTEME 7

3 Kommunikationssysteme

3.1 Motivation

Angesichts der Probleme von Gehorlosen mit Lautsprache bzw. Lautschrift tritt die Entwicklung vonKommunikationssystemen fur Gehorlose zunehmend ins Interesse von Forschungsgruppen und Unterneh-men.Zunachst wurden große Anstrengungen unternommen eine Notationsmoglichkeit fur Gebarden, also ei-ne Gebardenschrift, zu entwickeln. Hier ist vor allem das System SignWriting zu nennen. Der Großteilder Gehorlosen ist nicht komplett taub. Die Einstufung ”gehorlos“ gilt ab einem bestimmten ProzentsatzResthorvermogen. Fur Gehorlose mit Resthorvermogen wurde eine breite Palette an Horhilfen entwickelt.Die Erkennung von Gebarden wird in Deutschland vor allem von der RWTH Aachen vorangetrieben, ander bereits mehrere Erkennungssysteme entwickelt wurden. Diese sollen schließlich als Ubersetzungssy-steme zur Verbesserung der Kommunikation zwischen Gehorlosen und Horenden ausgebaut werden. ZumErlernen von Lautsprache konnen sogenannte Lippenlese-Tools dienen, die in den USA bereits eingesetztwerden. Zuletzt soll nicht unerwahnt bleiben, daß auch Systeme fur das Erlernen des Fingeralphabetsexistieren.Im Folgenden sollen einige technische Systeme vorgestellt werden, die die oben angesprochenen Zieleverfolgen.

4 Horhilfen

4.1 Horgerate

Heute gibt es alleine in Deutschland gibt es mehr als 2.000.000 Horgeschadigte. Doch dies ist kein neu-zeitliches Phanomen. Um diesen Menschen zu helfen, versuchte man Gerate zu entwickeln, die das Horendennoch ermoglichen bzw. verbessern konnten.

Angefangen hat alles mit dem Horrohr, welches wie ein Trichter konzipiert war und eigentlich nureine Vergroßerung der Ohrmuschel darstellte. Dadurch wurden die Schallwellen gebundelt. Auch war diesein primitiver Vorlaufer des Richtmikrofons, denn man konnte die Trichteroffnung ja auf die Schallquellerichten.Im Zeitalter der Elektronik hatte man dann Gerate entwickelt, die am Gurtel getragen wurden und alleGerausche elektronisch verstarkt zu einem Ohrhorer leiteten.Im Rahmen der Miniaturisierung von Elektronik konnte man dann komplette Gerate am oder im Ohrtragen.

Hier unterscheidet man zwischen funf Typen:

• CIC - ’Complete in the Canal’ (Komplett im Gehorgang)Dieses sehr kleine Horgerat wird tief im Gehorgang getragen und ist deshalb ’nicht zu sehen’. Umes zu entfernen hat es einen kleinen Nylonfaden an dem man es herausziehen kann. Es ist geeignetfur leichte bis mittlere Horverluste.

• CS - Halbconchagerat (GehorgangsgeratDiese Gerate befinden sich am Beginn des Georganges. Es kann eine hohere Verstarkung erreichtwerden. Geeignet fur mittlere Horverluste.

• CT (Gehorgangsgerat)Dieses Modell wird benutzt wenn die kleineren Gerate im taglichen Umgang nicht angezeigt sind.

• IT - Concha-GeratDie ganze Ohrmuschel ist ausgefullt. Fur großere Horverluste geeignet.

4 HORHILFEN 8

• HdO - Hinter-dem-OhrDiese Gerate sind so stark, daß sie auch bei starken Horverlusten eingesetzt werden. Ebenso beiHautproblemen und Hautunvertraglichkeiten.

Bei Geraten der neusten Generation, die außerlich so aussehen wie die oben beschriebenen, hat dieTechnik dazu beigetragen, daß sogar kleine Computer in den Geraten untergebracht werden konnten.Das hat folgende Vorteile:

• Automatische Lautstarkeanpassung.

• Man kann zwischen einem Kugel- und Richtmikrofon umschalten, welches bei Konzerten sehr nutz-lich ist.

• Bei einigen Geraten kann man sogar HiFi-Gerate, wie CD-Player anschließen.

• Ein Interface fur den Horgerateakustiker, der so die Gerate auf die individuellen Bedurfnisse desTragers anpassen (programmieren) kann.

• Ein integrierter 8-Band-Equilizer der genau die Frequenzen verstarken kann, die benotigt werden.Dies ist sinnvoll, da viele Horgeschadigte nur unter dem Verlust bestimmter Frequenzbereiche leiden.

• Ruckkopplungspfeifen wird erkannt und unterdruckt. Das kann auftreten, wenn die verstarkte To-nausgabe so laut ist, daß das Mirkrofon sie wieder aufnimmt und weiter verstarkt.

• Die gehorte Sprache wird gefiltert, so daß storender Umweltlarm nicht mehr wahrgenommen wird.(Der sog. Umweltlarm wird in der Lautstarke nur abgesenkt, nicht geloscht)

Diese Gerate berechen insgesamt 64 Parameter (Frequenzspektum, Lautstarke, Sprache, usw.) um dieoben genannten Fahigkeiten moglich zu machen. Dies schaffen sie in einer Geschwindigkeit von 8 MioRecheneinheiten/sek.

Die hohen Anforderungen an die Hardware ziehen naturlich einen hohen Stromverbrauch mit sich, welchesder Grund ist, warum eine Knopfzelle nur 7-10 Tage halt.

4.2 Implantate

Implantate sind angezeigt, wenn der Trager Hautunvertraglichkeiten mit den oben genannten Geratenfeststellt. Ebenso kann es sein, daß der Trager stark Schwitzt oder ubermaßig viel Sekret bildet und esdadurch nicht moglich ist Im-Ohr-Gerate zu verwenden.

4.2.1 Funktion (Siemens-Vibrant Soundbridge)

Implantate bringen die Gehorknochelchen direkt zum Schwingen. Diese Schwingungen konnen optimalauf die Bedurfnisse des Horgeschadigten abgestimmt werden.Der normale Weg des Schalls uber den Gehorgang und das Trommelfell bleibt frei. Dies ermoglicht einenaturlichere Klangqualitat und erhohten Tragekomfort.

Siehe Abbildung: Implantat

Direkt an einem der Gehorknochelchen (Amboss) befestigt, versetzt das Implantat die Gehorknochel-chenkette auf mechanische Weise in Schwingungen - ahnlich wie der Schall, der das Ohr durchlauft unddie Knochelchen mit Hilfe des Trommelfells zum Schwingen bringt. Diese akustischen Schwingungen wer-den elektronisch verstarkt, um den Empfindlichkeitsverlust des Innenohres auszugleichen.

4 HORHILFEN 9

Abbildung 2: Horhilfen

4 HORHILFEN 10

Abbildung 3: Horhilfen

4 HORHILFEN 11

Das Gerat besteht aus einem außeren und einem inneren Teil. Der außere Teil ist der Audio Prozessor,der mit einem Magneten am Kopf unter dem Haar angebracht wird. Er enthalt das Mikrofon, die Batte-rie sowie die Elektronik zur Umwandlung des Umgebungsschalls in ein Signal, das an den implantiertenEmpfanger gesendet wird. Der implantierte Teil besteht aus dem internen Empfanger, dem Magneten,dem Leitungskabel und dem Floating Mass Transducer (FMT). Das Signal des Audio Processors wirddurch die Haut zum internen Empfanger gesendet, der das Signal uber das Leitungskabel zum FMTweitergibt. Der FMT ist am Amboß befestigt, einem der drei Knochelchen des Mittelohrs. Der FMTverwandelt das Signal in Schwingungen, die die Gehorknochelchen direkt antreiben und bewegen, ahnlichwie sie vom normalen Schall uber den Gehorgang bewegt werden. Diese Schwingungen geben den Schallzum Innenohr und zum Gehirn weiter.Weitere Informationen zu Fachhandlern sowie eine Reihe von Fragen, die, wenn man sie selbst beantwortetAufschluß geben, ob man Horgeschadigt ist findet man im Internet unter http://www.hoergeraete.siemens.de

4.2.2 Projekt bei der EXPO 2000

Der 1988 erstmals bei einem Kind vorgenommene operative Einsatz hat in der Rehabiltationsphase ge-zeigt, daß insbesondere bei Kleinkindern ein spezielles Konzept fur die Rehabilitation erforderlich ist.Um diesem Anspruch Folge zu leisten, wurde 1990 in Hannover das Cochlear-Implant-Centrum ”WilhelmHirte” (CIC Hannover) ins Leben gerufen. Dort wird den tauben Kindern beigebracht, zu sprechen, zuverstehen und Gerausche wahrzunehmen. Das Unterscheiden und Erkennen von Gerauschen, sprachlichenLauten und einzelnen Wortern bis hin zur akustischen Handlungssteuerung wird trainiert. Verlauft dieRehabilitations-Phase nach Plan, kann das anfangs taube Kind wieder normal horen und einen angegli-chenen Spracherwerb aufweisen.

Das CIC ist ein eigenstandiges Institut unter der Tragerschaft der Stiftung Hannoversche Kinder-heilanstalt. Insbesondere bei ertaubten oder taubgeborenen Kindern, bei denen trotz fruher Horgera-teversorgung und audio-verbaler Erziehung keine Verbesserung des auditiven Wahrnehmungsvermogensaufgetreten ist, konnte ein Implantat hilfreich sein.Die Rehabilitation besteht aus:

• Anpassung des Sprachprozessors und Evaluation;

• audio-verbale Erziehung;

• Wahrnehmungsschulung motorische Schulung;

• Verhaltenserziehung und Entwicklung der Kreativitat;

• Elternarbeit;

• medizinische Nachsorge;

• Langzeitbetreuung;

• Kontakte.

Projekttrager: Deutsche Cochlear Implantat Gesellschaft e.V.http://www.hannover.de/deutsch/tourist/weltauss/welt han/exponate/cochlear.htm

4.3 Gebardenerkennung

4.3.1 Prinzipien

Ansatze fur die Wahrnehmung von Gebarden

4 HORHILFEN 12

Wie in der Diskussion der Gebardensprache deutlich wurde, gibt es bei der Gebardenaufnahme zweiTeilproblembereiche. Zum einen die Erkennung der Gestik und zum anderen die Erkennung der Mimik.Bei beiden sind unterschiedliche Losungsansatze denkbar. Wie spater noch deutlich wird ist die Erken-nung per Video im allgemeinen zu bevorzugen.Die bisherigen in der Entwicklung befindlichen Systeme zur ”Wahrnehmung“ von Gebarden benutzen zuihrer Realisation Videoaufnahmen und/oder geratebasierte Aufnahmetechniken. Dabei bezeichnet ”gera-tebasiert“ am Korper angebrachte Meßsensorik, in der Praxis meist Aufnahmegerate die als ”Datenhand-schuh“ bezeichnet werden (siehe Abbildung 8).Es sind drei Szenarien zur Aufnahme von Gebarden denkbar:

• videobasierte Erkennung von Mimik und Gestik

• Video-Aufnahme der Mimik,geratebasierte Aufnahme der Gestik

• geratebasierte Aufnahme der Gestik

Letztere laßt allerdings die fur Gebardenerkennung wichtige Mimik zur Vereinfachung außen vor.

Maschinelle Lernmethoden

Gebardenerkennung ist im Bereich der Informatik als Musterkennungsproblem einzuordnen: fur die Re-prasentation einer Gebarde (die Sensordaten, e.g. eine Videoaufnahme) wird ihre Bedeutung gesucht.Durch die Fulle der moglichen Reprasentationen wird ein Automatismus notwendig, der zu einer Repra-sentation moglichst die richtige Bedeutung findet. Dazu verwendet man maschinelle Lernmethoden. ImFalle der Gebardenerkennung sind dies meist Neuronale Netze oder Hidden Markov Modelle.

Schwierigkeiten und Anforderungen

Die Erkennung von Gebarden stellt einige Anforderungen an das Erkennungssystem, die erfullt wer-den mussen, um ein korrektes Arbeiten zu gewahrleisten.Wie in der Einleitung bereits erlautert, mussen beide Hande in die Betrachtung mit einbezogen werden.Es gibt zwar eine dominante Hand, die andere ist aber trotzdem nicht vernachlassigbar. Gebarden kon-nen außerdem ”links-“ bzw. ”rechtshandig“ ausgefuhrt werden. Da Gebarden im dreidimensionalen Raumstattfinden kommt es eventuell zu Uberdeckungen einzelner Korperbereiche, die eine Erkennung erschwe-ren. Es stellt sich auch die Frage, ob nicht die zweidimensionale Darstellung von Gebarden ausreichend ist,da die Ausweitung auf ein 3D-Modell mit Hilfe einer Stereokamera einen erheblichen Mehraufwand undein wesentlich großeres Datenaufkommen bedeuten wurde. Hinzu kommt, daß sich eine Gebarde durcheine zeitliche Abfolge von Bewegungen ergibt. Somit muß fur die Erkennung eine Sequenz von Bildernbetrachtet werden. In der Einleitung wurde bereits angesprochen, daß fur die Auswertung die Mimik desGebardenden mit einbezogen werden muß .Die wesentlichen Schwierigkeiten und Anforderungen bei der Gebardenerkennung sind nachfolgend zu-sammengefaßt:

• Beide Hande mussen betrachtet werden.

• Mimik muß in die Auswertung mit einbezogen werden.

• Uberdeckungen der einzelnen Korperbereiche mussen berucksichtigt werden.

• Eine Bildsequenz ist fur die Erkennung einer Gebarde notwendig.

• Kommunikation besteht aus zeitlich zusammenhangenden Gebarden.

• Gebarden sind dreidimensional.

4 HORHILFEN 13

4.3.2 Systeme

Es sind bereits eine Vielzahl von Systemen zur Gebardenerkennung entwickelt worden bzw. finden sichin Entwicklung. Im folgenden soll eine exemplarische Auswahl vorgestellt werden. Dabei handelt es sichum ein rein videobasiertes Erkennungssystem und ein geratebasiertes System.

SignPS / SignRec

An der RWTH Aachen wurde seit 1994 von Britta Bauer das System SignPS ([3]) entwickelt mit dessenHilfe es ermoglicht wird isolierte Gebarden zu erkennen. Ein Ziel war dabei die Eingabe und Notation vonGebarden zu erreichen. Dazu wurde ein Zeichensatz zum Druck bzw. schriftlichen Notieren von Gebardenentwickelt.Die Aufnahme erfolgt mit einer Videokamera. Dabei erfaßt nur eine Kamera den gesamten Gebardenraum,also sowohl manuelle Ausdrucksmittel (Handform, Ausfuhrungsstelle, Handstellung, Handbewegung) alsauch nicht-manuelle Ausdrucksmittel (Kopf, Oberkorper, Blickrichtung, Gesichtsausdruck, Mundbild).Als Vereinfachung wurde zunachst der Schwerpunkt auf die Erkennung der Chereme der dominantenHand gelegt. Die Erkennung lauft dabei in Echtzeit ab. Um die Datenmenge einzuschranken muß dasSystem nicht das gesamte Bild analysieren, sondern lediglich farbige Markierungen, die der Benutzer aneinem Handschuh, sowie am Ellenbogen tragt. Fur den nachsten Schritt, die Erkennung der Parameterder nicht-dominanten Hand, wird ein zusatzlicher Handschuh und wieder eine Markierung am Ellenbogennotwendig sein.Die Erkennung lauft in mehreren Schritten ab:

1. Segmentierung → Korperumriß , hautfarbene Regionen, farbige Flachen der Handschuhe, Ellenbo-genmarkierung

2. Merkmalsextraktion → Koordinaten der Schultern und Augen, Merkmale fur farbige Regionen(Flachengroße, Schwerpunkt, Kontakt zweier Flachen, usw.)

3. Vorklassifikationsschritt I: Vergleich mit Handformprototypen (werden in Trainingsschritt aus meh-reren Handstellungen ermittelt)

4. Vorklassifikationsschritt II: Zuordnung der Handposition zu Korperbereichen

5. Vorklassifikationsschritt III: Bewegungserkennung

6. Klassifikation → Erkennung der Gebarde

Das System erzielt je nach verwendeter Gebardendatenbank (jeweils mit 300 Gebarden) Erkennungsratenzwischen 40% (Standarddatenbank) und 100% (benuterabhangige Datenbank). Die Abbildungen 4 und5 zeigen die Funktionsweise von SignPS.

Das System SignRec ([4]) wurde von Hermann Hienz an der RWTH Aachen entwickelt und kann alsErweiterung von SignPS gesehen werden. Ziel war dabei die Erkennung kontinuierlicher Gebardenspra-che. Die Erkennung erfolgt mittels Hidden Markov Modellen kombiniert mit einem Gebardensprachmo-dell. Die Benutzung des statistischen HM-Modells wird notwendig, da sich Gebarden selbst bei ein unddemselben Gebardenden unterscheiden. Diese Variabilitat kann angemessen durch statistische Modellereprasentiert werden. Mogliche Einsatzfelder fur SignRec sind Ubersetzer oder Lernsysteme. Abbildung6 zeigt den Aufbau von SignRec.

GRASP

GRASP ([5]) benutzt zur Erkennung einen Datenhandschuh. Begrundet wird dies mit der Vielzahl an

4 HORHILFEN 14

Abbildung 4: Aufbau von SignPS (Quelle: [3])

Abbildung 5: Videobasierte Erkennung der manuellen Parameter einer Gebarde (Quelle: [3])

4 HORHILFEN 15

feinen Bewegungsmoglichkeiten der Hand und dem hohen Datenaufkommen bei der Videoaufnahme. Ent-wickelt wurde es von Waleed Kadous an der Universitat von New South Wales 1995. Das System erkennt94 verschiedene Gebarden der Australian Sign Language mit 80% Erkennungsrate. Ziel war es dabeiein Gebardenlexikon und als Fernziel einen Ubersetzer zu erstellen. Waleed sieht im Datenhandschuhvor allem den Vorteil, weniger Rechenpower zu benotigen und durch den Wegfall der komplexeren Bild-auswertung schnellere Systeme bauen zu konnen. Das System nutzt symbolische und instanzen-basierteLernalgorithmen zur Erkennung. Die Abbildungen 7 und 8 zeigen den Aufbau von GRASP und dieBenutzung des Datenhandschuhs.

Wearable Computer Based ASL Recognizer

Thad Starner vom MIT entwickelte ein Erkennungssystem fur die amerikanische Gebardensprache ASL([6]). Dabei nutzt er wahlweise eine auf einer Baseball-Mutze oder eine am Arbeitsplatz montierte Ka-mera als Aufnahmegerat. Als Lernmethode nutzt er ein Hidden Markov Modell fur jede Gebarde. DerSchwerpunkt seiner Arbeit liegt auf der Unabhangigkeit eines Nutzers von einem speziellen Arbeitsplatz(der speziell fur die Aufnahme von Gebarden vorbereitet und kalibriert ist) und der Aufnahme des Ge-bardenden ohne Markierungen oder ahnlichem. Die auf der Baseball-Mutze montierte Kamera fokusiertdabei die Hande des Tragenden. Hier liegt auch ein Nachteil dieser Methode: die nicht-manuellen Aus-drucksmittel des Gebardenden sind außen vor. Dennoch erkennt sein System 95% eines 40 Gebardengroßen Lexikons. Abbildung 9 zeigt das System von Starner.

4.3.3 Vor- und Nachteile

Wie bei den einzelnen Systemen deutlich wurde, hat jeder Ansatz seine Vor- und Nachteile. Zunachstsind noch einmal kurz die Schwachen, anschließend die Starken zusammengefaßt:

Nachteile

• Videobasierte Erkennung:

– eingeschrankter Wortschatz→ konnen alle Gebarden erkannt werden? (Stichworte 3D-Welt, Stereokamera, Blickwinkel)

– immenser Rechenaufwand

• Geratebasierte Erkennung:

– Benutzer ist an Gerate gebunden

– Unterschiedliche physische Merkmale der Benutzer

Vorteile

• Videobasierte Erkennung:

– keine an Benutzer gebundene Gerate

– Benutzer kann ”normal” gebarden

• Geratebasierte Erkennung:

– direkte Umsetzung der Gebarden in Daten

– ressourcenschonend

4 HORHILFEN 16

Abbildung 6: Aufbau von SignRec (Quelle: [4])

Abbildung 7: Aufbau von GRASP

4 HORHILFEN 17

Abbildung 8: GRASP in Aktion

Abbildung 9: Die auf einer Baseball-Mutze montierte Kamera und ihr Blickwinkel

4 HORHILFEN 18

4.4 Gebardenerzeugung

Die Erzeugung von Gebarden richtet sich meist auf die Darstellung eines dreidimensionalen Oberkorpersmit Kopf und Handen. Ziel sind dabei multimediale Lexikas oder umfassendere Lernhilfen.

4.4.1 Systeme

Fingerspelling

Fingerspelling bezeichnet das Buchstabieren durch Handzeichen (siehe Abbildung 19). Es setzt also dieBuchstaben der Lautsprache in visuelle Zeichen um. Vor allem die Kommunikation ungeubter Horendermit Gehorlosen wird durch die Moglichkeit des Buchstabierens erleichtert. Fingerspelling ist bei Gehor-losen wenig verbreitet. Das vorgestellte System ermoglicht es eigene Handstellungen zu erzeugen undabzuspeichern. Uber die in Abbildung 10 gezeigte Web-Oberflache konnen Worter eingegeben werden,die anschließend in der Grafik-Ausgabe buchstabiert werden.

3DSign

Ziel dieses Projektes ist die Entwicklung eines computer-unterstutzten Trainingssystems fur Gebarden-sprache zu entwickeln. Mit dessen Hilfe soll es moglich sein Gebarden aufzuzeichnen, zu editieren undschließlich zu visualisieren. Das Projekt wird an der Polytechnischen Universitat von Oberosterreichin Hagenberg umgesetzt ([7]). Zur Aufnahme von Gebarden werden Datenhandschuhe verwendet. Dieaufgenommenen Gebarden werden in ein 3D-Modell konvertiert in einer Datenbank gespeichert und an-schließend mit einer kommerziellen 3D-Grafiksoftware in eine Lernumgebung integriert. Die Gebarde-nanimationen konnen dabei aus einem beliebigen Blickwinkel und in Einzelschritten betrachtet werden.Diese Art der Interaktion erweitert den Nutzen der Lernsoftware erheblich. Letztendlich ist dies auch derGrund dafur, daß die bis dato integrierten Videos durch Animationen ersetzt wurden. Abbildung 11 zeigtdie Oberflache des Lexikon mit integrierter Gebardenanimation.

4.5 Lippenlesen

Wie eingangs beschrieben ist lediglich ein geringer Teil der Gehorlosen vollstandig taub. Fur den Großteilbietet Lippenlesen eine erganzende Hilfe fur die Kommunikation.

4.5.1 Ubersicht

Das CSLU-Toolkit des Oregon Graduate Institute bietet die Moglichkeit eigenstandige Anwendungen imBereich der Sprachverarbeitung und Visualisierung zu erstellen. Hier soll daraus nun BaldiSync vorgestelltwerden mit dessen Hilfe an der Tucker-Maxon-Oral-School Lippenlesen unterrichtet wird. Entwickeltwurde das System seit 1997 am C enter for Spoken Language U nderstanding (CSLU) at Oregon GraduateInstitute unter Mitwirkung des Perceptual Science Laboratory (PSL) at the University of California atSanta Cruz.

4.5.2 Aufbau des Tools

BaldiSync besteht aus vier Teilen:

• 3D Gesichtsanimation (Baldi)

• Sprachgenerierung (text-to-speech)

• akustische Spracherkennung (→ Kontrolle)

• videobasierte visuelle Spracherkennung (← Lippenlesen + Mimik)

4 HORHILFEN 19

Abbildung 10: Die Web-Oberflache zum Buchstabieren von Wortern

Abbildung 11: Das Lexikon mit Gebardenanimationen

5 ZUSAMMENFASSUNG 20

Die videobasierte visuelle Spracherkennung ist allerdings erst in Entwicklung.Wie in Abbildung 12 zu sehen ist, kann der animierte Kopf frei im Raum gedreht werden. Teile des Kopfeskonnen ausgeblendet werden. So kann zum Beispiel nur die Zunge angezeigt werden. Die Kopfoberflachekann sowohl transparent dargestellt werden, als auch mit einer Textur (also mit Haut und Haar) versehenwerden. Die Gesichtzuge konnen unterschiedliche Gefuhlsausdrucke annehmen oder auch Kombinationendaraus. Abbildung 14 zeigt die Bedienoberflache fur die Einstellungen.BaldiSync integriert einen Text-to-Speech- und einen Spracherkenner in eine gemeinsame Oberflache.Dabei kann fur die Erzeugung von Sprache aus dem eingegeben Text unter verschiedenen Sprachengewahlt werden. Das generierte Sprachsignal wird dann mit einer Animationsausgabe gekoppelt. Hierist es auch moglich nur Ausschnitte des Signals anzeigen zu lassen. Bild 13 zeigt die Oberflache vonBaldi-Sync.

4.5.3 Praktischer Einsatz

Als Teil von weiteren mit dem CSLU-Toolit erstellten Anwendungen wird BaldiSync an der Tucker-Maxon Oral School eingesetzt. Die Schule war zu jeder Phase an der Entwicklung des Toolkit beteiligt.Im folgenden sind zwei Beispielszenarien angefuhrt. Baldi spricht hier Worter vor und kontrolliert dieAussprache der Schuler.

• Beispiel I: SprachtherapieDem Patienten werden Worter mit minimalem Unterschied vorgespielt: ”mail“ - ”veil“. Der Patientmuß nun

– 1. ein Wort horen und auf das entsprechende Bild zeigen und

– 2. zwei Worte horen und sagen, ob beide gleich sind.

• Beispiel II: Erdkunde-UnterrichtDen Schulern werden verschiedene geographische Merkmale gezeigt. Die Schuler mussen nun dieMerkmale sprachlich umsetzen, i.e. sie mussen sagen, was sie sehen. Die Bewertung erfolgt mit Hilfeeines Spracherkenners, der Einstellungen fur verschiedene Erkennungslevel (je nach Fahigkeit derSchuler) ermoglicht.

5 Zusammenfassung

Wie wir gesehen haben, sind Gebardensprachen komplexe, naturliche Sprachen mit vollstandiger Gram-matik. Dies erleichtert den technischen Umgang mit diesen Sprachen erheblich. Naturliche Interaktionzwischen Gehorlosen und Maschinen erfordert entsprechende auf Gehorlose ausgerichtete Schnittstellen.Ist es bei nicht vollstandig gehorlosen Menschen teils moglich technische Hilfsmittel zur Verfugung zustellen, die eine Annaherung an ”normales“Horen ermoglichen, so ist es bei Gehorlosen ohne Resthorver-mogen unumganglich neue Interaktionsmoglichkeiten zu schaffen. Die hier vorgestellten bisher vorhan-denen Losungen zeigen, daß gehorlosen-gerechte Schnittstellen mit vertretbarem Aufwand realisierbarsind. Bisher fehlt es aber an einer Integration der erkennenden und der erzeugenden Systeme zu einerGesamtschnittstelle. Auch sind die vorgestellten Systeme wegen des erheblichen Rechenaufwands oderder umstandlichen technischen Apparaturen in der Praxis kaum einsetzbar. Aber mit dem zunehmendentechnischen Fortschritt auf diesem Gebiet rucken praxisgerechte Losungen immer naher, von denen nichtzuletzt auch allgemeine Benutzerschnittstellen profitieren wurden.

5 ZUSAMMENFASSUNG 21

Abbildung 12: Unterschiedliche Blickwinkel auf Baldi

Abbildung 13: Die Bedienoberflache von BaldiSync

A BEISPIELE DER DGS 22

Abbildung 14: Die Einstellungsmoglichkeiten von Baldi

A Beispiele der DGS

A BEISPIELE DER DGS 23

Abbildung 15: Strukturen der DGS – Ausfuhrungsstelle und Bewegung

A BEISPIELE DER DGS 24

Abbildung 16: Strukturen der DGS – Numerus

A BEISPIELE DER DGS 25

Abbildung 17: Strukturen der DGS – Inkorporation von Objekten im Verb

A BEISPIELE DER DGS 26

Abbildung 18: Strukturen der DGS – Subjekt- und Objektinkorporation

A BEISPIELE DER DGS 27

Abbildung 19: Das Fingeralphabet

LITERATUR 28

Literatur

[1] Butterworth et al, “The Perigee Visual Dictionary of Signing” , Berkeley Publ. Group 1995

[2] Franz Dotter, Gebardensprache in der Gehorlosenbildung: Zu den Argumenten ihrer Gegner, in: Das Zeichen

5 (1991), S. 321-332 und in: Der Sprachheilpadagoge 23 (1991), Heft 3, S. 27-50

[3] Hermann Hienz, Sign Writing using a video-based input system, in: Kraiss, K.-F., ed.: Bi-Annual Report

1997/98, pp. 30-33, Shaker-Verlag Aachen (1999)

[4] Hermann Hienz, Sign language recognition based on statistical methods, in: Kraiss, K.-F., ed.: Bi-Annual

Report 1997/98, pp. 34-37, Shaker-Verlag Aachen (1999)

[5] Waleed Kadous, GRASP: Recognition of Australian Sign Language using instrumented gloves, University of

New South Wales, Schools of Electrical Engineering and Computer Science & Engineering, 1995

[6] Thad Starner, A wearable computer based American Sign Language Recognizer, The Media Laboratory, MIT

[7] 3DSign Fachhochschule Hagenberg, Osterreich,

Website: http://www.fhs-hagenberg.ac.at/mtd/projekte/FFF/3dSign/index.html

[8] Markus Kohler, Vision Based Hand Gesture Recognition Systems, Universitat Dortmund