Vorlesung Biosignale und Benutzerschnittstellen - CSL · 3 -hrung Informationen zur Vorlesung Weiterführende Vorlesung im Hauptdiplom • Spezielle Vorkenntnisse sind nicht erforderlich

1 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

Biosignale und Benutzerschnittstellen

Einführung / Überblick

Taxonomie / The Big Picture

Vorstellung des Cognitive Systems Lab

Prof. Dr. Tanja Schultz

Dipl.-Math. Michael Wand

Vorlesung WS 2012/2013

2 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Überblick

• Allgemeine Informationen

• Vorstellung der Vorlesung und des Lehrstuhls

• Angebote

• Einführung Biosignale

• Definition, grundlegende Eigenschaften

• Taxonomie der Biosignale

• Angebote für Studenten

3 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Informationen zur Vorlesung

Weiterführende Vorlesung im Hauptdiplom

• Spezielle Vorkenntnisse sind nicht erforderlich

• Prüfung möglich in Kognitive Systeme und Anthropomatik

Vorlesung im Bachelor-/Master-Studiengang

• Teil verschiedener Module, passende Praktika/Seminare werden angeboten

• Bitte konsultieren Sie das Modulhandbuch oder fragen Sie uns

Turnus:

• Jährlich im WS, 4+0 oder 6 ECTS-Punkte

• Prüfungen ganzjährig während des Semesters

Termine:

• Wöchentlich Di und Do, 14:00 – 15:30

• Infobau 50.34: Dienstags Raum -102, Donnerstags Raum -101

DozentInnen:

• Prof. Dr. Tanja Schultz

• Dipl.-Math. Michael Wand

4 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Informationen zur Vorlesung

• Alle Vorlesungsunterlagen befinden sich unter

http://csl.anthropomatik.kit.edu

• Alle Folien als pdf

• Aktuelle Änderungen, Ankündigungen, Syllabus

• Gegebenenfalls zusätzliches Material (Papers)

• Grundlagen für Prüfungen:

• Vorlesungsinhalt, Folien + zusätzliches Material

• Fragen, Probleme und Kommentare sind jederzeit während der Vorlesung willkommen, oder im persönlichen Gespräch:

• Tanja Schultz ([email protected])

• Michael Wand ([email protected])

• Sprechstunden Tanja Schultz nach Vereinbarung

5 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Allgemeine Informationen: CSL

• Lehrstuhl für Kognitive Systeme seit 1. Juni 2007

• Karlsruher Institut für Technologie, Fakultät für Informatik

• Institut für Anthropomatik

• Neugründung des Cognitive Systems Laboratory (CSL)

• Homepage: http://csl.anthropomatik.kit.edu

• Laborgebäude Informatik 50.21, 1.OG (neben der alten Kinderklinik)

• Kontakt:

• Prof. Dr.-Ing. Tanja Schultz

[email protected]

+49 721 608 46300

• Frau Helga Scherer (für Prüfungstermine, Rückfragen etc.)

[email protected]

+49 721 608 46312

• Michael Wand (einfach vorbeikommen oder Termin vereinbaren)

[email protected]

+49 721 608 44043

6 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

Technologien und Methoden:

Erkennen, Verstehen, Identifizieren

Statistische Modellierung, Klassifikation, ...

Anw

endungsf

eld M

ensc

h-M

asch

ine

Inte

rakti

on

Her

asusf

ore

rder

ungen

und A

ufg

agen

:

Pro

dukti

vit

ät u

nd U

sabil

ity

Kommunikation des Menschen mit seiner Umwelt

im weitesten Sinn:

Sprache, Bewegung, Biosignale A

nw

endungsfeld

Men

sch-M

ensch

Kom

munik

ation

Herau

sford

erung u

nd A

ufg

aben

:

Sprach

envielfalt, k

ultu

relle Barrieren

Aufw

and u

nd K

osten

Forschung: Human-Centered Technologies

7 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Lehre am CSL

Vorlesungen im Wintersemester

Alle Informationen im Web: http://csl.anthropomatik.kit.edu > Lehre

• Biosignale und Benutzerschnittstellen

• 4+0 oder 6 ECTS-Punkte, prüfbar in Kognitive Systeme und Anthropomatik

• Einführung in Erfassung und Interpretation von Biosignalen, Anwendungsbeispiele

• Design und Evaluation innovativer Benutzerschnittstellen

• 2+0 oder 3 ECTS-Punkte

• Freitags 11.30 Uhr

• Designbetrachtungen zu Benutzerschnittstellen

8 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Lehre am CSL

Vorlesungen im Wintersemester

Alle Informationen im Web: http://csl.anthropomatik.kit.edu > Lehre

Seminare und Praktika

• Multilingual Speech Processing

• Entwicklung eines Spracherkennungssystems auf Basis des RLAT-Web-Toolkits

• Fragen an [email protected]

• Praktikum Biosignale 2: Emotion und Kognition

• Erkennung von Benutzerzuständen / Emotionen

• Praktischer Systembau einschl. Experimentdesign

• Melden bei [email protected]

mailto:[email protected]


9 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Lehre am CSL

Regelmäßige Veranstaltungen im Sommersemester

• Vorlesung Multilinguale Mensch-Maschine Kommunikation

• 4+0, prüfbar in Kognitive Systeme und Anthropomatik

• Einführung in die automatische Spracherkennung und -verarbeitung

• Signalverarbeitung, statistische Modellierung, praktische Ansätze und Methoden, Multilingualität

• Praktikum: Biosignale

• Praktische Entwicklung eines autom. Bewegungserkennungssystems

• Eigenes Experimentdesign

• Verschiedene Biosensoren (Beschleunigungssensoren, EMG)

• Spannend und praxisorientiert

Angaben ohne Gewähr

10 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Lehre am CSL

Regelmäßige Veranstaltungen im Sommersemester

• Vorlesung Methoden der Biosignalverarbeitung

• 2+0, prüfbar in Kognitive Systeme und Anthropomatik

• Vertiefende Betrachtung von Algorithmen, Schwerpunkt moderne Vielkanalsignale (Quellenseparation/Beamforming/Filterung)

• Trainingsmethoden, Daten- und Entscheidungsfusion

• Vorlesung Kognitive Modellierung

• Modellierung menschlicher Kognition und menschlichen Affekts im Kontext der Mensch-Maschine-Interaktion

Weitere Veranstaltungen im Wechsel

Angaben ohne Gewähr

11 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Allgemeine Information: Ziel der Veranstaltung

Ziele der Vorlesung Biosignale • Überblick über die Biosignale des Menschen

• Physiologische Grundlagen, Entstehung von Biosignalen

• Fokus auf elektrische, mechanische, akustische Biosignale

• Weniger: Thermische und chemische Biosignale

• Überblick über die Biosignalverarbeitung

• Messtechnik, Biosensoren, Versuchsanordnung

• Signalverarbeitung

• Klassifikations- und Erkennungsmethoden

• Algorithmen, Methoden, Modelle

• Darstellung der Mensch-Maschine Interaktion

• Welche Biosignale könnte man für Benutzerschnittstellen einsetzen

• Wie wird ein solches System gestaltet, wie verwendet & evaluiert?

• Anwendungsbeispiele aus der Forschung

12 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Vorlesungen zu verwandten Themen

• Mensch-Maschine-Wechselwirkungen in der Anthropomatik (Beyerer)

• Schwerpunkt: Ergonomische Mensch-Maschine Schnittstellen

• Mensch-Roboter-Kooperation (Burghart)

• Schwerpunkt: Herausforderung Humanoide Roboter

• Visuelle Perzeption für Mensch-Maschine-Schnittstellen (Stiefelhagen)

• Schwerpunkt: Bewegung, Gestik und Mimik

• Gesten- und Gesichtserkennung, Lokalisation von Personen

• Multilinguale Mensch-Maschine-Kommunikation (Schultz)

• Schwerpunkt: Biosignal Sprache

• Spracherkennung, -synthese, und -übersetzung

• E&I-Technik – Institut für Biomedizinische Technik (Dössel/Bolz)

• Bildgebende Verfahren / Messtechnik

13 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Überblick



• Angebote





14 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Einführung Biosignale

• Der menschliche Körper besteht aus ca. 75·1012 Zellen, davon etwa 25·109 Nervenzellen (Neuronen)

• Die Funktionsfähigkeit des menschlichen Organismus wird von lebenden Zellen und Zellverbänden gewährleistet

• Deren Aktivitäten lassen sich als physikalische Größen messen

• Diese Größen bezeichnet man als Biosignale

• Chemische und elektrische Biosignale bewerkstelligen die

• Steuerung

• Regelung

• und Informationsübertragung

• ... im menschlichen Organismus Regelkreis

Biosignale ermöglichen das geordnete Zusammenspiel im Gesamtsystem Mensch

15 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Definition Biosignale

Definition Biosignal Biosignale sind autonome, vom lebenden Organismus erzeugte energetisch-stofflich messbare physikalische Größen

Definition Biosignal (DIN 44300) Nachrichten, die von physikalischen (ggf. chemischen) Aktionen des menschlichen Körpers ausgehen

16 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignale des Menschen

Mensch i

i

x

bix

Elektrische Größe (Potential, Strom, Widerstand) Mechanische Größe (Kraft, Druck, Bewegung) Akustische Größe Thermische Größe (Temperatur, Wärmemenge) Chemische Größe (Konzentration, pH, olfaktorisch)

Energie E, Stoff m, Zeit t

bix = f(i,x,t,E,m)

Beispiele für physikalisch messbare Biosignale bix des Menschen i an Ort x

17 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Taxonomie Biosignale

Biosignale

Mechanische Biosignale

Elektrische Biosignale

Akustische Biosignale

Chemische Biosignale

Sprache

Nichtsprachl. Artikulation

Hirn EEG

Augen EOG

Muskeln EMG

Herz EKG Bewegung

Mimik

Wärme MEG/PET

fMRI Körper-

geräusche

Thermische Biosignale

Gestik

18 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignale: Zusammenspiel im Organismus

Das Zusammenspiel des menschlichen Organismus erstreckt sich von der einfachsten Bewegungen der Muskeln bis zu den kognitiven Leistungen des Gehirns.


• Z.B. Hormone: dienen der Informationsübertragung bei der Regelung von Organfunktionen und Stoffwechselvorgängen

• Chemische Biosignale werden in dieser Vorlesung nicht behandelt

Elektrische Biosignale (auch als Bioelektrische Signale bezeichnet) lassen einfache Rückschlüsse auf die Vitalität zu

• Elektrokardiogramm (EKG) – zeigt die Aktivität des Herzen an

• Elektroenzephalogramm (EEG) – zeigt die Aktivität des Gehirns

• Elektrookulogramm (EOG) – Aktivität der Augen

• Elektromyogramm (EMG) – Aktivität der Muskeln

19 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Benutzerschnittstelle

Für die folgenden Begriffe gibt es mehrere gültige Definitionen in Abhängigkeit von Zielsetzung und Voraussetzungen

• Bezugswelt: wer nimmt am Prozess teil

• Menschen >> Tiere >> technische Geräte

• Voraussetzung: wird Intention einbezogen

• Verhalten (Beschreibung rein äußerlich beobachtbarer körperlicher Bewegungen und deren Produkte)

• Handeln (Bewusstseinsprozesse im weitesten Sinn: Vorstellungen, Gedanken, Folgerungen, Planung)

Soziologie, Psychologie, Pädagogik

• Bezugswelt Mensch, Wechselseitigkeit von Handlung

In der Informatik – Informationstheorie

• Erweiterung Bezugswelt Mensch auf Computer, System

• Wechselseitigkeit zwischen Maschinen und Komponenten

20 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Kommunikation, Interaktion, Kooperation

Aus Soziologie, Psychologie, Pädagogik verwenden wir folgende Begriffe:

• Kommunikation:

• Wechselseitiges Übermitteln von Signalen, die für die Beteiligten eine Bedeutung haben

• Interaktion:

• Aufeinander bezogenes Handeln zweier oder mehrerer Personen

• Kooperation:

• Zusammenwirken von Handlungen zweier oder mehrerer Lebewesen, meist (aber nicht immer) zum gegenseitigen Nutzen

• Ist zur Kooperation Anstrengung vonnöten, spricht man auch von Kollaboration

21 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Kommunikation, Interaktion, Kooperation

In der Informatik/Informationstheorie definiert man entsprechend

Definition Kommunikation:

• Übertragung oder Austausch von Information (Sender-Empfänger)

Definition Interaktion:

• Wechselseitiges aufeinander Einwirken von Akteuren oder Systemen

Definition Kooperation:

• Zusammenarbeit insbesondere zum gegenseitigen Nutzen

• Kooperation Mensch/Maschine: Natürlich sollte hier der Mensch den größten Nutzen haben

Im Zusammenhang mit der Beziehung Mensch-Maschine

• Werden Interaktion und Kommunikation oft gleichgesetzt

• Mensch-Maschine Interaktion = Mensch-Maschine Kommunikation

22 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Aufnahme und Verarbeitung von Reizen

Um

wel

t

Um

wel

t

Aufnahme: 109 bit/s Abgabe: 107 bit/s

Bewusstsein 101 – 102 bit/s

(der Rest wird entweder unbewusst verarbeitet oder gar nicht verwendet)

Sehen Hören Tasten Riechen Schmecken

Sprechen Bewegen Schreiben

bit/s = Informationsfluss, zum Vergleich: Buchstabe 4bit, Buchseite ca.1000bit 1 Seite lesen in 20sec = 50bit/s, Fernsehbild 106 bit/s (Gay, 1978)

23 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignale und Benutzerschnittstellen

Biosignale Biosignale

Maschinensignale Maschinensignale

Biosignale

Mensch-Mensch-Kommunikation

Mensch-Maschine Interaktion


Maschine / technisches

System

Maschinen-gestützte Mensch-Mensch-Kommunikation

24 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Repräsentation vs. Information

Biosignale sind unerlässlich für die Übertragung von Informationen und somit für die Kommunikation und Interaktion des Menschen mit seiner Umwelt

• Wichtig dabei ist die Bedeutung bzw. die Information der Biosignale, nicht die konkrete energetisch-stoffliche Repräsentation

• Welche Eigenschaften des Biosignals sind wichtig, um für den Transport von Information geeignet zu sein/ eingesetzt zu werden?

• Wie müssen Biosignale beschaffen sein, um den Informationstransport zu ermöglichen?

25 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Modell der Informationsübertragung

Sender Empfänger

Ges

end

ete

Info

rmat

ion

Emp

fangen

e Info

rmatio

n

Statistik

Syntax

Semantik

Pragmatik

Apobetik

übertragenes Signal empfangenes Signal

verwendeter Code verstandener Code

mitgeteilte Gedanken verstandene Bedeutung

erwartete Handlung ausgeführte Handlung

beabsichtigtes Ergebnis erreichtes Ziel

Shannon´s Informationsbegriff

Nach W. Gitt, 1998

27 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Bewusste vs. Unbewusste Biosignale

• Mensch-Maschine Interaktion nur auf reproduzierbaren und willentlich beeinflussbaren Biosignalen?

• Sicher richtig, wenn unter MMI die bewusste Steuerung einer Maschine durch den Menschen verstanden wird

• Man kann sich allerdings Anwendungen vorstellen, in dem die Maschine bewusste & unbewusste Biosignale des Menschen interpretiert und daraus eigenständig Handlungen ableitet

• Ein emphatischer Roboter spürt Angst und zieht sich zurück

• Das Telefon leitet auf voicemail wenn Benutzer beschäftigt

• Notwendige Voraussetzung ist ein reproduzierbares Biosignal

Willentlich NICHT beeinflussbare

Biosignale

Willentlich beeinflussbare

Biosignale

Biosignal

28 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Willentlich vs. Nicht Willentlich

Wie gut lassen sich Biosignale willentlich beeinflussen?

Biosignal Gut Mittel Schlecht Kommentar

EEG X Langsame Potentiale

EMG X X Stochastisches Signal

EKG X X Atmungsmodulation

EOG X Automatische Augenbewegungen

Sprache X X Emotion

Bewegung X X Reflexe, Körpersprache

29 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Menschliche Kommunikation


Sprache Lachen

Räuspern …

Tonfall Stimmlage

…

30 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g


Bewegung Gestik Mimik

…

Menschliche Kommunikation

31 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run



Muskelaktivität Hirnaktivität Herzaktivität Hautleitwert

….

32 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run



Körpertemperatur

33 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

Fühlen

Aufnahme: 109 bit/s Abgabe: 107 bit/s

Bewusstsein 101 – 102 bit/s

bit/s = Informationsfluss, zum Vergleich: Buchstabe 4bit, Buchseite ca.1000bit 1 Seite lesen in 20sec = 50bit/s, Fernsehbild 106 bit/s (Gay, 1978)

Biosignale

Licht Schall Druck Vibration Kälte/Wärme

Duftmoleküle

Schmeckstoffe

Menschliche Wahrnehmung

34 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g





Kommunikation mit Menschen ist natürlich und angeboren • Vielzahl von Kommunikationsformen und –signale

• Interpretation der Signale wird implizit angenommen

• Robust (bei Störungen einzelner Kanäle wird kompensiert)

• Effizient, in Echtzeit und redundant (Widersprüche führen zu Irritationen)

• Adaptiv (lernfähig bei Akzenten, Sprachfehlern, …)

Menschliche Kommunikation

35 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Mensch-Maschine Interaktion

Akustische B

Elektrische B

Thermische B

Mechanische B

Kommunikation/Interaktion mit Maschinen ist NICHT natürlich • Bis dato auf wenige Kanäle und Signalformen beschränkt

• Sind diese Kanäle gestört, bricht Interaktion zusammen

• Interpretation der Signale auf Maschinenseite ist sehr begrenzt

36 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Maschinen-gestützte Kommunikation

Mensch-Mensch-Kommunikation



Maschine

Maschinen-gestützte Mensch-Mensch-Kommunikation

Biosignale

37 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Forschungsziele Biosignale

Mensch-Maschine Schnittstellen nutzen bislang wenige Biosignale

• Effektivität von elektronischen Helfern oft kleiner als erwartet

• Menschliche Bedürfnisse und Situationen weitestgehend ignoriert

ZIEL: Interaktionen bereichern durch weitere Biosignale

• Ganzheitliche Betrachtung des Menschen

• Elektrische Biosignale erlauben den Blick „ins Innere“

• Interpretation von Vorgängen, die der äußeren Betrachtung nicht zugänglich sind: kognitive Beanspruchung, Tätigkeit, Emotionen

• Ergänzt durch Außensicht: Multimodal, robust, redundant

• Mensch-zentrierte Systeme

• Implizite Schnittstellen anstatt explizite Anweisungen

• Maschine versetzt sich in den Menschen, nicht umgekehrt!

• Minimale Beeinträchtigung des Menschen

• Möglichst nicht-invasive Erfassung der Biosignale

• Kooperative Nutzer

38 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Benutzerschnittstellen: Usability

• Usability = Gebrauchstauglichkeit

• Effektivität oder der Wirkungsgrad beschreibt alle funktionalen und nichtfunktionalen Aspekte des Produktes, wie seine Verlässlichkeit und Erhaltbarkeit

• Effizienz beschreibt die Anstrengung des Nutzers, sein Ziel zu erreichen im Verhältnis zu den dazu benötigten Arbeitsschritten.

• Zufriedenheit ist die subjektive Bewertung der Effektivität durch den Nutzer und beschreibt keine technischen Attribute

39 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Vor- und Nachteile Biosignale

• Zufriedenheit – Willentlich vs. Nicht willentlich

• Willentlich: direkte Steuerung möglich

• Unwillentlich: direkte Steuerung eingeschränkt

• Zufriedenheit – Privatsphäre

• Störung der Umgebung (lautes Sprechen in Bibliothek, Meeting)

• Privatsphäre (Mithören vertraulicher Gespräche)

• Zufriedenheit – Tragekomfort, Bequemlichkeit

• Berührungslose Sensoren, keine Kabel

• Keine Schmerzen, keinen Schweiß, keine Beeinträchtigung

• Effizienz – Bandbreite

• Größere kognitive Bandbreite durch Nutzen unbewusster Signale

• Signale mit geringen Bandbreiten (EMG besser als Sprache)

• Effizienz - Mobilität

• Baugröße der Sensoren, Decoder, Verkabelung

• Hände und Augen frei verfügbar (Sprache besser als Text)

40 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Vor- und Nachteile Biosignale

• Effizienz – Throughput

• Handschrift, Tippen, Sprache

• Bewegung, Gestik, Mimik

• Effektivität – Robustheit (Decoder)

• Umwelteinflüsse wie Hintergrundgeräusche

• Temperatur, Feuchtigkeit

• Wasser – Tauchen, Dunkelheit – Labor, Spezialfälle

• Effektivität – Störanfälligkeit

41 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Überblick - Anwendungsgebiete

Anwendungsgebiete Anwendungsgebiete

Mensch-Maschine-Kommunikation

Mensch-Maschine-Kommunikation

Maschinengestützte zwischenmenschliche

Kommunikation

Maschinengestützte zwischenmenschliche

Kommunikation

Barriere Sprache, Raum, Zeit, Behinderung (sehen, hören, locked-in), ... Barriere Sprache, Raum, Zeit, Behinderung (sehen, hören, locked-in), ...

Sprachübersetzung Räumlich-zeitliche entfernte Kommunikation Eyes/hands-free, mobil Effizienz, Bequemlichkeit, Robustheit, Usability

Sprachübersetzung Räumlich-zeitliche entfernte Kommunikation Eyes/hands-free, mobil Effizienz, Bequemlichkeit, Robustheit, Usability

Nicht- verbal Nicht- verbal

Sprache / Artikulation Sprache / Artikulation

Pantomime Zeichensprache Küssen Körpersprache ...

Pantomime Zeichensprache Küssen Körpersprache ...

Sprach -erkennung -synthese ID Sprecher, Emotion, Topic ...

Sprach -erkennung -synthese ID Sprecher, Emotion, Topic ...

42 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Überblick



• Angebote





43 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Taxonomie Biosignale – Sprache

Biosignale





Sprache


Hirn EEG

Augen EOG

Muskeln EMG

Herz EKG

Bewegung

Mimik

Wärme MEG/PET

fMRI

Körper- geräusche


Gestik

44 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignal Sprache

• Spracherkennung: Von Spracheingabesignal nach Text

• Sprachsynthese: Von Text nach Sprachausgabesignal

• Sprachübersetzung (über Sprachengrenzen): Von Sprachsignal in Sprache L1 zu Sprachsignal in L2 = Spracherkennung + MT + Sprachsynthese

• Sprachverstehen, Zusammenfassen = Von Spracheingabesignal nach Bedeutung

• Sprachaktivität ist aber nicht nur das Was wird gesprochen Wer spricht? → SprecherIDentifizierung Welche Sprache wird gesprochen? → LanguageID Über was wird gesprochen? → TopicID Wie wird gesprochen? → EmotionID Zu wem wird gesprochen? → Focus of Attention

• Übersetzung (über Speziesgrenzen) Beispiel Delphine

45 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignal Sprache





• Sprachaktivität ist aber nicht nur das, was gesprochen wird

• Wer spricht? → SprecherIDentifizierung

• Welche Sprache wird gesprochen? → LanguageID

• Über was wird gesprochen? → TopicID

• Wie wird gesprochen? → EmotionID

• Zu wem wird gesprochen? → Focus of Attention

• Übersetzung (über Speziesgrenzen): Beispiel Delphine

46 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g GALE

• Global Autonomous Language Exploitation:

• Process huge volumes of speech and text data in multiple languages (Arabic, Chinese, English)

Broadcast News, Talk Shows, Telephone Conversations

• Apply automatic technology to spoken and written language:

Absorb, Analyze, and Interpret

• Deliver pertinent information in easy-to-understand forms to monolingual analysts

• Three engines: Transcription, Translation and Distillation

47 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Demonstration GALE – Chinese TV

Mandarin Broadcast News CCTV recorded in the US over satellite

Transforming the Mandarin speech Into Chinese text using Automatic Speech Recognition ASR

Translating from Chinese text into English text using Statistical Machine Translation

SMT

48 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g PDA Speech Translation in Mobile Scenarios

• Tourism

• Needs in Foreign Country

• International Events Conferences

Business

Olympics

• Humanitarian Needs

• Humanitarian, Government

• Emergency line 911

• USA, multicultural population

• Army, peace corps

49 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g RLAT: Rapid Language Adaptation Toolkit

• Major Problem: Tremendous costs and time for development

• Very few languages ( 50 out of 6900) with many resources

• Lack of conventions (e.g. Languages without writing system)

• Gap between technology and language expertise

RLAT: Intelligent system that learns language from user

Develop web-based toolkits for Speech Processing: ASR, MT, TTS

• http://csl.ira.uka.de/spice

• Interactive efficient learning

Interactive learning:

• Solicite knowledge from user in the loop

• Rapid adaptation of language independent models

Efficiency:

• Reduce time and costs by a factor of 10

50 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignal Sprache












51 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Taxonomie Biosignale – Artikulation

Biosignale





Sprache


Hirn EEG

Augen EOG

Muskeln EMG

Herz EKG

Bewegung

Mimik

Wärme MEG/PET

fMRI

Körper- geräusche


Gestik

52 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Information in Sprache

Speech Speech Recognition

Language Language Recognition

Speaker Speaker Recognition

Accent Recognition Accent Recognition

Words Onune baksana be adam!

Language Name TurkishTurkish

Speaker Name UmutUmut

Accent IstanbulIstanbul

: :

: :

Emotion Emotion Recognition

Emotion AngryAngry

Topic ID: Chemicals Entity Tracking: Istanbul Acoustic Scene: Bus Station Discourse Analysis: Negotiation

53 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Speaker Recognition

?

?

?

Identification

? ?

Verification/Detection

Segmentation and Clustering

Whose voice is it?

Is it Sally’s voice?

Tim

Will

Where are the speaker changes?

Which segments are from the same speaker?

54 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

Japanese

Language Identification

• Auswahl Erkenner (bei multilingualer Spracherkennung)

• Anrufweiterleitung (z.B. 911 emergency line)

• Datenanalyse, Auswahl

• Spezialfall: Akzenterkennung

• Optimierung aller Systemparameter auf Sprecherakzent

• E-Language Learning

55 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Identifikation durch Lautsequenzen

• Lautsequenzen als Merkmale

• Simuliert menschliche Vorgehensweise

• Aussprache als grundlegendes Merkmal

• Multilinguale Lautsequenzen

• Effizient: schneller als Spracherkennung

• Robust: Ergebnis > Summe der Teile

• Portabel: Unabhängig von der Sprache

PR L1

PR LN

Lautkette x/C 0.02

a/C 0.62

h/D 0.56

a/D 0.03

id =

argmin

ΣLi PPLi,j

.

.

.

h/D a/D l/D o/D d/D

x/C a/C r/C o/C b/C x/C 0.50

a/C 0.07

PLM 1, L1

PLM k, L1

h/D 0.35

a/D 0.46

PLM k, LN

PLM 1, LN

C

D Lautkette

Merkmal ID-Rate

Sprache 99.9%

Akzent 97.7%

Sprecher 96.7%

Emotion 75%

Fokus

(+ Video)

60%

(92%)

Jin & Schultz, 2002

56 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g FarSID: Far-Field Speaker Recognition

• Originalsignal

• Effekt Echo (mittelgroßer Raum, 1-m Distanz zum Micro):

0.5 sec 1 sec 2 sec

• Effekt Distanz (mittelgroßer Raum, .5-sec Echo):

1 m 2 m 4 m

• Effekt Raumgröße (1-m Distanz, .5-sec Echo)

Klein Mittelgroß Groß

57 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignal Sprache












58 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

• Kommunikation über Sprachgrenzen über Speziesgrenzen

• Zusammenarbeit mit Wild Dolphins Project

• freilebende Atlantis Spotted Dolphins

• Bestimmung, Verhalten, Kommunikation

• Kommunikation mit Delphinen

• Delphine versuchen Kontakt aufzunehmen

• Information 20Mio Jahre alte Spezies

• “Dolphone” und “Delphinisch”

• Lautproduktion, Perzeption, Frequenz, Medium

• Mustererkennung, Extraktion, Clustering,

Statistische Modellierung

• Audio- und Video indexing, archiving, retrieval

• Audioaufnahme, -analyse, -synthese, -übersetzung

http://wilddolphinproject.com

Biosignal Delphinisch

59 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Bis hier: Biosignal Sprache

• Spracherkennung

• Sprachsynthese

• Sprachübersetzung

• Sprachverstehen, Zusammenfassen

• Identifizierung von Sprechern, Sprachen, Themen, Emotionen/Buntzerzustand, etc.

All das (und noch viel mehr) kann man auch mit anderen als Signalen als mit der Schalldruckwelle durchführen!

60 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Taxonomie Biosignale – Vibration + Sprache

Biosignale





Sprache


Hirn EEG

Augen EOG

Muskeln EMG

Herz EKG

Bewegung

Mimik

Wärme MEG/PET

fMRI

Körper- geräusche


Gestik

61 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Robuste und vertrauliche Spracheingabe

• Probleme mobiler Spracherkennung

• Geräuschbehaftete Umgebungen (z.B. Umweltgeräusche, Auto, Cockpit, Parties, ...)

• Privatsphäre (z.B. Telefonieren in Bus/Bahn, in Meetings)

• Spezialfälle: Sprachbehinderungen, Taucher…

• Lösungen:

• Bezüglich Robustheit:

• Skin/bone statt air conducting Microphones

• Kombination beider Mikrophone

• Bezüglich Vertraulichkeit/Privatheit:

• Geflüsterte Sprache

• Lautlose Sprache

62 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignal Körpervibration

• Wenn wir sprechen fungiert unser Körper als Resonanzkörper

• Dadurch vibriert Haut und Knochenstruktur

• Spezielle Mikrophone können diese Vibration messen

• Spracherkennung auch in widrigen Umgebungen (Restaurant, Zug, …)

Nextlink, Ohr-Mic Masur, Zahn-Mic

Nakajima, Stethoskop

Jawbone, headset

Intecs, LUCY Hals-Mic Jou et al., 2004

63 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Taxonomie Biosignale – Muskelaktivität

Biosignale





Sprache


Hirn EEG

Augen EOG

Muskeln EMG

Herz EKG

Bewegung

Mimik

Wärme MEG/PET

fMRI

Körper- geräusche


Gestik

64 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignal Muskelaktivität

• Sprache wird durch Bewegung der Artikulatoren erzeugt

• Kontraktion der Artikulationsmuskeln direkt erfassen

• Elektrische Aktionspotentiale der Muskelzellen

• Reizleitung immer in eine Richtung

• Elektroden messen Potentialdifferenzen

Elektromyographie (EMG) » Sehr beliebt in der Medizin: Nadelelektroden

(fanden unsere Versuchspersonen nicht so gut)

» Oberflächenelektroden

s1

s2

+

_ EMG-signal: s1 - s2

„four four"

„zero zero“

65 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Vorteile der Spracherkennung mit EMG

• EMG erfasst Potentialdifferenzen nicht akustische Signale

• Lautloses Bewegen der Artikulatoren ist ausreichend!

Erkennung lautloser Sprache!

• Robuste Erkennung in widrigen Umgebungen

• Sprachsignal nicht durch Umgebungsgeräusche überlagert

Robuste Erkennung in Restaurant, Flughafen, Bahnhof

• Privatsphäre des Sprechers


Vertrauliche Gespräche in der Öffentlichkeit

• Rücksichtnahme auf Umstehende/Umgebung


Telefonieren stört die Umstehenden nicht (Bibliothek, Bus)

• Sprachbehinderungen

• Hilfe für Personen mit Stimmbandproblemen

66 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

I /i/ you /j/ /u/ we /v/ /e/

I am you are we are

)(

)|()(maxarg)|(maxarg

XP

WXpWPXWP

WW

Hello

Signalerfassung

Vorverarbeitung

Spracherkennung Ausgabe

EMG-basierte Spracherkennung

Audio Reference Label

• Artifact reduction • Feature extraction (typically

special EMG features) • Context features • Compression

67 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Platzieren der Elektroden

• Erfassen der relevanten Muskeln

• Sechs wichtige Artikulationsmuskeln

• Mund-Ringmuskel

• Oberlippenheber

• Mundwinkelheber, -senker

• (Hals-)Hautmuskel

• Mundbodenmuskel

• Minimale Beeinträchtigung der SprecherIn

• Repositionierung

0

10

20

30

40

50

60

70

80

90

100

Wo

rd A

cc

ura

cy

EM

G1

EM

G2

EM

G3

EM

G4

EM

G5

EM

G6

EM

G7

Bes

t-1

Bes

t-4

Bes

t-6

All-

7

Spk1 Spk2 Spk3

Maier-Hein et al., 2005

68 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Platzieren der Elektroden

• Erster Versuch: Spektrale Merkmale

(akustische Spracherkennung)

• Verbesserung 1: Kombination

mit Zeitmerkmalen

• Verbesserung 2: Kombination

mit Wavelets

• Verbesserung 3: Artikulatorische

Merkmale

Jou et al., 2005

69 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Anwendungen

• Anwendung 1: Erkennung lautloser Sprache

• Erkennung einer unhörbar gesprochene Äußerung (Sprache nach Text)

• Ausgabe in textueller Form ODER

• Sprachsynthese = Umsetzung in hörbare Sprache (Text nach Sprache)

• Anwendung 2: Übersetzung lautloser Sprache

• Erkennung einer unhörbar gesprochenen Äußerung (Sprache nach Text)

• Textübersetzung von einer zur anderen Sprache

• Ausgabe der Übersetzung in hörbare Sprache (Text nach Sprache)

• Stellt sich dar wie “Sprechen in einer fremden Sprache” (in Zusammenarbeit mit Prof. Waibel)

70 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

71 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

• Modellierung:

• Geeignete Lauteinheiten, große Vokabulare

• Kontinuierliche Sprache, Koartikulation

• Robustheit: • “Nebengeräusche” durch Kauen, Mimik, Emotion

• Umgebungsvariablen (Haut, Schweiss, Feuchtigkeit, Behaarung)

• Sprecherabhängigkeiten Adaptation

• Nützlichkeit / Anwendbarkeit:

• Erkennung von hörbarer und unhörbarer Sprache

• Elektroden und Signalübertragung

Position,

Größe, Anzahl

Drahtlose Übertragung

• Implantate?

Herausforderungen und Offene Fragen

72 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Taxonomie Biosignale – Elektroenzephalographie

Biosignale





Sprache


Hirn EEG

Augen EOG

Muskeln EMG

Herz EKG

Bewegung

Mimik

Wärme MEG/PET

fMRI

Körper- geräusche


Gestik

73 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Noch einen Schritt weiter …

Anstatt die Muskelkontraktion zu erfassen: Könnte man die Ansteuerung der Muskeln im Gehirn direkt erfassen?

Erfassung der Hirnaktivität

Elektroenzephalogramm (EEG):

• Erfasst elektrische Potentialschwankung in der Großhirnrinde = Aktionspotentiale der Neuronen, sowie synaptische und postsynaptische Potentiale

• Fokus auf Motorischen Kortex (Homunculus) PLUS

• Broca-Region: Artikulation

• Wernicke-Region: Semantik

Lautloses Sprechen → Denken!

homunculus

74 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

ElectroCap

Verstärker/Rekorder

Elektroenzephalogram (EEG)

Vorverarbeitung - Tiefpass - Segmente

Merkmalsextraktion - Pro Elektrode - STFT (54ms) Δ, Δ Δ

Training 5-state HMM 4 iter EM-Training 5-60 Beispiele

“One”

Evaluation - Viterbi für jedes Wort - Wähle Wort Mit max score - cross-validation: “leave-one-out”

75 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Artefakte?

Genauigkeit auf 10 Wörtern

C3 Cz

F7

T3

T5

C4 T4

A1 A2

GND

46.50 %

H+B+W

Fp1

F3

P3

Fz

Pz

Fp2

F4

P4 T6

A1 A2

GND

32.06 %

¬H,¬B,¬W

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

sequentiell Blöcke randomisiert kurze Blöcke

Erk

en

nu

ng

sra

te

Wortreihenfolge

Variation der Wortreihenfolge (gesamt)

Wester & Schultz, 2005

Porbadnigk, 2008

EEG-session1.mov

76 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

Aufnahmegeräte:

ElectroCap

16 Kanal Verstärker

Laptop oder Portabler Recorder

Aufmerksamkeitskontrolle, Planung, Arbeitsgedächtnis

Sprache Sehen

Bewegungskontrolle

Lesen, Verstehen von Symbolen

Extrem vereinfacht!

Benutzerzustand ist durch Aktivitätsmuster auf dem Kortex charakterisiert

Biosignal EEG

• Intelligente Systeme sollen sich auf die Benutzerbedürfnisse einstellen

• Perzeption der momentaner Beschäftigung (liest, spricht, ruht),

• oder Auslastung des Nutzers (workload hoch, …, niedrig)

77 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

Aufmerksamkeitskontrolle, Planung, Arbeitsgedächtnis

Sprache Sehen

Bewegungskontrolle

Lesen, Verstehen von Symbolen

Extrem vereinfacht!

Benutzerzustand ist durch Aktivitätsmuster auf dem Kortex charakterisiert

Elektroencephalogram EEG Entspanntes Gehirn: a-Rhythmus (8-13Hz); Mentale Aktivität: Aktivitätsmuster

Zuhören Ruhen Lesen

Benutzerzustand und Beanspruchung sind durch Aktivitätsmuster charakterisiert

Aktivitätsmuster im Kortex

78 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Taxonomie Biosignale – Muskelaktivität

Biosignale





Sprache


Hirn EEG

Augen EOG

Muskeln EMG

Herz EKG

Bewegung

Mimik

Wärme MEG/PET

fMRI

Körper- geräusche


Gestik

79 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignal Bewegung

• Am CSL besonders vertreten durch SFB 588 „Humanoide Roboter“ • Entwicklung eines humanoiden Roboters (ARMAR)

• 13 Karlsruher Institute von Universität, Forschungszentrum Informatik, Forschungszentrum und Fraunhofergesellschaft

• ARMAR soll den Menschen in dessen Alltagsumgebung unterstützen und mit ihm interagieren

• Fähigkeiten von ARMAR

• Erkennung von Handlungen und Intentionen eines Menschen z.B. anhand von Bewegungen

• Menschenähnliches Verhalten z.B. menschenähnliche Bewegungen

80 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Biosignal Bewegung

Datenerfassung

Bewegungs-erkennung

Bewegungs- generierung

Datenverarbeitung / Bildverarbeitung

Analyse und Segmentierung der

Daten

Statistische Modellierung

Visualisierung

Übertragung

Simulation

Biomechanische Modellierung

Prozess der Bewegungsanalyse

Anforderungs-analyse

81 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Systemarchitektur

Welche Bestandteile benötigen wir, um ein System zur Erkennung/Verarbeitung von Biosignalen zu bauen?

• Wissen über die Entstehung/Eigenschaften des betrachteten Signals!

• Signalerfassung (A/D-Wandlung, Sampling, evtl. Artefaktreduktion)

• Vorverarbeitung (Artefaktreduktion, Featureextraktion)

• Klassifikator

• Training des Klassifikators

• Test des Klassifikators

Signalerfassung und Vorverarbeitung sind besonders abhängig vom zu erkennenden Signal, aber auch die anderen Bestandteile müssen vernünftig gewählt und optimiert werden

Einen Überblick zeigt die folgende Folie.

82 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Systemarchitektur

- Entstehung - Ausbreitung - Ableitung

Signalverarbeitung

- Abtasten, Quantisieren, A/D - Artefactbereinigung, Normalisierung - Extraktion relevanter Merkmale

Decoder - Erkennung - Identifizierung - Verifizierung

Biosignal

Modelle

Wissen

Adaptation - Robustheit - Portierbarkeit - Effizienz

Applikationen

Signalabhängig Applikationsabhängig

83 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Überblick



• Angebote





84 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Vorlesungsankündigung

Design und Evaluation innovativer Benutzerschnittstellen

Vorlesung im Hauptdiplom oder Bachelor/Master (2SWS / 3LP)

Termin: Freitags, 11.30 – 13.00 Uhr

Ort: Gebäude 50.34, UG, Raum -102

Design Evaluation

- How do we combine different modalities (speech, gesture, …)?

- How can we use context to build implicit interfaces?

- How can computers react to users‘ emotions?

- How to make a system survive reality?

-How do humans interact with computers?

- Which modalities do humans use?

- What is a good user interface?

- How can we measure it?

More information on CSL website!!

85 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Elektromyographie – lautlose Sprache

Ziel: Spracherkennung durch (Oberflächen-)Elektromyographie

• Wir messen die elektrischen Aktivierungs- potentiale der Gesichtsmuskeln

• Da wir nur die Bewegung aufnehmen, nicht das akustische Signal, ist lautloses Bewegen der Lippen ausreichend

Motivation: Erkennung lautloser Sprache

• Keine Interferenz lautloses Sprechen stört keine anderen Personen (z.B. in Bibliothek, auf Meetings)

• Robustheit das Signal wird nicht durch laute Umgebung gestört

• Privatsphäre/Vertraulichkeit die Information kann nicht von jemand anderem mitgehört werden

• Sprechen in einer fremden Sprache

• Kombination von lautloser Spracherkennung, Übersetzung und Resynthese

• Medizinische Anwendung kann gewissen sprachbehinderten Personen helfen

86 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Studien/Diplom/Bachelor/Masterarbeiten

Aktuelle Themen in der EMG-basierten Sprachverarbeitung:

• Weitere Untersuchungen zu hörbarer und lautloser Sprache

• Untersuchungen mit Elektrodenarrays

• Neuer Korpus in Entwicklung, viele praktische Experimente möglich

• Algorithmik (Quellenseparation/Beamforming etc.), Systembau (Erkennung/Synthese), Untersuchungen an der Sprache (Intonationsgenerierung)

• Bitte melden bei: [email protected]


87 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

interACT – eine wachsende Kooperation zwischen Carnegie Mellon University

University of Southern California Karlsruher Institut für Technologie

Fondazione Istituto Italiano di Tecnologia National Institute of Information and Communications Technology

Waseda University Hong Kong University of Science and Technology

Nara Institute of Science and Technology

InterACT

88 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g InterACT

• interACT:

• Seit 2004 gemeinsames Forschungszentrum von Carnegie Mellon University (CMU) und Universität Karlsruhe (TH)

• Februar 2007: Erweiterung um Hong Kong University of Science and Technology (HKUST)

• September 2008: Erweiterung um Waseda Universität, Japan

• seitdem schnell gewachsen

• Gemeinsame Forschungsprojekte zwischen den Partnern - Gastvorlesungen, Workshops, Sommerakademien, Studien- und Forschungsaufenthalte

• Begrenzte Zahl von Stipendien für herausragende Studierende, die ihre Studien der Informatik mit einem Forschungsaufenthalt im Ausland verbinden wollen!

UKA-Rektor H. Hippler mit CMU-

Präsident J.L. Cohon während seines

Besuchs an UKA, Sept. 2005

Prof. Tom Mitchell,

Vorlesung an UKA

89 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g

interACT Studenten-Austausch 2004 - 2008

•65 Austausche bislang:

• 1 Post Doc

• 5 PhD

• 34 Diplomarbeiten

• 25 Studienarbeiten

CMU-Präsident J.L. Cohon mit interACT-Studenten

an Universität Karlsruhe, Juni 2006

90 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g interACT Stipendien

• Wer wird gefördert?

Studierende der Informatik und Informationswirtschaft der Universität Karlsruhe (TH), der Carnegie Mellon University, der HKUST und der Waseda University

• Was wird gefördert?

Studien- & Bachelorarbeiten, bis zu 3 Monaten

Diplom- & Masterarbeiten, bis zu 8 Monaten

Doktorarbeiten, bis zu 12 Monaten

• Bewerbungsvoraussetzungen

Mindestens abgeschlossenes Vordiplom

Gute Englisch-Kenntnisse

Betreuender Professor an UKA und der Gastuniversität

interACT Studenten D. Bertram & K.

Steinbach in Prof. Kuffner‘s lab, CMU Bewerbungsfristen und Information: Frau Rödder, [email protected]

91 Bio

sign

ale

un

d B

en

utz

ersc

hn

itts

telle

n -

Ein

füh

run

g Plan der nächsten Vorlesungen

• In den nächsten Vorlesungen werden wir auf die Bestandteile eines Erkennungssystems einzeln eingehen.

Zunächst gibt es allgemeine Grundlagen:

1. Genereller Überblick über den Informationsfluss im menschlichen Körper

2. Signalvorverarbeitung

3. Klassifikatoren

Danach: Einzelne Biosignale, tiefergehende Betrachtungen, Vorstellung aktueller Forschungsarbeiten

Documents

Vorlesung Biosignale und Benutzerschnittstellen - CSL · 3 -hrung Informationen zur Vorlesung Weiterführende Vorlesung im Hauptdiplom • Spezielle Vorkenntnisse sind nicht erforderlich