Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze

Seminar 24. Mai 2004

Wahrnehmunggesprochener Sprache

Wahrnehmunggesprochener Sprache

Glenn Schütze

2Seminar 24. Mai 2004

Gliederung

1. Akustisches Sprachsignal2. Sprachwahrnehmung

1. Motorische Theorie2. Kategorien3. Kontinuum (neues Paradigma)4. Experimente

3. Lauttrennung / Variation des Sprechers4. Sprachliches Vorwissen5. Weitere Modelle6. Fragen


Akustisches Sprachsignal

AkustischesSprachsignal



• Beschreibung des Sprachsignals• Phoneme

• Kleinste lautliche Segmente• Bedeutungsunterscheidend, aber nicht

bedeutungstragend

• Phonetische Merkmale• Physische Bewegung des Stimmtraktes

• Als akustisches Signal• Schall des eigentlichen Signals• Zeitabhängige Frequenz- und Intensitätsmuster



• Phoneme• Zerlegung des Signals in Einheiten• Beziehen sich auf Laute, nicht Buchstaben• Bsp.:

• /b/ bedeutungsunterscheidend, trägt aber keine Semantik

• Phonem ohne Hilfe von „Frequenz“ definiert, sondern als Laut

Bier /b/ /i:/ /R/Pier /p/ /i:/ /R/Biel /b/ /i:/ /l/



• Phonetisches Merkmal• Definiert über Produktion des Lautes im

Stimmtrakt• Dadurch: Beschreibung der Phoneme• Sonorität (stimmhaft, stimmlos)

• /d/ und /f/

• Artikulationsstelle (Verschluss-, Reibelaute)• /d/ und /f/

• Differenzierung sehr viel umfangreicher als hier angegeben



• Akustisches Sprachsignal (physikalisch)• Betrachtung der Frequenz, Intensität im

zeitlichen Verlauf• Dadurch: Sprachsignalmerkmal

• Teil des akustischen Signals• Abbildung auf Phoneme

• Formant• Vokal

• Formantenansatz• Konsonant

• Abhängig von der Stellungdes Stimmtrakts



• Zusammenfassung• Akustisches Sprachsignal in Phoneme

aufgliederbar• Phoneme beschreibbar mit

Sprachsignalmerkmalen

• Problem• Zusammenhang zwischen akustischen

Sprachsignalen und gehörten Lauten• Sprachwahrnehmung


Sprachwahrnehmung

Sprachwahrnehmung


Sprachwahrnehmung

• Idealisierendes Modell

Sprachproduktion

Auditives System

Wahrnehmung des Sprachproduktes

Akustisches SignalPhonemeMuster von Schalldruckschwankungen mit verschiedenen Frequenzen

DekodierungReanalyse als Phonem


Sprachwahrnehmung

• Problem• Es gibt keinen konstanten Zusammenhang

zwischen Phonemen und Mustern der Druckschwankungen

• Begründung• Variabilität

• Problem der Bildung von Einheiten aus dem Sprachsignalfluss


Sprachwahrnehmung - Variabilität

• Variabilität• Keine 1:1 Zuordnung von Phonemen zu

Sprachsignalmerkmalen• Kontext der Phoneme verändert

Sprachsignalmerkmale



• Wahrnehmungskonstanz

Phonem X

Akustisches Signal A

Akustisches Signal B

Akustisches Signal C

.

.

.



• Arten der Variabilität• Individuumsabhängig• Regionsabhängig• Geschlechtsabhängig• Artikulationsabhängig

• Bsp.:„Ich gehe heute ins Kino.“



• Problem wegen Variabilität• Bildung von Einheiten

(es gibt normalerweise keine Pausen)


Sprachwahrnehmung

• Fragen• Existieren spezifische Mechanismen

für die Sprachwahrnehmung?• Abgrenzung zum allgemeinen auditiven System

• Existieren Informationen zur Trennung im Signalfluss?

• Ist sprachliches „Vorwissen“ relevant?


Motorische Theorie

Motorische Theorieder

Sprachwahrnehmung


Motorische Theorie

• Motorische Theorie der Sprachwahrnehmung• Nach Liberman (1967)• Postulat

• Sprache als Signalform, die erzeugt und wahrgenommen wird

• Ein spezifisches System • Hypothetisches, neuronales Netz


Motorische Theorie

• Modell nach Liberman

Dekodierungsmechanismus

Phonetische Merkmale

Von den Merkmalenerzeugte Laute

Verarbeitungs-Einheit für Phoneme

Sprachsignal

Sprachwahrnehmung

Reproduktion der Aktivität im Stimmtrakt


Motorische Theorie

• Sprache behandelt als etwas Besonderes

• Durch Ermittlung phonetischer Merkmale• Problem der Variabilität vermieden

• Bis hierhin: Modell


Experimente zu Liberman

Experimente zu

Liberman



• Empirische Belege / Experimente• Kategoriale Wahrnehmung• McGurk-Effekt• Duale auditive Wahrnehmung



• Kategoriale Wahrnehmung• Idee

• Experiment• Phonem-Identifizierung • Phonem-Unterscheidung

SprachsignalBegrenzte Anzahl

von Wahrnehmungs-kategorien



• Identifizierung der Phoneme• Schrittweise Veränderung der

Vokaleinsatzzeit von /da/ zu /ta/

Nach Eimas und Corbit (1973)



• Unterscheidung der Phoneme• A, B, C Phoneme• Darbietung: A B C,wobei A ≠ B und

C = A oder C = B• Schlechte Unterscheidung innerhalb einer

Kategorie, sonst gut• Autoren schließen (Grundsatz der

kategoriellen Wahrnehmung)• Laute unterscheidbar nur bei vorheriger

Kategorisierung



• Neues Paradigma (statt Kategorie, Kontinuum)• Experiment

• Einschätzung der Laute eines Kontinuums zwischen 2 Kategorien

• Probanden konnten Grad (!) der Zugehörigkeit sehr gut einschätzen (nach Massaro, Cohen 1983)

• Obwohl Sprachwahrnehmung nicht kategorisch, auf Kommunikationsebene kategorisch

Sprachwahrnehmungs-ebene

Sprachwahrnehmungs-ebene

Kommunikations-ebene

Kommunikations-ebene

KategorischKategorisch Nicht kategorisch



• Nachweis der Kategorien auch bei• Geräuschen• Summen• Musik• Affen, die über keine Sprache verfügenDurch Miller, Pisoni, Zatorre, Halpern (1976-1979)

• Andere Richtung• Nicht kategorisch, sondern fortlaufend• Neues Modell nötig



• McGurk-Effekt• Person im Video spricht /ga-ga/• Zu Hören ist /ba-ba/• Proband nimmt wahr /da-da/

• Verbindung zwischen auditivem und visuellem System

• Existiert Sprachverarbeitungssystem

• Benutzung aller Informationen zur Analyse des Signals



• McGurk-Effekt bei nichtsprachlichen Signalen• Video Cellosaite wird gezupft• Ton Saite wird gestrichen• Proband sieht gestrichene Saite• Proband hört gezupfte Saite

• Effekt ist schwächer als bei Sprache• Aber: Infragestellen des spezifischen

Sprachverarbeitungsmechanismus(Saldana und Rosenblum 1993)



• Duale auditive Wahrnehmung

Linkes Ohr Rechtes Ohr

Zu hören:Zirpen

Zu hören:/da/

Whalen und Liberman 1987



• Anhänger Libermans: zwei Wahrnehmungsweisen• Sprachmodus

• Fügt alle Informationen zusammen

• Allgemeiner auditiver Modus

• Aber• Auch duale auditive Wahrnehmung bei

nichtsprachlichen Signalen• Fowler und Rosenblum (1990)

• Wissenschaftliche Debatte hält an


Lauttrennung / Variationen des Sprechers

Lauttrennungund

Variationen des Sprechers



• Lauttrennung• Suche nach invariante

Sprachsignalmerkmalen• Analyse von 3D-Frequenzspektren

• Weisen konstante Merkmale auf



• Variation/Normalisierung• Ausgleich von Unterschieden der

Sprechweise verschiedener Sprecherauf der untersten Ebene der Wahrnehmung

• Insbesondere Frequenzen• Experiment mit McGurk (s.o.)

• Visuell Frau• Auditiv männliche Stimme

• Trotzdem McGurk-Effekt• Folgerung: Normalisierung findet statt


Sprachliches Vorwissen




• Bisher „Bottom Up“• Von den Lauten zum Verstehen

• Nun „Top Down“

Vorwissen


Sprachwahrnehmung



• Wahrnehmung kontextabhängig• Einheitenbildung

• „DruckERzeugnis“ (Duden)• „I scream, you scream, everybody wants

icecream“ (Chris Barber)

• Semantik, Syntax• Experiment (Isard, Miller 1963)

• Vermischten normale, grammatisch richtige Sätze, anomale und falsche Sätze

• Hörer sprach nach (shadowing)• 89, 79, 56% jeweils richtig nachgesprochen

• Semantische, syntaktische Regeln werden für die Wahrnehmung verwendet



• Phonemergänzung• Experiment (Warren 1970)• „Legislativkörperschaften“• Husten bei /s/, jedoch keine genaue

Lokalisation, trotzdem /s/ „gehört“

• „Nun kam der Augenblick zu (x)inken“• x ist Konsonant, z.B. x = s, x = w, …• Wenn Szenenthema „Abschied“ dann winken


Weitere Modelle

Weitere ModelleNicht kategorial


Weitere Modelle

• Fuzzy Logical Model of Perception (FLMP)

• Prozesse machen Gebrauch von Prototypen im Langzeitgedächtnis

Auswertung

Integration

Entscheidung

Informationsquellen

Auditiv AiVisuell Vj

ai vj Psychologische Werte

sk Grad der Unterstützung

t

Rk

Transformation in psychologische Werte

Bietet Unterstützungsgradfür jede Sprachalternative k

Auswahl einer der Alternativen


Weitere Modelle

• Voraussetzungen• Jede Informationsquelle wird bewertet

• Bestimmung des Grades um Alternativen einzuschränken

• Informationsquellen werden unabhängig bewertet

• Modell der Mustererkennung • (Massaro 2001)


Schlussbetrachtung

Schlussbetrachtung


Schlussbetrachtung

• Neue Modell werden erforscht• Alte Modelle sind teilweise unzureichend

respektive zu unkonkret

• Disput zwischen Kategoriale und „fortlaufender“ Wahrnehmung hält an


Quellen

Quellen


Quellen

• Wahrnehmungspsychologie• Allgemeine Grundlagen• Goldstein (1997)

• Speech Processing• Aktuelle Forschung• Zeng, F.G. (1999)

• Grundfragen der allgemeinen Sprachwissenschaft

• Kommunikationsmodell• Saussure (1931)


Fragen

Documents

Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze