View
103
Download
0
Category
Preview:
Citation preview
Seminar 24. Mai 2004
Wahrnehmunggesprochener Sprache
Wahrnehmunggesprochener Sprache
Glenn Schütze
2Seminar 24. Mai 2004
Gliederung
1. Akustisches Sprachsignal2. Sprachwahrnehmung
1. Motorische Theorie2. Kategorien3. Kontinuum (neues Paradigma)4. Experimente
3. Lauttrennung / Variation des Sprechers4. Sprachliches Vorwissen5. Weitere Modelle6. Fragen
3Seminar 24. Mai 2004
Akustisches Sprachsignal
AkustischesSprachsignal
4Seminar 24. Mai 2004
Akustisches Sprachsignal
• Beschreibung des Sprachsignals• Phoneme
• Kleinste lautliche Segmente• Bedeutungsunterscheidend, aber nicht
bedeutungstragend
• Phonetische Merkmale• Physische Bewegung des Stimmtraktes
• Als akustisches Signal• Schall des eigentlichen Signals• Zeitabhängige Frequenz- und Intensitätsmuster
5Seminar 24. Mai 2004
Akustisches Sprachsignal
• Phoneme• Zerlegung des Signals in Einheiten• Beziehen sich auf Laute, nicht Buchstaben• Bsp.:
• /b/ bedeutungsunterscheidend, trägt aber keine Semantik
• Phonem ohne Hilfe von „Frequenz“ definiert, sondern als Laut
Bier /b/ /i:/ /R/Pier /p/ /i:/ /R/Biel /b/ /i:/ /l/
6Seminar 24. Mai 2004
Akustisches Sprachsignal
• Phonetisches Merkmal• Definiert über Produktion des Lautes im
Stimmtrakt• Dadurch: Beschreibung der Phoneme• Sonorität (stimmhaft, stimmlos)
• /d/ und /f/
• Artikulationsstelle (Verschluss-, Reibelaute)• /d/ und /f/
• Differenzierung sehr viel umfangreicher als hier angegeben
7Seminar 24. Mai 2004
Akustisches Sprachsignal
• Akustisches Sprachsignal (physikalisch)• Betrachtung der Frequenz, Intensität im
zeitlichen Verlauf• Dadurch: Sprachsignalmerkmal
• Teil des akustischen Signals• Abbildung auf Phoneme
• Formant• Vokal
• Formantenansatz• Konsonant
• Abhängig von der Stellungdes Stimmtrakts
8Seminar 24. Mai 2004
Akustisches Sprachsignal
• Zusammenfassung• Akustisches Sprachsignal in Phoneme
aufgliederbar• Phoneme beschreibbar mit
Sprachsignalmerkmalen
• Problem• Zusammenhang zwischen akustischen
Sprachsignalen und gehörten Lauten• Sprachwahrnehmung
9Seminar 24. Mai 2004
Sprachwahrnehmung
Sprachwahrnehmung
10Seminar 24. Mai 2004
Sprachwahrnehmung
• Idealisierendes Modell
Sprachproduktion
Auditives System
Wahrnehmung des Sprachproduktes
Akustisches SignalPhonemeMuster von Schalldruckschwankungen mit verschiedenen Frequenzen
DekodierungReanalyse als Phonem
11Seminar 24. Mai 2004
Sprachwahrnehmung
• Problem• Es gibt keinen konstanten Zusammenhang
zwischen Phonemen und Mustern der Druckschwankungen
• Begründung• Variabilität
• Problem der Bildung von Einheiten aus dem Sprachsignalfluss
12Seminar 24. Mai 2004
Sprachwahrnehmung - Variabilität
• Variabilität• Keine 1:1 Zuordnung von Phonemen zu
Sprachsignalmerkmalen• Kontext der Phoneme verändert
Sprachsignalmerkmale
13Seminar 24. Mai 2004
Sprachwahrnehmung - Variabilität
• Wahrnehmungskonstanz
Phonem X
Akustisches Signal A
Akustisches Signal B
Akustisches Signal C
.
.
.
14Seminar 24. Mai 2004
Sprachwahrnehmung - Variabilität
• Arten der Variabilität• Individuumsabhängig• Regionsabhängig• Geschlechtsabhängig• Artikulationsabhängig
• Bsp.:„Ich gehe heute ins Kino.“
15Seminar 24. Mai 2004
Sprachwahrnehmung - Variabilität
• Problem wegen Variabilität• Bildung von Einheiten
(es gibt normalerweise keine Pausen)
16Seminar 24. Mai 2004
Sprachwahrnehmung
• Fragen• Existieren spezifische Mechanismen
für die Sprachwahrnehmung?• Abgrenzung zum allgemeinen auditiven System
• Existieren Informationen zur Trennung im Signalfluss?
• Ist sprachliches „Vorwissen“ relevant?
17Seminar 24. Mai 2004
Motorische Theorie
Motorische Theorieder
Sprachwahrnehmung
18Seminar 24. Mai 2004
Motorische Theorie
• Motorische Theorie der Sprachwahrnehmung• Nach Liberman (1967)• Postulat
• Sprache als Signalform, die erzeugt und wahrgenommen wird
• Ein spezifisches System • Hypothetisches, neuronales Netz
19Seminar 24. Mai 2004
Motorische Theorie
• Modell nach Liberman
Dekodierungsmechanismus
Phonetische Merkmale
Von den Merkmalenerzeugte Laute
Verarbeitungs-Einheit für Phoneme
Sprachsignal
Sprachwahrnehmung
Reproduktion der Aktivität im Stimmtrakt
20Seminar 24. Mai 2004
Motorische Theorie
• Sprache behandelt als etwas Besonderes
• Durch Ermittlung phonetischer Merkmale• Problem der Variabilität vermieden
• Bis hierhin: Modell
21Seminar 24. Mai 2004
Experimente zu Liberman
Experimente zu
Liberman
22Seminar 24. Mai 2004
Experimente zu Liberman
• Empirische Belege / Experimente• Kategoriale Wahrnehmung• McGurk-Effekt• Duale auditive Wahrnehmung
23Seminar 24. Mai 2004
Experimente zu Liberman
• Kategoriale Wahrnehmung• Idee
• Experiment• Phonem-Identifizierung • Phonem-Unterscheidung
SprachsignalBegrenzte Anzahl
von Wahrnehmungs-kategorien
24Seminar 24. Mai 2004
Experimente zu Liberman
• Identifizierung der Phoneme• Schrittweise Veränderung der
Vokaleinsatzzeit von /da/ zu /ta/
Nach Eimas und Corbit (1973)
25Seminar 24. Mai 2004
Experimente zu Liberman
• Unterscheidung der Phoneme• A, B, C Phoneme• Darbietung: A B C,wobei A ≠ B und
C = A oder C = B• Schlechte Unterscheidung innerhalb einer
Kategorie, sonst gut• Autoren schließen (Grundsatz der
kategoriellen Wahrnehmung)• Laute unterscheidbar nur bei vorheriger
Kategorisierung
26Seminar 24. Mai 2004
Experimente zu Liberman
• Neues Paradigma (statt Kategorie, Kontinuum)• Experiment
• Einschätzung der Laute eines Kontinuums zwischen 2 Kategorien
• Probanden konnten Grad (!) der Zugehörigkeit sehr gut einschätzen (nach Massaro, Cohen 1983)
• Obwohl Sprachwahrnehmung nicht kategorisch, auf Kommunikationsebene kategorisch
Sprachwahrnehmungs-ebene
Sprachwahrnehmungs-ebene
Kommunikations-ebene
Kommunikations-ebene
KategorischKategorisch Nicht kategorisch
27Seminar 24. Mai 2004
Experimente zu Liberman
• Nachweis der Kategorien auch bei• Geräuschen• Summen• Musik• Affen, die über keine Sprache verfügenDurch Miller, Pisoni, Zatorre, Halpern (1976-1979)
• Andere Richtung• Nicht kategorisch, sondern fortlaufend• Neues Modell nötig
28Seminar 24. Mai 2004
Experimente zu Liberman
• McGurk-Effekt• Person im Video spricht /ga-ga/• Zu Hören ist /ba-ba/• Proband nimmt wahr /da-da/
• Verbindung zwischen auditivem und visuellem System
• Existiert Sprachverarbeitungssystem
• Benutzung aller Informationen zur Analyse des Signals
29Seminar 24. Mai 2004
Experimente zu Liberman
• McGurk-Effekt bei nichtsprachlichen Signalen• Video Cellosaite wird gezupft• Ton Saite wird gestrichen• Proband sieht gestrichene Saite• Proband hört gezupfte Saite
• Effekt ist schwächer als bei Sprache• Aber: Infragestellen des spezifischen
Sprachverarbeitungsmechanismus(Saldana und Rosenblum 1993)
30Seminar 24. Mai 2004
Experimente zu Liberman
• Duale auditive Wahrnehmung
Linkes Ohr Rechtes Ohr
Zu hören:Zirpen
Zu hören:/da/
Whalen und Liberman 1987
31Seminar 24. Mai 2004
Experimente zu Liberman
• Anhänger Libermans: zwei Wahrnehmungsweisen• Sprachmodus
• Fügt alle Informationen zusammen
• Allgemeiner auditiver Modus
• Aber• Auch duale auditive Wahrnehmung bei
nichtsprachlichen Signalen• Fowler und Rosenblum (1990)
• Wissenschaftliche Debatte hält an
32Seminar 24. Mai 2004
Lauttrennung / Variationen des Sprechers
Lauttrennungund
Variationen des Sprechers
33Seminar 24. Mai 2004
Lauttrennung / Variationen des Sprechers
• Lauttrennung• Suche nach invariante
Sprachsignalmerkmalen• Analyse von 3D-Frequenzspektren
• Weisen konstante Merkmale auf
34Seminar 24. Mai 2004
Lauttrennung / Variationen des Sprechers
• Variation/Normalisierung• Ausgleich von Unterschieden der
Sprechweise verschiedener Sprecherauf der untersten Ebene der Wahrnehmung
• Insbesondere Frequenzen• Experiment mit McGurk (s.o.)
• Visuell Frau• Auditiv männliche Stimme
• Trotzdem McGurk-Effekt• Folgerung: Normalisierung findet statt
35Seminar 24. Mai 2004
Sprachliches Vorwissen
Sprachliches Vorwissen
36Seminar 24. Mai 2004
Sprachliches Vorwissen
• Bisher „Bottom Up“• Von den Lauten zum Verstehen
• Nun „Top Down“
Vorwissen
Akustisches Sprachsignal
Sprachwahrnehmung
37Seminar 24. Mai 2004
Sprachliches Vorwissen
• Wahrnehmung kontextabhängig• Einheitenbildung
• „DruckERzeugnis“ (Duden)• „I scream, you scream, everybody wants
icecream“ (Chris Barber)
• Semantik, Syntax• Experiment (Isard, Miller 1963)
• Vermischten normale, grammatisch richtige Sätze, anomale und falsche Sätze
• Hörer sprach nach (shadowing)• 89, 79, 56% jeweils richtig nachgesprochen
• Semantische, syntaktische Regeln werden für die Wahrnehmung verwendet
38Seminar 24. Mai 2004
Sprachliches Vorwissen
• Phonemergänzung• Experiment (Warren 1970)• „Legislativkörperschaften“• Husten bei /s/, jedoch keine genaue
Lokalisation, trotzdem /s/ „gehört“
• „Nun kam der Augenblick zu (x)inken“• x ist Konsonant, z.B. x = s, x = w, …• Wenn Szenenthema „Abschied“ dann winken
39Seminar 24. Mai 2004
Weitere Modelle
Weitere ModelleNicht kategorial
40Seminar 24. Mai 2004
Weitere Modelle
• Fuzzy Logical Model of Perception (FLMP)
• Prozesse machen Gebrauch von Prototypen im Langzeitgedächtnis
Auswertung
Integration
Entscheidung
Informationsquellen
Auditiv AiVisuell Vj
ai vj Psychologische Werte
sk Grad der Unterstützung
t
Rk
Transformation in psychologische Werte
Bietet Unterstützungsgradfür jede Sprachalternative k
Auswahl einer der Alternativen
41Seminar 24. Mai 2004
Weitere Modelle
• Voraussetzungen• Jede Informationsquelle wird bewertet
• Bestimmung des Grades um Alternativen einzuschränken
• Informationsquellen werden unabhängig bewertet
• Modell der Mustererkennung • (Massaro 2001)
42Seminar 24. Mai 2004
Schlussbetrachtung
Schlussbetrachtung
43Seminar 24. Mai 2004
Schlussbetrachtung
• Neue Modell werden erforscht• Alte Modelle sind teilweise unzureichend
respektive zu unkonkret
• Disput zwischen Kategoriale und „fortlaufender“ Wahrnehmung hält an
44Seminar 24. Mai 2004
Quellen
Quellen
45Seminar 24. Mai 2004
Quellen
• Wahrnehmungspsychologie• Allgemeine Grundlagen• Goldstein (1997)
• Speech Processing• Aktuelle Forschung• Zeng, F.G. (1999)
• Grundfragen der allgemeinen Sprachwissenschaft
• Kommunikationsmodell• Saussure (1931)
46Seminar 24. Mai 2004
Fragen
Recommended