Multifaktorielle Kodierung und Kontexteffekte in der Sprachwahrnehmung Oliver Niebuhr Probevortrag im Rahmen der W1-Juniorprofessur für Allgemeine Sprachwissenschaft

Multifaktorielle Kodierung und Kontexteffekte in der Sprachwahrnehmung

Oliver Niebuhr

Probevortrag im Rahmen der W1-Juniorprofessur

für Allgemeine Sprachwissenschaft

Universität Konstanz, den 22.04.2009

1. Multifaktorielle Kodierung vs. Kontexteffekte• Es ist weithin bekannt, dass die Wahrnehmung bedeutungsrelevanter

sprachlicher Einheiten nicht allein auf einzelnen, lokalen Indikatoren (cues) beruht.

• Vielmehr ist es ein (ggf. universales) Charakteristikum des Aufbaus und der Wahrnehmung Sprachkodes, dass die bedeutungsrelevanten Einheiten...

– (a) durch mehrere cues gleichzeitig – d.h. multifaktoriell – kodiert sind– (b) und im Kontext interpretiert werden.

• Allerdings werden multifaktorielle Kodierung und Kontexteffekte in der Forschung zur Sprachwahrnehmung nicht immer klar unterschieden.

• „The difference between context effects and multiple cues is subtle [...] and has been controversial in the literature” (Clayards 2008:27)

bft

Dies ist einer der ZENTRALEN CUES FÜR ORAL GELÖSTE PLOSIVE

bft

ALLE AUSFÜHRUNGEN GELTEN SPRACHÜBEGREIFEND

1. Multifaktorielle Kodierung vs. Kontexteffekte• Zwei mögliche Arbeitsdefinitionen:

– Multifaktorielle Kodierung = lokale und globale phonetische Ereignisse innerhalb und außerhalb der jeweiligen sprachlichen Einheit, die unmittelbar und mittelbar mit der Signalisierung dieser Einheit verbunden sind.

– Kontexteffekte = lokale und globale phonetische Ereignisse, die den Informa-tionswert von cues einer sprachlichen Einheit verändern und die nicht mit der Signalisierung dieser Einheit verbunden sind.

bft


bft


• Prominenz – d.h. die perzeptorische Heraushebung – von Silben (Dilley & McAuley 2008; Beispiele von L. Dilley)

• Niebuhr (2008a): Äußerungsabschnitt „...um punkt neun Uhr.“, in dem „punkt“ und „neun“ gleichermaßen prominent erscheinen → aber im Kontext von „mit mir geht‘s nur heut‘“, produziert mit

– (Daktylus) – (Daktylus mit Auftakt)

1. Multifaktorielle Kodierung vs. Kontexteffekte

...um Uhr.“ mir geht‘s heut‘mit geht‘s nur

skirmish princess side kickstand stillskir prin kick stillside

• Doch es gibt auch weniger eindeutige Beispiele– Kohler (1979) zeigt anhand des Wortpaares „leiten“ vs. „leiden“:

• nicht nur die Verschlussdauer des Plosivs,• sondern auch die Dauer des vorangehenden <ei> die Wahrnehmung von /d/ oder

/t/ (lenis/fortis) bestimmt.

– Ist dies ein Fall multifaktorieller Kodierung oder ein Kontexteffekt?• /t/ = lange Verschlussdauer /d/ = kurze Verschlussdauer• Im Sinne der „theory of auditory enhancement“ (Diehl et al. 1991) kann die

komplementäre Dauervariation des vorangehenden <ei> als eine Strategie gedeutet werden, den Unterschied in der Verschlussdauer noch zu betonen.

• D.h., die systematische Variation der Dauer des <ei> ist mittelbar ein Ergebnis der Signalisierung von /t,d/ (lenis/fortis)

• → Ein Beispiel multifaktorieller Kodierung

l ei en l ei en d

1. Multifaktorielle Kodierung vs. Kontexteffekte

Diese Gruppe kann ich nicht...

t

bft


bft


• ...um meinen Forschungshintergrund zu umreißen• Mein Hauptanliegen: Erforschen, wie der Sprachkode (d.h. die laut-

sprachliche Kommunikation) funktioniert • → 2 zentrale Arbeitsschritte

– (1) Bedeutungsrelevante Einheiten bestimmen– (2) Die Variation dieser Einheiten erkennen und erklären

• Der Weg dorthin muss über die Perzeption führen! → Warum?– (1) Weil Sprache ein Phänomen ist, dass auf der Basis von Hören und

Imitieren ausgeführt und tradiert wird. D.h., der Hörer und dessen (modalitäts-übergreifende) kognitive Fähigkeiten und Prozesse determinieren den Sprachkode.

– (2) Weil komplexe Netzwerke (mit trading relations) akustischer Parameter oft als Veränderungen einfacher perzeptorischen Größen konzeptualisierbar sind (z.B. Prominenz, Länge, etc.)

2. Warum erzähle ich das alles?

• ...um meinen Forschungshintergrund zu umreißen• Mein Hauptanliegen: Erforschen, wie der Sprachkode (d.h. die laut-

sprachliche Kommunikation) funktioniert • → 2 zentrale Arbeitsschritte

– (1) Bedeutungsrelevante Einheiten bestimmen– (2) Die Variation dieser Einheiten erkennen und erklären

• Mein Ansatzpunkt: die multifaktorielle Kodierung und kontextabhängige Wahrnehmung sprachlicher Einheiten

– mit Schwerpunkt auf dem Deutschen (und sprachübergreifender Perspektive)– mit der Bedeutung als Bezugspunkt– und mit kritischer Distanz zu

• dem Segment- und Phonemkonzept• der Separation von prosodischer/intonatorischer und segmenteller Ebene• der Separation linguistischer und paralinguistischer Bedeutungen

• Nachfolgend 2 Beispiele dieser Forschung, segmentell und prosodisch

2. Warum erzähle ich das alles?

• Forschung in meinem derzeitigen Projekt in Aix-en-Provence und York zur Sibilantenassimilation im Französischen

• Das Französische ist für seine regressive Assimilation der Stimme bekannt.

• → „C‘est une robe chic“ ‚Das ist ein hübsches Kleid‘

Assimilation des Artikulationsortes soll es im Französischen hingegen nicht geben

– Ramus (2001:208): „English children […] must learn how place assimilation works in English […] if they were in a French environment, they would need to learn that there is no place assimilation, but that there is voicing assimilation”

– Gow (2003: 492): „Darcy (2002) performed word monitoring experiments in French and English that examined the role of context in processing […] regressive place assimilation (which occurs in English but not French)”

3. Phonetische Details in Vokalen

/b /

[p]

• Ausgehend von Beobachtungen im spontansprachlichen Corpus of Interaction Data (CID) des Französischen haben nach Ortsassimilationen in Abfolgen von Sibilanten (/s/, /z/, //, //) gesucht.

– Mit akustischen Analysen im Zeit und Frequenzbereich– auf der Basis von gesondert erhobener, kontrollierter Lesesprache

• /usu/: „Tu te couches sous l'drap” ‚Du schläfst unter der Decke‘• /asa/: „C'est une classe chargée” ‚Das ist eine volle Klasse‘

– „It‘s great how the glass shines“ (aus Niebuhr et al. 2008)

– „Wir werden das schaffen“


[]

/s /

[]/s /

• Auch im Französischen:– Klare Evidenz für Assimilation d. Artikulationsortes, unabhängig von der

grammatischen Kategorie und Häufigkeit der involvierten Wörter sowie von gleichzeitiger Assimilation der Stimme

– Zielqualität: Postalveolar– Aber anders als im Englischen und Deutschen regressiv und progressiv

– In vielen Fällen ist die Assimilation komplett• → Problem bei der Phonem-/Wortidentifikation ?• → z.B. /s/ und /z/ , /s/ und /s/ sind alle in ihrer Lautqualität untereinander und

von // im gleichen Vokalumfeld nicht zu unterscheiden


„C‘est une classe chargeé“ „Tu te couches sous l‘drap“‚Das ist eine volle Klasse‘

‚Du schläfst unter der Decke‘

/s/

[] []+

/s/[]+[]

• Die Vokale vor den alveolaren und postalveolaren Sibilanten weisen systematische Unterschiede auf.

– Vokal vor /,/ u.a. (1) länger sowie (2) leiser und behauchter als vor /s,z/; – Diese Unterschiede finden sich vor einzelnen Sibilanten und vor Sibilanten-

verbindungen– Sie bestehen selbst bei komplett assimilierten Sibilantenverbindungen weiter!


160ms 160ms43ms 65ms

21dB vs. 17dB/s/ /s/

„Tu te couches si j'veux”„C'est une trousse chargée“

natürlich produzierte, klareUnterschiede in Dauer,

Behauchung, ak. Energie

• Ausgangspunkt für ein erstes Perzeptionsexperiment mit Stimulus-paaren, wie z.B.

– „C‘est une mousse chinoise“ ‚Das ist ein chinesisches Moos‘

– „C‘est une mouche chinoise“ ‚Das ist eine chinesische Fliege‘

– Die Stimuli wurden mehrfach in randomisierter Reihenfolge naiven franzö-sischen Muttersprachlern präsentiert, die den Wortlaut der Äußerung durch Knopfdrücken angeben sollten.


durch // ersetzt

/s/

//

• Die Identifikation der Äußerungen – bed. durch Sibilantenverbindungen – wurde in zur Produktion passender Weise durch den Vokal signifikant beeinflusst.

• → Hörer können die systematischen, multi-parametrischen Details im Vokal nutzen,

– um den nachfolgenden Sibilanten als alveolar /s,z/ oder postalveolar /,/ zu identifizieren

– und um so selbst komplett assimilierte Sibilantenverbindungen zu disambiguieren

– (Niebuhr, Meunier, & Nguyen 2009)

• Wichtige Implikationen f. Sprachwahrnehmung bzw. psycholinguistische Theorien zur Assimilation

– → Wirft weitere Zweifel an der Existenz kompletter Assimilation auf– → Rückt Assimilation in ein konzeptuelles Licht, das über Einzellaute bzw.

Lautpaare hinausgeht - die gegenwärtige Grundlage aller psycholing. Modelle


• Die vokalischen Unterschiede fallen komplementär zu denen der Sibilanten aus

– Vokale vor z.B. /s/ länger, behauchter und leiser. Gleichzeitig ist die /s/ Abfolge kürzer als /s/ und // ist tendenziell lauter ist als /s/.

– Kontrastverstärkung / Auditory enhancement, wie bei „leiden“ vs. „leiten“

• → Ein Beispiel multifaktorieller, segmentübergreifender Kodierung von Sprachlauten

• Analoge Studie im Englischen für diesen Sommer in Planung (Niebuhr, Gaskell, Hawkins, Ogden)


• Westgermanische sowie viele andere Sprachen (neapolitanisches Italienisch) zeichnen sich durch ein Inventar an Grundfrequenz-/ F0-Mustern aus, die mit Akzentsilben verbunden sind → pitch accents

• Im Deutschen zum Beispiel:

• Seit Kohler (1987) wissen wir, dass für die Signalisierung der beiden pitch accents die Position des F0 Maximums zum Beginn des Akzent-vokals eine zentrale Rolle spielt.

F0

t o:

H+L* H*

„Sie hat ja ge-LO-gen“

4. Alignment, Lautmuster und Intensität

Alignment

4. Alignment, Lautmuster und Intensität• Allerdings berichtet Kohler (1991) später, dass die Grenze zwischen

H+L* und H* durch unterschiedliche Lautsegmente in der Akzentsilbe auf beide Seiten des Akzentvokalbeginns verschoben werden konnte.

– Z.B. für „Sie hat ja ge-JO-delt” → F0 Maxima im Vokal noch H+L*– Produktions-Studien: das alignment der F0-Gipfel folgt den Verschiebungen

der Wahrnehmungsgrenzen (Kohler 1990; Rietveld & Gussenhoven 1995; Prieto et al. 1995)

– Ladd et al. (1999): „similar principles govern the alignment of F0 movements with the segmental string in all languages“ und Kohler (1990) ergänzt, dass diese „changes in the F0 contour [...] have to take place to guarantee the identity of a linguistic [...]intonation patternacross differentsegmental strings”

– WARUM??

F0

t o:

H+L* H*

j

• Vom perzeptorischen Blickwinkel aus entspricht der Unterschied einer untersch. starken Prominenz der hohen und tiefen Tonhöhenbereiche d. Gipfels, ist auch in der Symbolisierung als H+L* vs. H* impliziert

• Vielleicht geht es gar nicht um den Vokalbeginn, sondern um die Intensitätsveränderungen und –niveaus im Bereich der Akzentsilbe!?

– Z.B. ist der Intensitätsanstieg zum Akzentvokal für [jo:] langsamer als für [lo:]

• D.h., die alignment-Unterschiede beider pitch accents gehen auf die Strategie zurück, bestimmte tiefe oder hohe Abschnitte des F0-Gipfels mit dem hohen Intensitätsniveau des Akzentvokals zu verbinden und sie so perzeptorisch herauszuheben.

• → auf Basis der Äußerung „Sie war mal MA-lerin“ in den Perzeptions-experimenten von Niebuhr (2006, 2007) getestet.

– 11 äquidistanten Verschiebungen des F0-Gipfels (vergleichbar mit Kohler 1987) → 11 Stimuli



„MA-lerin“ Serie

HUM Serie

Dann: Resyntheseeiner 2. Serie, in der

alle Lautsegmente derÄußerung (Formant-

strukturen) durch konstanten []-artigenLaut ersetzt wurden.

– Die “HUM” Stimuli wurden in einem AXB Test beurteilt (A= erster, B=letzter Stimulus der Serie)

– → Frage an die Probanden: Ist ‚X‘ = ‚A‘ oder ‚B‘?

– Die „MA-lerin“ Stimuli wurden jeweils zusammen mit einer Kontextäußerung gepaart, die nur dann Sinn ergab, wenn die Hörer H* im Stimulus wahrnahmen.

– → Die Frage des Zusammenpassens von Kontext und Stimulus = indirekte Identifikation von H+L* vs. H*


Was passiert, wenn derIntensitätsanstieg, der ausdem CV Übergang hervor-ging, langsamer ausfällt??


H+L*

H*

Erneut 2 Perzeptionsexperimente


• Je weniger abrupt der Intensitätsanstieg ist, der den CV Übergang repräsentiert, desto weniger abrupt ist auch die perzeptorische Veränderung von H+L* zu H*.

• Insgesamt passen die Befunde ins perzeptorische Konzept der pitch accents als Kombinationen aus Tonhöhen- und Prominenzmustern (Niebuhr 2007)

„MA-lerin“Serie


H+L*

H*


• Vor diesem Hintergrund stellen die Einflüsse der lautlichen Zusammen-setzung der Akzentsilbe auf die Identifikation der pitch accents, die durch sprachübergreifend vergleichbare alignment Variationen kompensiert werden, segmentelle Kontexteffekte dar.

• Daneben wurden in Niebuhr (2008b) und Niebuhr (2009) das probabilistische Wissen über pitch accent Kombinationen und das intonatorische sowie das rhythmische Umfeld als weitere Kontextfaktoren identifiziert (zum Rhythmus derzeit weitere Studie mit L.Dilley, Michigan)


[] vs. []

– Die Kontexteffekte in der pitch-accent Wahrnehmung haben gezeigt, wie komplexe Interaktionen akustischer Größen unter einem perzeptorischen Blickwinkel nachvollziehbar werden.

– Die multifaktorielle Kodierung in der Assimilation hat gezeigt, dass der Blick der Sprachforschung – auch auf der Ebene der Sprachlaute – immer über das einzelne Segment hinausgerichtet werden muss.

– Sprache lässt sich nicht (allein) über akustische Messungen beschreiben; erst recht nicht, wenn diese Messungen sich auf einzelne lokale Parameter beziehen.

– Es ist (darüber hinaus) essentiell, segmentelle und prosodische Ereignisse/ Parameter unter einem globalen perzeptorischen Blickwinkel zusammen zu führen und vor dem Hintergrund kognitiver Konzepte (z.B. nicht-lineare, interpretative Verarbeitung = Kontext, Kontrast) zu betrachten.

5. Zusammenfassung

1 . Multifaktorielle Kodierung vs. Kontexteffekte Clayards, M. A. (2008). The ideal listener: Making optimal use of acoustic-phonetic cues for word recognition. PhD thesis, University of Rochester, USA Diehl, R.L., K.R. Kluender, M.A. Walsh, & E.M. Parker (1991). Auditory enhancement in speech perception and phonology. In R. Hoffman & D. Palermo (Eds.), Cognition and the Symbolic Processes: Applied and Ecological Perspectives, Lawrence Erlbaum Associates, Publishers. Dilley, L., & J.D. McAuley (2008). Distal prosodic context affects word segmentation and lexical processing. Journal of Memory and Language 59, 294-311. Kessinger, R.H. & S.E. Blumstein (1997). Effects of speaking-rate on voice onset time in Thai, French, and English. Journal of Phonetics 25, 143-168. Kohler, K. J. (1979). Dimensions in the perception of fortis and lenis plosives. Phonetica 36, 332–343. McMurry, B., M.A. Clayards, M.K. Tanenhaus, & R.N. Aslin (2008). Tracking the time course of phonetic cue integration during spoken word recognition. Psychonomic Bulletin & Review 15, 1064-1071. Niebuhr, O. (2008a). The effect of global rhythms on local accent perceptions in German. Proc. 4th Speech Prosody, Campinas, Brazil, 331-334.

3. Phonetische Details in Vokalen Darcy, I. (2002). Online processing of phonological variation in speech comprehension: The case of assimilation. In: S. Hawkins & N. Nguyen (Eds.), Temporal integration in the perception of speech. Proceedings of the ISCA TIPS workshop Fagyal, Z., D. Kibbee, and F. Jenkins (2006). French. A linguistic introduction. Cambridge: CUP. Gow, D.W. (2003). How representations help define computational problems: commentary on Grossberg, Gaskell and Greenberg. Journal of Phonetics 31, 487-493. Niebuhr, O., L. Lancia, Ch. Meunier (2008). On place assimilation in French sibilant sequences. Proc. ISSP 2008, Strasbourg, France, 221-224. Niebuhr, O., Ch. Meunier, N. Nguyen (2009). The role of the vowel context in the differentiation of French /s/ and /s/ sequences. Proc. PaPI conference 2009, Las Palmas, Gran Canaria. Ramus, F. (2001). Outstanding questions about phonological processing in dyslexia. Dyslexia 7, 197-216.

4. Alignment, Lautmuster und Intensität Kohler, K. J. (1987). Categorical pitch perception. Proc. 11th ICPhS, Tallinn, Estonia, S. 331-333. Kohler, K. J. (1990). Macro and micro F0 in the synthesis of intonation. In J. Kingston & M. E. Beckman (Eds.). Papers in Laboratory Phonology I. Cambridge: Cambridge University Press, pp. 115-138. Kohler, K. J. (1991). A model of German intonation. AIPUK 25, 295-360. Ladd, D. R., D. Faulkner, H. Faulkner und A. Schepman (1999). Constant „segmental anchoring“ of F0 movements under changes in speech rate. JASA 106, 1543-1554 Rietveld, T. und C. Gussenhoven (1995). Aligning pitch targets in speech synthesis: Effects of syllable structure. Journal of Phonetics 23, 375-385. Niebuhr, O. (2006). The role of the accented vowel onset in the perception of pitch accents. Proc. 3rd Speech Prosody, Dresden, Germany, 109-112. Niebuhr, O. (2007). Categorical perception in intonation. A matter of signal dynamics? Proc. Interspeech 2008, Antwerp, Belgium, 161-164. Niebuhr, O. (2008b). The interpretation of pitch patterns and its effects on accentual prominence in German, Proc. 3rd TIE conference, Lisbon, Portugal. Niebuhr, O. (2009). F0-based rhythm effects on the perception of local syllable prominence. Phonetica 66, 1-18.

Documents

Multifaktorielle Kodierung und Kontexteffekte in der Sprachwahrnehmung Oliver Niebuhr Probevortrag im Rahmen der W1-Juniorprofessur für Allgemeine Sprachwissenschaft