Intona&onExperimentalphone&k&Sprachtechnologie

FelicitasKleber,UweReichelIPS,20.10.09

VorabInhaltdiesesSeminarsistdiekorpusstaBsBsche,experimentalphoneBscheundsprachtechnologischeAuseinandersetzungmiteinerprosodischenFragestellung.Untersuchtwerdensollhierbei,wieineinemDialogAbschlussundFortsetzungeinesRedebeitrags(Turn)vomSprecherprosodischmarkiertwerden,welcheprosodischenCuesfürdenHörerdabeientscheidendsindundwiesichderZusammenhangzwischenProsodieundSprecherabsichtmaschinellerlernenlässt.DieseUntersuchungundModellierungdesmenschlichenDialogverhaltensistnebenphoneBschemauchvonsprachtechnologischemInteresse,etwabeiderEntwicklungvonDialogsystemen.NacheinerkurzenEinführungindieProsodieforschungwirdeinspontansprachlichesDialogkorpusstaBsBschaufTurnhalte‐und‐Übergabesignaleuntersucht.ImAnschlusswirdeinPerzepBonsexperimentgeplant,durchgeführtundausgewertet,dassEinblickeinWahrnehmungdieserprosodischenSignalegebensoll.SchließlichwerdenMethodenzurautomaBschenExtrahierungdieserSignalemitMatlabprakBschumgesetzt,sowieKlassifikatorenzurVorhersagevonTurnwechselntrainiert.

VorabInhaltdiesesSeminarsistdiekorpusstaBsBsche,experimentalphoneBscheundsprachtechnologischeAuseinandersetzungmiteinerprosodischenFragestellung.Untersuchtwerdensollhierbei,wieineinemDialogAbschlussundFortsetzungeinesRedebeitrags(Turn)vomSprecherprosodischmarkiertwerden,welcheprosodischenCuesfürdenHörerdabeientscheidendsindundwiesichderZusammenhangzwischenProsodieundSprecherabsichtmaschinellerlernenlässt.DieseUntersuchungundModellierungdesmenschlichenDialogverhaltensistnebenphoneBschemauchvonsprachtechnologischemInteresse,etwabeiderEntwicklungvonDialogsystemen.NacheinerkurzenEinführungindieProsodieforschungwirdeinspontansprachlichesDialogkorpussta&s&schaufTurnhalte‐und‐Übergabesignaleuntersucht.ImAnschlusswirdeinPerzepBonsexperimentgeplant,durchgeführtundausgewertet,dassEinblickeinWahrnehmungdieserprosodischenSignalegebensoll.SchließlichwerdenMethodenzurautomaBschenExtrahierungdieserSignalemitMatlabprakBschumgesetzt,sowieKlassifikatorenzurVorhersagevonTurnwechselntrainiert.

VorabWassollsta\dessenuntersuchtwerden?•  prosodischenUnterschiedezwischenDialekten

•  welchedieserprosodischenDialektmerkmalenutztenHörerbeiderDialekBdenBfikaBon?

KleinerTest

•  Dialekt1

•  Dialekt2AnwelchenMerkmalenerkennenwirdieDialekte?

Schwäbisch Sächsischn‐Elision offenes/e/(Gelegenheit)kürzereVokaldauer längereVokaldauerVokalqualität /aɪ/>/e/st>ʃ /aʊ/>/o/

Schwäbisch

Sächsisch

Dialektmerkmale① WassinddieprimärenakusBschenParameter,

dieeineregionaleStandardspracheauszeichnen

② InwiefernsinddieseakusBschenParameterrelevantfürdieIdenBfikaBondesregionalenHintergrundseinesSprechers

Gehörtderf0‐Verlaufzudiesenrelevantenacous.ccues,füreinekorrekteRegionenidenBfikaBonnotwendigsind?

Dialektmerkmale

•  Dialekt1

•  Dialekt2AnwelchenprosodischenMerkmalenerkennenwirdieDialekte?

Schwäbisch

Sächsisch

Prosodie&IntonaBonProsodie oder Suprasegmentalia ( amerik. Literatur): phonetische Eigenschaften, die sich über mehrere Segmente erstrecken

prosodische Parameter •  Prominenz Akzentuierung: Wortakzentuierung und Satzbetonung •  Sprechmelodie f0-Verlauf / Intonation •  Quantität Lautdauern •  Rhythmus u.a. relative Segmentdauern

akustische Parameter •  f0 wahrgenommen als Tonhöhe (pitch) •  Intensität •  Dauer

•  alle Parameter korrelieren stark miteinander •  Interferenzen mit segmenteller Ebene

Mikro‐vs.Makroprosodie

Mikroprosodie•  prosodisch/akusBscheParameter,dielauBnherentund

phoneBschvorhersagbarsind•  nichtrelevantfürIntonaBonswahrnehmung•  Beispiele

•  f0istrelaBvhöherbeii>e>a•  f0istbeiVokalonsetrelaBvhöhernachsBmmlosen

KonsonantensalsnachsBmmhaeen

Makroprosodie•  phoneBschnichtvorhersagbar•  relevantfürIntonaBonswahrnehmung•  eineIntonaBonsformkanneineeigeneBedeutunghaben

LexikalischeAkzent

•  im Deutschen ist immer eine Silbe eines Wortes im Vgl. zu den anderen Silben desselben Wortes prominenter (länger, „lauter“, f0-Bewegung) sie trägt den Wortakzent

•  kann bedeutungsunterscheidend sein, z.B. AUgust vs. auGUST, UMfahren vs. um FAHRen (im Deutschen nicht viele solcher Minimalpaare)

Satzakzentuierung •  in einer prosodische Phrase ist mindestens ein Wort

satzakzentuiert, d.h. es wird prominenter wahrgenommen als nicht satzakzentuierte Wörter

•  die Satzakzentuierung fällt auf die Wortakzenttragende Silbe

•  verschiedene f0-Verläufe als Ton(höhenbewegung) perzipiert: H(igh)/Gipfel, L(ow)/Täler

•  z.B. Kontrastakzent: Antworten auf die Frage Ist Anna mit dem Auto gekommen? •  Nein, Anna ist mit dem ZUG gekommen. •  Nein, MELANIE ist mit dem Auto gekomm. •  Nein, MELANIE ist mit dem ZUG gekommen.

HH

SBmmloserKonsonantlokalesf0‐Maximum

SBmmhaeerKonsonantlokales

f0‐Minimum

Fehlerhaeef0‐AnalyseLarynga‐lisierung

ProsodischePhrasierungz.B.Intona&onsphrasen,markiertdurch

•  Pausen

•  Grenztöne:

•  z.B:fallend,steigend,steigend‐fallend

•  BewegungvomletztensatzakzentuiertenWort(Nuklearakzent)zumPhrasenende

•  PhrasenfinaleLängung(Prefinallengthening):LängenphrasenfinalerSegmente

•  DeklinaBon

•  sinkenderf0‐VerlaufübereinePhrase

•  nichtwahrnehmbar,daHörerdieDeklinaBonperzepBvkompensieren

•  Pitchreset:mitBeginneinerPhrasewirdderf0‐Registerzurückgesetzt

Autosegmentell‐MetrischesModell:hierarchischeStrukturderProsodie Äußerung

IntonaBonsphrase IntonaBonsphrase

Intermediärphrase Intermediärphrase Intermediärphrase

nurhierunddortkannmannochahnenwieschönsiewar

σσσσσσσσ(σ)σσσσ

AM‐Modell

U AUAUUUA(U)UAUU

AM‐ModellGermanTonesandBreakIndices•  Tonakzente(sieheBeispieleaufFolien21–23)

–  monotonal:H*,L*–  bitonal:L+H*,L*+H,H+L*,H+!H*–  *TonmitakzentuiertemSilbennukleusassoziiert

•  Alignment"Alignmentmustbedefinedasaphone.cpropertyoftherela,ve,mingofeventsintheF0contourandeventsinthesegmentalstring“(Ladd(1996:55)

•  Phrasenakzente(sieheBeispieleaufFolien16‐29)–  PhrasentöneamEndevonIntermediärphrasen:H‐,L‐,H(*),L(*)

–  GrenztöneamEndevonIntonaBonasphrasen:L‐L%,L‐H%,H‐%,H‐^H%

einpaarBeispiele...

Äußerung:SiewarMalerin.

HäufigvorkommendeSprechmelodienimDeutschen:fallend–L‐L%

H*

L‐L%

Äußerung:SiewarMalerin.

HäufigvorkommendeSprechmelodienimDeutschen:fallend‐steigend–L‐H%

H* L‐H%

Äußerung:SiewarMalerin.

HäufigvorkommendeSprechmelodienimDeutschen:eben–H‐L%

H* H‐L%

Äußerung:SiewarMalerin.

HäufigvorkommendeSprechmelodienimDeutschen:steigend–H‐H%

L*

H‐H%

früh mi\el spät

alteInformaBon

neueInfor‐maBon Überraschung

Felicitas Kleber, 03.07.09 # 5

kategorial graduell

FormundFunkBonfallenderIntonaBonskonturen

H+L* L+H*,H* L*+H

3GipfelkategorienimKielerIntonaBonsmodell(Kohler1991)

AbbildungmodifiziertnachPetersundKohler2004.h\p://www.ipds.uni‐kiel.de/kjk/pub_exx/bpkk2004_1/TrainerA4.pdf

Äußerung:SiewarMalerin. SemanBk:neueInformaBon

Mi\lererGipfel:H*oderL+H*

(Default‐Akzent)

FrüherGipfel:H+L*

Äußerung:SiewarMalerin. SemanBk:alteInformaBon

SpäterGipfel:L*+H

Äußerung:SiewarMalerin. SemanBk:Erstaunen

AM‐Modell

DeklinaBonsregel:L‐TönebewirkeneineAbsenkungdesnächstenH‐TonsDownstep(durch!vorHgekennzeichnet)

(Abb.ausLiberman&Pierrehumbert1984)

ALIGNMENTIMSPRACH‐UNDDIALEKTVERGLEICH

ABER

ISTDIEFORM‐FUNKTIONS‐BEZIEHUNGVONINTONATIONSKONTURENINALLENDEUTSCHENDIALEKTEN

(VER)GLEICH(BAR)?

SegmentalAnchoring

•  stabilesAlignmentvonTönenmitsegmentellenlandmarks

•  StabilitätdestonalenAlignmentsistabhängigvomsegmentellenKontext(ArvaniBetal.1998,Prietoetal1995,Laddetal.1999,Kleber&Rathcke2008)–  VerschiebungdesAlignmentsunterZeitdruck(z.B.Anzahlvorangehenderbzw.nachfolgenderSilbenbiszurPhrasengrenze)

•  phoneBschesAlignmentistsprach‐bzw.varietätenabhängig

AlignmentimSprach‐/Varietätenvgl.

•  prenukleareL+HAkzente,z.B.DieVerlängerungderAusleihfrist...

•  Vgl.Norddt.vs.Süddt.•  signifikanteL‐Alignment‐Unterschiede

•  dialektalesAlignment‐KonBnuumvonNordnachSüd

AbbildungausA\ererundLadd,2004

AlignmentimVarietätenvgl.

Abb.undTabelleausKleber&Rathcke,2008

‐L‐AlignmentinMi\eldt.früherimVgl.zuOber‐u.Niederdeutsch

‐längereSilbendauernimMi\eldt.

‐ längererf0‐AnsBegimMi\eldt. Sprach‐undvarietätenspezifischeIntonaBonsgrammaBken unterschiedlicheForm‐undFunkBonsbeziehung

Ziel1desSeminars•  varietätenabhängigeForm‐FunkBonsbeziehung

•  Bsp.:späteGipfel–  vermi\eltÜberraschungimStandarddt.,–  möglicheBedeutunginbesBmmtenoberdt.Varietäten:neue

Informa.on

•  Projekt:Auer/Gilles&SelBng/Peters–  zahlreicheIntonaBonsgrammaBkenundBeschreibung

dialektalerAlignment‐UnterschiedebasierendaufDiskursanalysen

–  ZusammentragenderDialektmerkmaleLiteraturrecherche•  FunkBonalitätderAlignment‐Unterschiede?z.B.

DialektmerkmalePerzepBonsexperimente

PerzepBonsexperiment

•  AuswahlgeeigneterÄußerungenausRVG‐Corpus(RegionalVariantsofGerman),diesichinSilbenanzahlundDauerdessegmentellenAblaufsähneln

•  SBmulusgenerierung:HypothesenorienBertef0‐ManipulaBoninpraat

•  HerausfilternlexikalischerInformaBonTiefpassfilterung(bisherallerdingsschlechteErgebnisse)

•  Fragestellung:Welchef0‐MusterfungierenalsDialektmerkmale