Zur Erinnerung: 50 Kontrollfragen zu Herrn Reichels Teil:
http://www.phonetik.uni-
muenchen.de/~reichelu/kurse/p6_2_synthese/synthese_fragen.pdf
Folie 4
Exkurs: Artikulatorische Phonologie Sogenannte Gesten,
definiert ber eine Menge an verwandten Traktvariablen (z.B. TT
constriction location und TT constriction degree), sind die
Basiseinheiten phonologischer Kontraste (Browman & Goldstein,
1992)
Folie 5
Gestenpartituren Grundannahme: Zwei lexikalische Einheiten
unterscheiden sich dann, wenn sie sich in ihrer gestischen
Zusammensetzung (gestural composition) unterscheiden d.h.
Wortforminformation ist in Form von gestural compositions
gespeichert.
Folie 6
add Nicht spezifiziert: geschlossen Nicht spezifiziert: offen
Nicht spezifiziert: richtige Einstellungen fr Stimmhaftigkeit
Folie 7
had
Folie 8
bad
Folie 9
pad
Folie 10
Dad
Folie 11
pan
Folie 12
span CD CL CD CL CD CL CD Constriction Degree: (unspezifiziert)
wide narrow crit(ical) clo(sure)
Folie 13
bad (phonologische Gesten) -Gesten berlappen einander
-Artikulatoren knnen nicht unendlich schnell ihre Zielkonfiguration
(Task) erreichen, sondern sich nur graduell annhern und entfernen
(=Schwingung wie bei Masse und Feder) -die Geschwindigkeit hierbei
variiert (Vokalgesten sind langsamer als Konsonantgesten, Krger,
1993) Task Dynamics Tasks CD: wide CD: closure
Folie 14
Relatives Timing von realisierten Gesten: man wei auerdem, dass
das relative Timing von Gesten sich am Silbenanfang und ende
unterscheidet: Am Silbenanfang in Phase (synchronisiert), am
Silbenende nicht; d.h. die Gesten des Silbenonsets und des nucleus
starten (in etwa) gleichzeitig, whrend die Silbennucleusgeste
i.d.R. frher endet als die Gesten, die der Silbencoda zugeordnet
werden knnen
Folie 15
Task Dynamics und Kopplungsrelationen fhren zu phonetischen
Gestenpartituren wie hier: Onset und Nucleus in Phase (Kopplung)
Coda nicht in Phase mit Nucleus Geschwindigkeits- unterschied des
Ein- und Ausschwingens
Folie 16
Gesten phonologisch vs. phonetisch Die Gesten im Lexikon sind
diskret und kategorial (Kstchen in der Darstellung) In der
phonetischen Realisierung knnen mindestens zwei Parameter
variieren: Grad der berlappung Grad der zeitlichen Ausdehnung
Phonologische Prozesse wie jene in /habn/ /habn/ /habm/ usw. sind
(zumindest oft) nicht kategorial (qualitative Variation), sondern
manche Gesten sind nur durch groe berlappung verdeckt (quantitative
Variation), also noch vorhanden, aber nicht wahrnehmbar
Folie 17
Task Dynamics Application (TaDA) TaDA ist die
Software-Implementierung zu den vorgenannten Theorien
Folie 18
(engl.) Orthographie (ten) oder phon. string
Folie 19
Run engl. Orthographie eingeben
Folie 20
Im Lexikon nachschauen (pdict.txt-Ausschnitt): neck(N-EH1_K)
necked(N-EH1_K T) necker(N-EH1_)(K-ER0_) necklace(N-EH1_)(K
L-AH0_S) necklaces(N-EH1_)(K L-AH0_)(S-IH0_Z) necklacing(N-EH1_)(K
L-AH0_)(S-IH0_NX) In sog. ARPABET sind hier Phonemfolgen und
Syllabifizierung gespeichert
TVneck.O: % Input string: % Word 1:neck % arpabet:(N-EH1_K) %
syllable 1:N-EH1_K % % onset cluster = % segment 1 [N]: 'TTCD'
'ons1_rel1' 11 8 1 JA=512,CL=512,CA=512,TL=1,TA=1 1 1 'TTCL'
'ons1_rel1' 24 8 1 JA=512,CL=512,CA=512,TL=1,TA=1 1 1 'TTCL'
'ons1_clo1' 56 8 1 JA=32,CL=32,CA=32,TL=1,TA=1 1 1 'VEL' 'ons1_n1'
0.2 8 1 NA=1 1 1 'TTCD' 'ons1_clo1' -2 8 1
JA=32,CL=32,CA=32,TL=1,TA=1 100 0.01 % % nucleus cluster = %
segment 1 [EH]: 'TBCL' 'v1' 95 3 1 JA=10,CL=1,CA=1 1 1 'TBCD' 'v1'
11.5 4 1 JA=1,CL=1,CA=1 1 1 % % coda cluster = % segment 1 [K]:
'TBCD' 'cod1_rel1' 6 8 1 JA=10,CL=1,CA=1 1 1 'TBCD' 'cod1_clo1' -2
8 1 JA=100,CL=1,CA=1 100 0.01 'GLO' 'cod1_h1' 0.4 16 1 GW=1 0 0
'TBCL' 'cod1_clo1' 110 8 1 JA=10,CL=1,CA=1 10 0.1 'VEL' 'cod1_clo1'
-0.1 8 1 NA=1 0 0 -Aufteilung in Onset, Nucleus, Coda -Aufteilung
dieser Einheiten (die immer cluster genannt werden, auch wenn sie
nur aus einem Element bestehen) in Phoneme -Spezifikation dieser
Phoneme durch Positions- und Anzahl-spezifische artikulatorische
Parameter
Folie 23
Gestural Control Regimes Constriction Location in Grad: 0
LABIAL, 90 PALATAL, 180 PHARYNGAL Constriction Degree in mm:
Abstand zur Artikulationsstelle; (bei CLO (Verschluss) etwas
berschieend, mit leicht negativen Werten)
Folie 24
Gestural Control Regimes (2) Gewichtung bei Konflikt mit
adjazenten Lauten, die den gleichen Artikulator betreffen
Folie 25
Gestural Control Regimes (3) Gewichtung der Artikulatoren:
Hhere Zahl schwererer Artikulator (Masse) weniger, langsamere
Bewegung (bei gleicher Feder)
Folie 26
Kopplung (definiert in coupling.ph) % onset coupling
relationships ONS_OBS ONS_CNS1 1 90% onset clusters: 90 degree
phase ONS_CNS ONS_REL1 1 65% REL is sequential with respect to
constr. ONS_VOC ONS_NAR1 1 0% VOC gesture of /r/,/l/ sychronous
with primary NAR constr. ONS_CRT ONS_H1 1 20 % GLO gesture is
synchronous with frics ONS_CLO ONS_H1 1 20% and also with stops
ONS_CLO ONS_N1 1 0% VEL gesture synchronous wih oral constr.
ONS_CNS* V1 1 0% all CNS gestures synchronous with V ONS_H V1 1 0%
GLO synchronous with V, if not coupled to CNS Letzte Zahl definiert
die Kopplung in Grad
Folie 27
Kopplung (definiert in coupling.ph) % vocalic coupling
relationships V_RNDV 1 1 0%rounding synchronous with V tongue
constr.
Folie 28
Kopplung (definiert in coupling.ph) % coda coupling
relationships COD_CCOD_C1 1 45% coda clusters: 45 degrees
COD_CNSCOD_REL 1 1 60% REL is sequential with respect to constr.
COD_CRTCOD_H1 1 20% GLO gesture is synchronous with frics
COD_CLOCOD_H1 1 20% and with stops COD_NCOD_CNS1 1 45% VEL gesture
anti-phase to oral constr. VCOD_C1 1 180% first coda CNS anti-phase
to V % COD_VOC COD_NAR 1 1 45% VOC gesture sequential to NAR
constr.
Folie 29
Kopplung (definiert in coupling.ph) /cross-syllable/
COD_CONS_CNS1 1 45% applies if boundary is C$C VONS_CNS 1 1 180%
applies if boundary is V$C COD_CV1 1 0% applies if boundary is C$V
VV 1 1 180% applies if boundary is V$V
Folie 30
Kopplung (definiert in coupling.ph) /cross-word/ COD_RELONS_CNS
1 1 0% applies if boundary is C#C VONS_CNS1 1 180% applies if
boundary is V#C COD_CV1 1 0% applies if boundary is C#V VV1 1 180%
applies if boundary is V#V
Folie 31
Generiere tract variable articulator time function
Gestenpartitur
Gestenplanung Gestenrealisierung Berechnetes Ansatzrohr zu
einen Zeitpunkt t
Folie 40
= Querschnittsflchen im Ansatzrohr (eigentlich nur 2D) Daraus
knnen HLSyn-Parameter abgeleitet werden ber HLSyn
Folie 41
Klingt eher wie /n/, weil die systeminterne Synthese vom Schwa
(der Ausgangslage aller Artikulatoren) ausgeht und die
Verschlusslsung abgeschnitten wurde (bug im gegenwrtigen System)
Durch Trick (Schwa nach neck (eigentlich nicht statthaft, da
dadurch die Kopplungsrelationen beeinflusst werden))
Folie 42
Auch in HLSyn muss aber von Hand nacheditiert werden, da immer
noch der initiale Schwa da ist
Manipulationen in TaDA... knnen in den erwhnten Textdateien
vorgenommen werden In der phonetischen Realisierung (.G-Dateien),
z.B. die nderung eines Konstriktionstargets Grundlegender: bereits
im Gestenlexikon (muss sogar gemacht werden, wenn man nicht amerik.
Englisch untersucht) Vielleicht am interessantesten: coupling.ph
manipulieren (z.B. Lasse Bombiens Experiment zu /kl/ und /kn/ mit
Kopplungsvariation ab wann wird Verdeckung relevant)
Folie 50
Beispiel /kl/-/kn/-Experiment Bombien Wie Onset-Cluster-Gesten
meistens (und konform mit Theorie), berlappen /k/- und /l/-Gesten
bei /kl/ stark; in /kn/ weniger berlappung! /kn/ also schlechteres
Cluster (auch oft von Lautwandel betroffen, z.B. im Englischen,
knight, knee etc.)? Mgliche Grnde hierfr testen durch Variation der
Gestenberlappung vom /kn/-Wert zum /kl/-Wert hauptschlich: wird
/kn/ bei /kl/-hnlicher berlappung berhaupt noch als Cluster
wahrgenommen, oder wegen des Konflikts des velaren Verschlusses und
der Velumsffnung, der eine Plosivbildung unmglich macht, als
singleton-Onset /n/?
Folie 51
TaDA ist... Theoriegetrieben (Articulatory Phonology, u.a.
Browman & Goldstein, 1992, Task Dynamics, u.a. Saltzman &
Kelso, 1976) Dadurch ist es auch abhngig von den Theorien, d.h. es
knnen eigentlich nur Hypothesen, die sich aus diesen Theorien
ableiten lassen, getestet werden
Folie 52
TaDA ist... Sprachabhngig: auch articulatory phonology trifft
natrlich nur Aussagen ber Einzelsprachen; die Gestenpartituren sind
somit sprachabhngig zu modellieren Beispiel: VOT-timingunterschiede
zwischen Englisch und Spanisch sind schon im Gesten-Lexikon bzw. im
Coupling-Lexikon vorgegeben Bedarf an Gesten- und couplinglexika fr
jede zu untersuchende Sprache (im Moment nur amerik. Englisch und
mex. Spanisch implementiert; Manfred Pasttter erarbeitet zur Zeit
eine standarddeutsche Version)
Folie 53
TaDA ist... Eigentlich nur zweidimensional, d.h. es gibt hnlich
Probleme z.B. bei der Erzeugung von /z/ und /l/ wie bei HLSyn
(gemeinsames Merkmal: kleine Konstriktion)
Folie 54
Alternative: VocalTractLab (VTL, von P. Birkholz) Eher daten-
statt theoriegetriebene artikulatorische Sprachsynthese Dient auch
der Visualisierung der Mechanismen der Artikulation und deren
Zusammenhang zur Akustik Erlaubt freie Beeinflussung auch der
zeitlichen Kontrolle der Artikulatoren in einer Gestenpartitur
Folie 55
VTL wirklich dreidimensional 22 Freiheitsgrade bzw.
Kontrollparameter, die die Position und Form der Artikulatoren
variierbar halten 3 verschiedene Modelle fr die
Stimmlippenschwingung (hat TaDA nicht) klassisches
Zwei-Massen-Modell von Ishizaka und Flanagan (1972), geometrisches
Modell (Titze, 1989) Ein modifiziertes Zwei-Massen-Modell (Birkholz
et al. 2011 a, b)
Folie 56
VTL Vokaltrakt modelliert nach echten Daten
(Computertomographie) austauschbar durch Daten anderer Sprecher
Artikulatorenbewegung entweder fei whlbar, oder auf Grundlage der
Artikulationen des Modellsprechers, oder durch bernahme
artikulatorischer Daten (z.B. EMA-Daten) eines anderen Sprechers
Original Resynthese der gleichen Artikulatorenbewegungen im
Ansatzrohr des Modellsprechers