22
Überblick Software Bestellungsver- waltungsprozess Dialogmanagemen t Simulation Sprachverarbeit ung Verschiedene Arbeitsphasen Routengraphen Sprachverarbeitung: 1. Spracherkennung und Dialog Software Nuance 8 Prototyp 1: Entwicklung einer Grammatik Prototyp 2: Java Client Prot.3-4: Sprachausgabe, Dialoge, Erweiterungen Prototyp 5-7: Erweiterung der GSL- Grammatik: Optimierung, Small-talk 2. Sprachgenerierung und Synthese

Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

  • Upload
    tab

  • View
    36

  • Download
    0

Embed Size (px)

DESCRIPTION

Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung Verschiedene Arbeitsphasen Routengraphen. Sprachverarbeitung: Spracherkennung und Dialog Software Nuance 8 Prototyp 1: Entwicklung einer Grammatik Prototyp 2: Java Client - PowerPoint PPT Presentation

Citation preview

Page 1: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Sprachverarbeitung:

1. Spracherkennung und Dialog

– Software Nuance 8

– Prototyp 1: Entwicklung einer Grammatik

– Prototyp 2: Java Client

– Prot.3-4: Sprachausgabe, Dialoge, Erweiterungen

– Prototyp 5-7: Erweiterung der GSL-Grammatik: Optimierung, Small-talk

2. Sprachgenerierung und Synthese

Page 2: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Spracherkennung:

Signalanalyse Frequenzen/Zeitpunkt

Merkmalsextraktion

Musterabgleich Ähnlichkeitsmaß

Folge von Lauten, Wörtern

als Ergebnis

Lexikalische Dekodierung

Syntaktische Analyse

Page 3: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Software: NUANCE 8

Anwendungsgebiet:– Marktführer, sehr präzis– Für kontinuierliche Sprache– Sprecher-unabhängig

Funktionsweise:– Wird mit statistischen Sprachmodellen kombiniert– Geräusch-robuste Merkmalsextraktion– Akustische Adaptation (an Sprecher)

Page 4: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Erkennungs-Grammatik unter Nuance:

Grammatikdatei(en): Nuance individuell einsetzen

Werkzeug: Nuance Grammar Builder

zum editieren und kompilieren

Notation: in Grammar Specification Language (GSL)– Für kontextfreie Grammatiken

– Terminalen und nonterminalen Symbolen

– Erweiterungen möglich, wie z.B. Wahrscheinlichkeit des Vorkommens

Page 5: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Erkennungs-Grammatik unter Nuance:

Konstrukt Bedeutung Beispiel Beschreibung(...) Konkatenation (ich möchte) Phrase ’ich möchte’[...] Disjunktion [tee kaffee] ’tee’ oder ’kaffee’* Kleen’sche *viel milch ’milch’, ’viel milch’, Hülle ’viel, viel milch’, ...+ Positive Hülle +viel milch ’viel milch’, ’viel, viel milch’, ...? Option kaffee ?bitte ’kaffee’ oder

’kaffee bitte’

Auszug aus den Syntaxkonstrukten der GSL

Page 6: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Erkennungs-Grammatik unter Nuance:

Beispiel bei espresso:

.SATZ (ich möchte einen GETRAENK)

GETRAENK [kaffee tee milch milchkaffee]

Durch Einführung von Regeln wird die Grammatik flexibel

Page 7: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Erkennungs-Grammatik unter Nuance:

Bei zu großen Grammatiken hingegen,

– wird die Bearbeitung langsamer

– die Erkennungsrate sinkt

– es können semantisch ungültige Konstrukte generiert werden

möglichst viele denkbare Sätze in die Grammatik, aber nicht alle mögliche (Begrenzung auf Bereiche).

Page 8: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Prototyp 1: Entwicklung einer Grammatik

(Bestellungsvorgang)

Beispiele von erkannten Sätze:

• Einen Kaffee bitte• Mach mir einen Kaffee• Für mich einen Kaffee• Ich hätte gerne einen Kaffee

– sollte robust sein

– ausreichend für erste Versuche(Tests über Nuance Server)

Page 9: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

.INIT[

( BITTE GETRAENK )( GETRAENK BITTE )( PERSONALPRONOMEN VERB ?(BITTE ?(GERNE)) GETRAENK )

]BITTE

[?(bitte)

]GERNE

[?(gerne)

]PERSONALPRONOMEN

[ich

]VERB

[( moechte )( haette )( will )

]

GETRAENK

[

( einen ?(doppelten) kaffee )

( eine kanne kaffee )

( einen ?(doppelten) cappuccino )

( einen ?(doppelten) latte macchiato )

( einen ?(doppelten) milchkaffee )

( einen ?(doppelten) kaffee creme )

( einen ?(doppelten) milchkaffee )

( einen ?(doppelten) espresso )

( milchschaum )

]

Page 10: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Prototyp 2:– Grammatik erweitert– Java-Client programmiert

Page 11: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Prototypen 3-4:

– Integration von Text-to-speech– Integration von Maschinensteuerung– Dialoge entwickelt:

• Begrüßung• Getränke-Repertoire• Antwort auf Bestellungen• Meldung bei Missverständnis• Abbruch der Bestellung

Page 12: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Prototypen 3-4:

U: Guten Tag, WMF combination S.

M: Guten Tag. Was kann ich Ihnen anbieten?

U: Was kannst Du denn alles?

M: Ich kann Kaffee, Café Crème, (...). Was ist Ihr Wunsch?

U: Ich hätte gerne einen Cappuccino.

M: Entschuldigung, ich habe eben leider nicht zugehört.

U: Einen Cappuccino bitte.

M: Gerne, ich mache Ihnen eine Cappuccino. Einen Moment bitte.

Page 13: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Prototypen 3-4:

Weiterer sprachliche Aspekt:

Aussprache bei unbekannten Wörtern oder Fremdwörtern:

Dictionary-Files in Lautschrift-Notation bei Nuance

aufgeschaeumte aw u f g * S Oj m t *combination k o m b i n e S * nheisses h aj s E Smacchiato m A k i A t omilchschaum m i l rej S aw m

Page 14: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Prototypen 5 bis Final:

– Sprachsynthese und Steuerungin entsprechende Module ausgelagert

– Wahrscheinlichkeitswerte in Grammatik

– Weitere Dialog-Elemente, Smalltalk

Page 15: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Prototypen 5 bis Final:

Page 16: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

Generierung und Synthese

• Routengraphen

Sprachgenerierung und -synthese (Kurzer Einblick)

– Benutzte Software: Mary(andere: SABLE, SAPI)

– Herausforderung Aussprache/Intonation(Parsen, Satzmelodie finden, Lexikon)

– MaryXML-Struktur auf jede Ebene des Prozesses zugreifbar / erweiterbar

• Explizite Ausspracheangaben (Kaffeedomäne)

• Beeinflussung der Intonation mit GToBI (Notationssystem)

Page 17: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

Generierung und Synthese

• Routengraphen

Sprachgenerierung und -synthese (Kurzer Einblick)

<?xml version="1.0" encoding="UTF-8"?><maryxml xmlns="http://mary.dfki.de/2002/MaryXML"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance„

version="0.3" xml:lang="de"><prosody rate="+10%" pitch="+10%">

Ihr <t sampa="ka-’fee">Kaffee</t> ist fertig!</prosody>

</maryxml>

Page 18: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

Generierung und Synthese

• Routengraphen

Sprachgenerierung und -synthese (Kurzer Einblick)...<prosody pitch="+10%" rate="+10%"> <paragraph> <sentence> <phrase> <t g2p_method="lexicon" pos="PPOSAT"

sampa="’?i:6" syn_attach="1" syn_phrase="NP"> Ihr </t> <t accent="L+H * " pos="NN" sampa="ka-’fee"

syn_attach="0" syn_phrase="NP"> Kaffee </t> <boundary breakindex="3" tone="H-"/>

....

Page 19: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Routengraphen für die Ebene 8 (MZH)

a)B: Wo finde ich das Büro von BKB?K: Raum 8071. Gehen Sie hier raus, dann gleich

nach links. Ganz am Ende sehen Sie eine Tür, das Bürovon BKB ist die Tür daneben.

b)B: Wie finde ich das Büro von xxx? (xxx ist ein

Student, hat aber kein Büro.)K: Entschuldigung, ich habe Sie nicht richtig

verstanden. Können Sie es noch einmal versuchen?

B: Wie finde ich das Büro von xxx?K: Es tut mir leid, die Person ist nicht in der

Datenbank gespeichert.

Page 20: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Routengraphen für die Ebene 8 (MZH)

Page 21: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Routengraphen für die Ebene 8 (MZH)

Page 22: Überblick Software Bestellungsver-waltungsprozess Dialogmanagement Simulation Sprachverarbeitung

• Überblick Software• Bestellungsver-

waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung

Verschiedene Arbeitsphasen

• Routengraphen

Routengraphen für die Ebene 8 (MZH)