Spezielle Themen der KI - Technische Fakultät · PDF file- Newell und Simons Logic Theorist und GPS - NLP mit einfachen Mustertransformationen. Prototyp: ELIZA ... • Syntaxbaum/Strukturbaum/Parse

University of Bielefeld

Spezielle Themen der KI

NLP

Natural Language Processing

Marc Erich LatoschikAI & VR Lab, Faculty of Technology

University of [email protected]


NLP

Dave Bowman: Open the pod bay doors, HAL.HAL: I‘m sorry, Dave, I‘m afraid I can‘t do that.

StanleyKubrick and Arthur C. Clarkescreenplay of 2001: A Space Odyssee

3


4

Was ist Sprache?

• Menschliche Sprache– universelles Kommunikations- und Speichermedium– Interaktion zw. Menschen über verschiedene „Kanäle“ von

denen Sprache besonders dominant scheint– Wissensvermittlung, kollektiver Erkenntnisgewinn

• Sprache und Denken sind eng verknüpft– Kategorisierung, Benennung, Abstraktion– Erkenntnisgewinn bei Arbeit an sprachlicher Formulierung– mentale Abläufe menschlicher Sprachverarbeitung nicht

bekannt


5

Natürliche Sprachen – formale Sprachen

• natürliche Sprache– menschliche Sprachen (Deutsch, Englisch...– sehr mächtig in den Ausdrucksmöglichkeiten (kann „alles“

beschreiben)– oft mehrdeutig: Ambiguitäten

• formale Sprache– Computersprachen, Logiken (Aussagelogik,

Prädikatenlogik,...)– einfach zu verstehen aber eingeschränkte Ausdrucksfähigkeit

(fachspezifische Benutzung),– eindeutig definiert


Spezielle Themen der KI

NLP

Kognitionswissenschaftliche Betrachtungen:Sprachverstehen als Informationsverarbeitung

Marc Erich LatoschikAI & VR Lab, Faculty of Technology

University of [email protected]


Sprache und Kommunikation

• Wie lassen sich die von einem „Sender“ produzierten und kommunizierten Nachrichten bei einem Empfänger „verstehen“ – im Bedeutungsgehalt rekonstruieren?

7

• Kommunikation: wechselseitige, weitgehend beabsichtigte Informations-übertragung zwischen (mindestens) zwei Partnern

Beispiel


Sprache und Kommunikation

• Wie lassen sich die von einem „Sender“ produzierten und kommunizierten Nachrichten bei einem Empfänger „verstehen“ – im Bedeutungsgehalt rekonstruieren?

8

• Kommunikation: wechselseitige, weitgehend beabsichtigte Informations-übertragung zwischen (mindestens) zwei Partnern

Beispiel


Kommunikation und Sprache - eine alternative Sicht

• Kommunikation: Als kommunikatlves Verhalten bezeichnen wir als Beobachter solches Verhalten, das im Rahmen sozialer Koppelung auftritt; als Kommunikation bezeichnen wir jene Koordination des Verhaltens, die aus der sozialen Koppelung resultiert (Varela & Maturana, 1987, S.196).

• Sprache: Als sprachlich bezeichnen wir ein ontogenetisches kommunikatives Verhalten (d. h. ein Verhalten, das in der ontogenetischen Strukturkoppelung von Organismen entsteht), welches ein Beobachter semantisch beschreiben kann (Varela & Maturana, 1987, S.223).

• ..dass Sprache kein Instrument der Informationsübertragung und kein System der Kommunikation darstellt, sondern eine Art und Weise des Zusammenlebens in einem Fluss der Koordination von Verhaltenskoordinationen, die dem Strukturdeterminismus interagierender Systeme nicht widerspricht (Maturana & Pörksen, 2000, S84).

• Erkennen:Erkennen nicht als eine Repräsentation der "Welt da draussen" versteht, sondern als ein andauerndes Hervorbringen einer Welt durch den Prozeß des Lebens selbst (Varela & Maturana, 1987, S.7).

9

Varela & Maturana, 1987: Francisco Varela und Humberto Maturana: Der Baum der Erkenntnis, Scherz Verlag

Maturana & Pörksen, 2000: Humberto Maturana und Bernhard Pörksen: Vom Sein zum Tun - Ursprünge der Biologie des Erkennens, Carl Auer 2002


10

Sprachverstehen unter dem Informationsverarbeitungsparadigma

Prozess oder Funktion welcher physikalische Form einer Sprachäußerung auf die Repräsentation ihrer Bedeutung abbildet.

• Im kognitionswissenschaftlichen Paradigma der Informationsverarbeitung werden kognitive Prozesse des Sprachverstehens als

• Berechnungsvorgänge und • Manipulation von Information verstanden.


11

Sprachverstehen als Interaktion von Wissenssystemen

Zwei Typen von Kenntnis- und Wissenssystemen lassen sich im Kontext des Sprachverstehens unterscheiden:

1. Allgemeine Kenntnissysteme mit kognitivem Status außerhalb der Sprachverarbeitung

Ó Wissen über Entitäten Ó Wissen über Zusammenhänge in der Welt, etc.

2. Spezifische Kenntnissysteme im Rahmen der Sprachverarbeitung:

– Phonologisches Wissen– Syntaktisches Wissen– Lexikalisches Wissen


12

Betroffene DisziplinenNeurolinguistik - Sprache und Gehirn

• Lokalisierung der Hirnfunktionen– Messung aktiver Neuronenareale mithilfe von

MRI (aktive Hirnareale bei Fingertapping-Aufgabe)

– Untersuchung von Störungen/Aphasien z.B. bei Verletzungen im Gehirn

• Organistion der menschlichen Sprechfähigkeit– Hirnareale für die Sprachverarbeitung– Verstehen und Erzeugen von Sprache im Broca- und

Wernike-Zentrum


13

Betroffene Disziplinen

• Linguistik: – Sprachspezifische Kenntnissysteme.– Sprachübergreifende Theorie der strukturellen Regularitäten

der Sprache.• Psycholinguistik:

– Experimentell fundierte Prinzipien der Verarbeitung sprachlichen Wissens die sprachliches Verhalten determinieren.

• Kognitionswissenschaft: – Annahmen über die Repräsentation benötigten Wissens und

deren Auswirkungen auf die Verarbeitung unter Zugrundelegung dedizierter parametrisierter Verarbeitungsprinzipien für empirisch überprüfbare Hypothesen.


14


„…, as psycholinguistics has become more computational, and therefore more explicit, researchers with different perspectives

are increasingly able to translate their metatheoretical disagreements into empirical questions.“

[Tanenhaus, 1988, S.30]

Detaillierte Spezifikation eines Verarbeitungsmodells. KI und Theoretische Informatik entwickeln Werkzeuge für

kognitive Modellierung hochkomplexer Sprachverarbeitungsprozesse.

Einschränkung der Klasse der möglichen Modelle menschlicher Sprachverarbeitung durch psychologische, linguistische, neurophysiologische und informatische (Korrektheit, Handhabbarkeit,

Berechenbarkeit) Rahmenbedingungen.


15


Philosophie:Rolle oder Funktion der Sprache als Vermittler

zwischen Mensch und Umwelt.(Denken<->Sprache<->Wirklichkeit). [Austin, 1962; Grice, 1975; Searle, 1969]

Rolle der Sprache im menschlichen Handeln.Rolle der Sprache als wirklichkeitskonstituierende

Strukturierungshilfe.[Hörmann, 1976]


16


Künstliche Intelligenz

• Zentrale Frage der KI– Sprachverstehen: Extraktion von Wissen/Bedeutung aus der Sprache

(geschrieben oder gesprochen)– Interaktion mit dem Computer

• Sprache und „menschliche“ Intelligenz– Intelligenzbegriff eng verknüpft mit Sprache– Vorschlag zum operationellen Nachweis von Intelligenz: Turing Test

• Verarbeitung natürlicher Sprache (natural language processing NLP)– Sprachverstehen Satz -> Bedeutung– Spracherzeugung Bedeutung -> Satz– Maschinelle Übersetzung Satz -> Bedeutung -> Satz– gesprochene oder geschriebene Sprache– Einzelne Worte, Sätze, lange Texte


Kommunikationsmodell der KI

17

(nach Winograd 1983; Bild angelehnt an Russell & Norvig, Fig. 22.3)

Sprecher/Produzent Hörer/Versteher


18

Geschichte der maschinellen Sprachverarbeitung

1791: Erste Sprechmaschine von Wolfgang von KEMPELEN

1940er-1950erAutomatentheorie:1936: Turings Modell der algorithmischen Berechnung1943: McCulloch-Pitts Neuron, Berechnungelement in Propositionallogik1948: Shannon, Probabilistische Modelle diskreter Markov-Prozesse für

Sprachautomaten 1951/1956: Kleene, endlicher Automat und reguläre Ausdrücke 1956: Chomsky, Schaffung der Theorie der formalen Sprachen (außerhalb der KI)1959/1060: Backus und Naur et al., kontextfreie Grammatiken (parallel zu Chomsky),

ALGOL Probabilistische oder informationstheoretische Modelle: - Shannons Metapher des noisy channels und des decodens- Begriff der Entropie, erste Anwendung auf englische Sprache1946: Koenig, Entwicklung des Spektographen- Grundlegende Erforschung instrumenteller Phonetikfrühe 50er: Erste Spracherkenner1952: Bell Labs (Davis et al., 1952), statistischer Sprecher-abhängiger Erkenner für 10

digits, 97%-99%


19


50er/60erSymbolisch:1959-1962: Zelig, Harris, TDAP - Transformations and Discourse Analysis Project1956: McCarthy, Minsky, Shannon, Rochester, Artificial Itelligence- Newell und Simons Logic Theorist und GPS- NLP mit einfachen Mustertransformationen. Prototyp: ELIZA (Weizenbaum)- Wissensrepräsentation mit Hilfe semantischer Netze (Quillian)Stochastisch:Ende der 50er: Bayes-Modell für optische Buchstabenerkennung1964: Mosteller und Wallace, Bayesansatz für Authorenzuweisung (The Federalist Papers)Sonst:- erste validierbare psychologische Modelle der menschlichen Sprachverarbeitungssystems- erste Korpora


20


70er/80er (4 Lager)Stochastisch:- statistische Modellierung (Hidden-Markov-Modelle)- Diktiermaschine DRAGON DICTATE:- SPICOS II - vollständiges Dialogsystem zur Datenbankabfrage- dynamischer Mustervergleich, dynamische ProgrammierungLogisch:1970/75: Colmerauer, Q-system und metamorphosis grammers1979: Kay, Functional Grammars1980: Pereira und Warren, Prolog Vorläufer, DCGs1982: Kaplan, LFGNatural Language Understanding (auch ... Processing - NLP):- Effektive Grammatikformalismen (ATN-Grammatiken)- SCHOLAR - Beantwortung von Fragen über Südamerika- SHRDLU (Terry Winograd)NLP und Logik:- LUNAR (Wood) - Auskunftssystem über GesteinsprobenDiskursmodellierung:1977, Grosz und 1983, Sidner: Unterstrukturen im Diskurs1978: Hobbs, BDI (Logik-basiert)

_ÉáëéáÉä=Ñüê=ÉáåÉ=ÄÉëÅÜê®åâíÉjáâêçïÉäíW=aáÉ=„häöíòÅÜÉåïÉäí“îçå=peoair


21


90er-- TANGORA - sprecherabhängiges automatisches Diktiersystem,- EVAR - IC-ZugauskunftProbabilistische Modelle werden mehr und mehr StandardIntegration verschiedener ModelleWWW motiviert Sprach-basiertes Informationretrieval...


22

SHRDLU – a blocks world [Winograd, 1972]

• SHRDLU: Konversation über eine Blockwelt.

– What is sitting on the red block?– What shape is the blue block on the table?– Place a green pyramid on the red brick.– Is there a red block? Pick it up.– What color is the block on the blue brick?

• Modell für die Bearbeitung von Syntax und Semantik

• Vollständige Szenenbeschreibung (Welt oder Domäne)


23

Turing Test

I propose to consider the question "Can machines think?" This should begin with definitions of the meaning of the terms "machine" and "think.“ [Turing, 1950]

“Turing Test” soll untersuchen ob eine Maschine intelligent ist

Vorschlag von Turing: Imitationsspiel• Mann A, Frau B, Fragesteller C• C kann über Terminal mit A und B kommunizieren (räumlich getrennt) und Fragen

stellen• Ziel: C soll festsstellen wer Mann und wer Frau ist (Kommunikationspartner mit X

und Y bezeichnet), z.B “X ist A” und “Y ist B”

Turing Test für Intelligenz• Fragesteller ist mit Person und Computer über Terminal verbunden• Wenn das Programm den Befrager glauben machen kann, dass es ein Mensch ist

“muß” es intelligent sein

Kritik am Turing Test: “Betrug” möglich, “Chinesisches Zimmer” (Searl)


24

Versuch eines Turing-Tests

Loebner Preis – Wettbewerb im Stil des Turing Test• Kommunikation eines Fragestellers mit Menschen und

Computerprogrammen über eine bestimmte Zeit• Gewinner des Loebner-Preises 2003: Jabberwock• Gewinner 2004: Richard Wallace • Gewinner 2005: Jabberwock• Zukünftiges Preisgeld $100.000 für eine audio-visuelle

„Täuschung“

Einschränkungen• Beschränkung auf bestimmte Gesprächsthemen• Jury befindet über Zulässigkeit von Fragen• Fragesteller bewertet wie „überzeugend“ er das Gespräch fand

Kritik: geschickte Täuschung ist effektiver als echtes Sprachverstehen


25

Konversationsprogramme

Programme, die mit Benutzern in natürlicher Sprache kommunizieren• Chatbots• Computer-Benutzer-Schnittstelle im Internet• Assistenzsysteme, Kundenberatung

Eliza - Geprächsprogramm nach dem Konzept von J. Weizenbaum• Programm handelt/spricht wie ein Psychotherapeut• Arbeitet mit Schlüsselworten und Kontextmustern• Wissen ist abgelegt in Skripten• Kein Sprachverstehen

Eliza-Effekt• Eliza wirkt wie ein „verstehender“ Gesprächspartner• Gesprächspartner interpretieren Bedeutungen in die Aussagen des

Gegenüber• hinein


26

ELIZA Programmierung

ELIZA SCRIPT FILE:Sxxxxxxxxx - DEFINE SIGNON MESSAGETxxxxxTxxxxx - DEFINE PAIR OF WORDS TO TRANSPOSENxxxxx - RESPONSE FOR NULL ENTRYMxxxxx - DEFINE RESPONSE FOR LATER USE OF "MY„Xxxxxxx - DEFINE RESPONSE FOR NO KEYWORD FOUNDKxxxxxx - DEFINE KEYWORDRxxxxxx - DEFINE RESPONSE FOR PREVIOUS KEYWORD...

NULL RESPONSESNyou're gonna wear your enter key out if you keep that up....

TRANSPOSITION TABLE

T ARE „T AM „T AM „T ARE „T WERE „...

NO KEYWORD FOUNDXPLEASE GO ON.XWHAT DOES THAT SUGGEST TO YOU?…

SIGNON MESSAGESHI, I'M ELIZA. WHAT DO YOU WANT TO TALK ABOUT?SSO HOW ARE YOU DOING TODAY?…

DEFINE KEYWORDS AND RESPONSESKCAN I „RPERHAPS YOU DON'T WANT TO*.RDO YOU WANT TO BE ABLE TO*?KFRIEND „RWHY DO YOU BRING UP THE TOPIC OF FRIENDS?RDO YOUR FRIENDS WORRY YOU?RDO YOUR FRIENDS PICK ON YOU?…

George (Icogno)

Max: Multimodale Eingabe/Ausgabe und Kognition


Ebenen linguistischer Analyse

• akustisch-phonetisch: Welche Worte wurden kommuniziert?– Erkennung eines Schalleindrucks als Folge von Worten– Erkennung der Wortgrenzen (Segmentierung)

• morphologisch-syntaktisch: die Wortfolge als Satz erkennen– funktionale Struktur der Satzkonstituenten?– verschiedene Lesarten (Mehrdeutigkeiten) aufzulösen?

• semantisch-pragmatisch: Verstehen der Satzbedeutung– In welcher Sinnrelation stehen die Worte zueinander? – Was intendiert die Äußerung?

29


Linguistisches Glossar

• Morphologie (Wortbildungslehre): betrifft die Zusammensetzung von Wörtern aus Stämmen, Vor- und Nachsilben sowie anderen Wörtern

• Syntax (Lehre vom Satzbau): befaßt sich mit den Regeln, nach denen sich Wörter zu Satzteilen und Satzteile zu Sätzen verbinden.

• Semantik (Bedeutungslehre): befaßt sich mit der Bedeutung von Wörtern und Sätzen.

• Pragmatik (umstandsbezogene Bedeutungsinterpretation): Abhängigkeit der Bedeutungen von Kontext und Sprechsituation

30

• Konstituente/Satzteil: Durch die Grammatik definierter Teil eines Satzes oder Satzteils.

• Konstituentenstruktur: Struktur eines Satzes, die ausdrückt, wie Teile des Satzes sich zu größeren Einheiten verbinden.

• Syntaxbaum/Strukturbaum/Parse Tree: Darstellung der Konstituenten- struktur eines Satzes.

• Lexikon (Dictionary): eine Daten-basis, die Wörter einer Sprache mit der zugehörigen morphologischen, syntaktischen und semantischen Information enthält.


Syntax, Semantik, Pragmatik

• Syntaxstrukturelle Beschreibung des Satzbaus(Subjekt, Prädikat, Objekt; Schema der Fragebildung)

• Semantik

formale Beschreibung des propositionalen Gehalts((grün(x), Suppe(y), in(x,y)) , ?)

• Pragmatik

Verwendung in der kommunikativen Situation,intendierte Funktion (Information, Lob, Kritik)

31

Beispiel: „Was ist denn das Grüne

hier in der Suppe?“

mögliche Antwort: „Wenn es dir hier nicht schmeckt,

kannst du ja woanders

essen gehen!“

Documents

Spezielle Themen der KI - Technische Fakultät · PDF file- Newell und Simons Logic Theorist und GPS - NLP mit einfachen Mustertransformationen. Prototyp: ELIZA ... • Syntaxbaum/Strukturbaum/Parse