� � � � � � � � � � � � � � � � �

9 Ausgewählte Themen27. Vorlesung: Mensch-Maschine-Kommunikation –

Von Agenten zu Interface-Agenten

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ! � � � � � � � � � "

� � � � � � � � � � � � � � � � �

und Standpunkt IW

• Intelligenz entfaltet sich in der Interaktion (wenn auch sie kognitive Fähigkeiten bei den beteiligten Partnern voraussetzt)

• Die Interaktion dient in Arbeitskontexten einem bestimmten Zweck (oder mehreren)

• Wenn ich interaktive Systeme/Maschinen will, diesich im Gebrauch "intelligent anstellen", benötigen sie eine entsprechende "kognitive" Ausstattung

• Ein technisches Ziel der Künstlichen Intelligenz sollte es sein, Systeme mit kognitiven Fähigkeiten soweit auszustatten, daß sie den Menschen von mühsamer Bedienung entlasten

(Akademisches Ziel bleibt nach wie vor die Erklärung von Intelligenz-Phänomenen)

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ! � � � � � � � � � " #

� � � � � � � � � � � � � � � � �

$Methoden der Künstlichen Intelligenz, insbesondereExpertensystemtechniken, können in der Mensch-Maschine-Kommunikation nutzbringend eingesetztwerden.

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ! � � � � � � � � � " %

� � � � � � � � � � � � � � � � �

Kernidee

• Finde Konzeptualisierung der Anwendungsdomäne

• beschreibe Domänenwissen in Form von Regeln etc.

• mache sie einem Domänenproblemlöser (odermehreren) verfügbar

Die Anwendung von Expertensystemtechniken fürintelligente Interfaces zu technischen Systemen ist einfacher als für Entscheidungsunterstützung !

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ! � � � � � � � � � " &

� � � � � � � � � � � � � � � � �

Regeln• zur Modellierung von Domänenwissen • Inferenzberechnung z.B. mit CLIPS

Frames• strukturierte Beschreibung von Objekttypen• Vererbung von Eigenschaften auf Instanzen

Constraints• Darstellung und Test von Objektabhängigkeiten• automatische Propagierung von Änderungen

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ! � � � � � � � � � " '

� � � � � � � � � � � � � � � � �

thematisiert in der

• Robotik (autonome Systeme; verteilte Systeme)

• Sprachverarbeitung (Sprach-Handlungssysteme)

• Computergrafik (interaktives Design, Animation)

Projekte:

• am CSLI an der Stanford University

• am CIS der University of Pennsylvania

• am Sony Computer Science Laboratory Tokyo

• am DFKI in Saarbrücken (AKA)

• an der Uni Bielefeld im Rahmen von KI-NRW

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ! � � � � � � � � � " �

� � � � � � � � � � � � � � � � �

KognitiveVerarbeitung

Reasoning

WissensbasisKnowledge Base

Agent A

KognitiveVerarbeitung

Reasoning

WissensbasisKnowledge Base

Agent Bgesprocheneoder

geschriebeneSprache

(Sprach-)Handlungen

(Sprach-)Perzepte

Mensch-Maschine-Kommunikation: Agent A ist ein Mensch, Agent B eine Maschine (oder umgekehrt)

(angelehnt an Russell & Norvig 1995)

• Agent B perzipiert übermittelte sprachliche Äußerungen (deren Bedeutung er verstehen will)

• Agent A agiert in Form sprachlicher Handlungen (produziert Äußerungen, die er übermittelt)

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ! � � � � � � � � � " (

� � � � � � � � � � � � � � � � �

Agenten haben– Basisfunktionalität (können bestimmte,

ihnen zugeteilte Aufgaben lösen)– kooperativen Überbau (zur Teilnahme an Ko-

operationsverfahren mit anderen Agenten)– Kommunikationsfähigkeit (durch Zugriff auf

Kommunikationskanäle zu anderen Agenten)

gestaffelte Systeme:auf der obersten Ebene lediglich zwei Agenten: menschlicher Benutzer - künstliches System, Aufgliederung in Gesellschaft weiterer Agentenbis hin zu primitiven (nicht weiter zerlegbaren)

(z.B. Müller & Siekmann 1991, Steiner 1992, Cremers et al. 1992)

'Höhere' Agenten können Wissenüber andereAgenten haben.Kein Agent hatÜberblick über das zu lösendeGesamtproblem(keine zentraleKontrolle).

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ! � � � � � � � � � " )

� � � � � � � � � � � � � � � � �

Modularität

• rüste autonome Problemlöser (Spezialisten) mitExpertenwissen für Teilaufgaben aus und fügesie “im Team” zusammen

Multiagentensysteme

Idee: Jeder Agent hat gerade soviel Wissen, wie benötigt wird, um seine Spezialaufgabe zu lösen.

Interaktion zwischen mehreren Agenten mit einfachem Verhaltenkann genutzt werden, um komplexe Aufgaben zu lösen.

* + , - . / 0 1 2 3 4 5 6 1 7 8 . 9 1 4 9 1 / : ; 4 2 7 0 < = 8 1 4 > 4 7 1 0 0 < 5 1 4 ? @ A

B C D E F G H D I J I K D F L F M F L N

→ Arbeiten am MIT Media-Lab; übernommen in Visionen über zukünftige Benutzerschnittstellen(Apple, HP, DEC...)

• Systeme zur Unterstützung von Benutzern im Umgang mit Computer-Anwendungen ("personal assistants")

• benutzen Wissen über Aufgaben, Gewohnheiten und Präferenzen ihrer Benutzer, um an deren Stelle Handlungen auszuführen

• graduell erweiterte Delegation von Aufgaben indem Maße, wie sich ein Agent in Wahrnehmung seiner Aufgabe bewährt (Bsp: Scheduling-Aufgaben)

Wie erhaltenAgenten daserforderlicheWissen überihre Benutzer?

(Lernverfahrenvs. expliziteProgram-mierung)

(z.B. Laurel 1990, Kozierok & Maes 1993)

* + , - . / 0 1 2 3 4 5 6 1 7 8 . 9 1 4 9 1 / : ; 4 2 7 0 < = 8 1 4 > 4 7 1 0 0 < 5 1 4 ? @ @

B C D E F G H D I J I K D F L F M F L N

Übersicht:• Software-Agenten• Idee: Instruierbare Interface-Agenten• Trade-offs zwischen Komfort und Kontrolle

Botschaft des Artikels:Von einer Sicht des Computers alsüberquellende Toolbox zu einer Sichtdes Computers als einer Agentur

Agentur:Gruppe von Agenten mit individuellenFähigkeiten und mit der Fähigkeit zurKooperation

Quelle: Lieberman, H. & Maulsby, D.(1996): Instructible agents:Software that just keepsgetting better. IBM SystemsJournal 35(3&4), 539-556.

* + , - . / 0 1 2 3 4 5 6 1 7 8 . 9 1 4 9 1 / : ; 4 2 7 0 < = 8 1 4 > 4 7 1 0 0 < 5 1 4 ? @ *

B C D E F G H D I J I K D F L F M F L N

* sollen die Mensch-Maschine-Kommunikation möglichst menschenähnlich gestalten

* werden in alle möglichen direkt-manipuliertenInterfaces eingebettet

* sollen bei Bedarf beigezogen werden, aber auch umgangen werden können

Zwei komplementäre Ansätze:

• direkte Instruktion • induktive Inferenz

auch kombiniert einsetzbar

BeispieleTurvyMondrianLetiziaACT

* + , - . / 0 1 2 3 4 5 6 1 7 8 . 9 1 4 9 1 / : ; 4 2 7 0 < = 8 1 4 > 4 7 1 0 0 < 5 1 4 ? @ O

B C D E F G H D I J I K D F L F M F L N

• Ein Experiment: Simulation der Benutzer/Agenten-Interaktion in einem Texteditor (ein Mensch spielt Rolle des Interface-Agenten)

• Beispiel: Formatieren einer Literaturliste (u.a.: Wiefindet man Autorennamen und das Erscheinungsjahrheraus?) Ersparnis einer großen Menge von Maus-,Menu-, Tastaturkommandos

• Ziel: Finden geeigneten Diskurs-Vokabulars; Entwicklung allgemeiner Interaktionskriterien:

- Lernen aus Beispielen- verbale und gestische Eingaben verstehen- Entdecken von Spezialfällen ("van Lehn")- Erkennen impliziter Negativbeispiele (was der Benutzer nicht macht)

Einiges davon istim System Cimaimplementiert(symbolischerLernalgorithmus,der kontinuierlichmitläuft)

* + , - . / 0 1 2 3 4 5 6 1 7 8 . 9 1 4 9 1 / : ; 4 2 7 0 < = 8 1 4 > 4 7 1 0 0 < 5 1 4 ? @ P

B C D E F G H D I J I K D F L F M F L N

• ein Agent, der neue Graphik-Prozeduren durchexplizite Instruktion lernt, auf der Basis von

a) Vormachen b) graphisch annotierten Videos

• Feedback über das Gelernte durch bildhafte und sprachliche Agentenäußerungen

• Beispielszenario: Dokumentation der Bedienungund Wartung elektrischer Geräte in Flugzeugen

• eingebettet in eine multimediale (Video-) Bedienungsanleitung (z.B. wie findet man Teileund modifiziert - etwa zerlegt - man sie?)

• aufgrund einiger Vormachbeispiele wird festeProzedur gelernt

* + , - . / 0 1 2 3 4 5 6 1 7 8 . 9 1 4 9 1 / : ; 4 2 7 0 < = 8 1 4 > 4 7 1 0 0 < 5 1 4 ? @ Q

B C D E F G H D I J I K D F L F M F L N

• ein Agent, der beim Web-browsing assistiert und durchBeobachtung des Benutzers stetig inkrementell lernt

• Web-Suche als Kooperation zwischen Mensch und Software-Agent

- arbeitet in Verbindung mit dem Netscape Navigator; beobachtet das Browsing-Verhalten des Benutzers

- macht eine ressourcen-beschränkte Suche, um dem Benutzer Empfehlungen über als nächstes zu verfolgende links zu geben

nicht wissensbasiert, sondern verhaltensbasiert realisiert:

• entwickelt neue "behaviors" durch nichtüberwachtes Lernen

• soll in Zukunft doch explizit instruiert werden, da das Entwickeln gewünschten Verhaltens sehr langsam undunzuverlässig erfolgt

* + , - . / 0 1 2 3 4 5 6 1 7 8 . 9 1 4 9 1 / : ; 4 2 7 0 < = 8 1 4 > 4 7 1 0 0 < 5 1 4 ? @ R

B C D E F G H D I J I K D F L F M F L N

Arbeiten im Rahmen des MIT-Projekts ALIVE(Artificial Life Video Environment)

• instruierbarer Agent, der neue Verhaltens-weisen für animierte Charaktere eines Virtual-Reality Environments lernt

• Benutzer tritt im Environment als "Avatar" auf

• integiertes Lernen durch Beobachtung, Rat undexplizite Instruktion:

- alle Agentenverhaltensweisen müssen bislangvorprogrammiert sein

- Ziel jedoch: Benutzer soll durch erlernte neueVerhaltensweisen erfreut werden

Beispielanwendung:

Agent Jasper, derRutschbahnen (mitrichtigen Abständender Leitersprossen)aus virtuellen Lego-Steinen bauen lernt

* + , - . / 0 1 2 3 4 5 6 1 7 8 . 9 1 4 9 1 / : ; 4 2 7 0 < = 8 1 4 > 4 7 1 0 0 < 5 1 4 ? @ +

B C D E F G H D I J I K D F L F M F L N

Ein Spektrum instruierbarer Systeme im Vergleich:

S T T U V W X V Y Z Z [ \ V ] ^ X _ [ V \ ` a \ Z Y ^ [ U ] b Y a [ W ^ [ ^ c a V ] [ \ V d Y V \ Y X \ ^ a \ ^ e \ ^ X b [ c f d ] a b \ V eg h i j k k g l j h mk n o p m j g i n q n r i g s h

n o i s t n i g u g j v o h lr v s l v n t t g j v w n v x j g i

k j v h n o p y n h qg h u i v o x i g s h u n o p y n h qw j h o i m j v x s h i v s k k j

(dunkel: Eigenschaft wenig gegeben; hell: Eigenschaft stark gegeben)

z { | } ~ � � � � � � � � � � � ~ � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � � � �

• Instruierbare Agenten repräsentieren einen "sweet spot" zwischen Komfort und Kontrolle

• sie ermöglichen dem Benutzer die Delegation von Aufgaben an ein semi-intelligentes System, ohne ihm/ihr die detaillierte Kontrolle zu entziehen

z { | } ~ � � � � � � � � � � � ~ � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � � � �

These: Ein Schnittstellen-Assistent istdann vonnöten, wenn die Hand-habung eines Programms durchden Menschen schlecht oder garnicht möglich ist.

=> Ursache: Programme sind schlechtaufgebaut oder zu komplex, so daßdiese hätten aufgeteilt werdenmüssen („Wollmilchsau“)

=> Kernproblem angehen

(Word-Assistent „Büroklammer“als exemplarisches Beispiel)

Der IA muß „intuitiven“ Umgang bieten: 

den Willen des Menschen richtiginterpretieren die verschiedenen Benutzersichtenberücksichtigen („Informatiker“ –„Sekretärin“)

 die Handhabung vereinfachen Vorgänge transparent darstellen darf nur korrekte Dinge im Sinne desBenutzers tun (Wird nach einemPunkt groß geschrieben? Wann wirdder Benutzer gefragt?) i.a. keine Dinge automatisch ändern

(Stellungnahme von Frank Kastrup / Stud. NWI)

z { | } ~ � � � � � � � � � � � ~ � � � � � � � � � � � � � � � � � � � � � � � � � � � � z ¡

� � � � � � � � � � � � � � � � � � � �

 IA frißt Rechenzeit/Speicherplatz

 Wenn der IA gut funktionieren soll,wird er ein Benutzerprofil erstellenund sich rasch anpassen => Datenschutzproblem

 Der IA muß Wissen repräsentieren,um dem Benutzer Übersicht zugeben, allerdings nicht immer

 Das Umgehen des IA wird beierfolgreicher Implementation immerunwahrscheinlicher

 Hauptproblem: Kontrollverlust!

 siehe These

 Die meisten Problemkreise sind zukomplex, um sie in den Griff zubekommen

 Programmieraufwand ist zu hoch,wenn man es nicht schafft, eineallgemeine Vorgehensweise zuimplementieren, die für vieleProgramme gut funktioniert

 Die Vereinheitlichung von Ober-flächen macht mehr Sinn, da derBenutzer rasch Übersicht gewinnt

(Stellungnahme von Frank Kastrup / Stud. NWI)

z { | } ~ � � � � � � � � � � � ~ � � � � � � � � � � � � � � � � � � � � � � � � � � � � z �

� � � � � � � � � � � � � � � � � � � �

Komplexe Bedienung einesmodernen Grafik-Systems: aufjeder Seite eine Randmenüleistemit 20 Feldern, oben und untennoch ein paar Felder, zwischendrei oder vier solchen Bild-schirmen kann hin- und her-geschaltet werden, jedes Menü-feld läßt weitere Unter- undUnter-unter-Menüs aufspringen,die mehrere tausend Funktionenaktivieren und kombinieren, mit Hilfe der Maus sind fein-motorisch anspruchsvolleManipulationen auf vier Teil-bildschirmen vorzunehmen... Leicht vorstellbar, daß die Ein-arbeitung ein halbes Jahr odermehr erfordert, bevor dasSystem im gewünschten Maßenützlich wird.

z { | } ~ � � � � � � � � � � � ~ � � � � � � � � � � � � � � � � � � � � � � � � � � � � z z

� � � � � � � � � � � � � � � � � � � �

¢ £ ¤ ¥ ¦ § ¨ ¤ ¥ £ ¨© ª ¨ « £ ¬

­ ¦ « £ ® ¯ ° ¤ £ ±² ³ £ ¦ « £ ¦´ £ ¦ ¨ ¤ ¥

¢ £ § µ ° ¶ « · ¦ · ¬ £ ¨ © ª ¨ « £ ¬

¸als Bindeglied in der Mensch-Maschine-Kommunikation

¸Vereinfachung der Handhabungkomplexer technischer Systeme

statt direkter Manipulation:

Kommunikation mit einemteilautonomen System

Teilautonomes System:Ein System, das Anteileseiner Funktion unabhängigvon direkter Steuerung durchBenutzer erbringen kann

z { | } ~ � � � � � � � � � � � ~ � � � � � � � � � � � � � � � � � � � � � � � � � � � � z ¹

� � � � � � � � � � � � � � � � � � � �

º » ¼ ½ ¾ ¿ À Á Â Ã Ä ÅÆ Ç È É È ¾ Ê ¾ Ë ¾ Ê Ì

Í Î Î Ï Ð Í Î Î Ñ

z { | } ~ � � � � � � � � � � � ~ � � � � � � � � � � � � � � � � � � � � � � � � � � � � z Ò

� � � � � � � � � � � � � � � � � � � �