Mobile Anwendungen des Semantischen Web

INFORMATIK 2004 – Informatik verbindetUniversität Ulm, 22.09.04

Deutsches Forschungszentrum für Künstliche Intelligenz GmbHStuhlsatzenhausweg 3, Geb. 43.8

66123 SaarbrückenTel.: (0681) 302-5252/4162Fax: (0681) 302-5383/5341E-mail: wahlster@dfki.de

WWW: http://www.dfki.de/~wahlster

Wolfgang Wahlster

© W. Wahlster

Semantik := Bedeutung sprachlicher Ausdrücke

Bisheriges Web: Netz von unspezifiziertenVerbindungen zwischen Webseiten (URL, URI).Webseiten selbst sind nur für den Menscheninhaltlich analysierbar (= syntaktisches Web).

Semantisches Web: Netz von Inhalten, in denenWebseiten über semantische Beziehungen untereinanderverknüpft sind. Webseiten selbst sind auch für Softwaresysteme inhaltlich analysierbar.

Zum Begriff „Semantisches Web“

© W. Wahlster

Syntaktisches vs. Semantisches Web

Syntaktisches Web

Semantisches Web

OWL

HTMLXML

verstehtInhalt

versteht Inhalt

kann lesen

und anzeigen

kein inhaltliches

Verstehen

© W. Wahlster

6 Hauptphasen der

Internet-Nutzung

1

Forschungsnetze

2 3 4 5

EMailWWW

MobileInternet-Dienste

Ein-gebetteteInternet-Dienste

M2M

2003

t

2004

6

Seman-tischeWeb-

dienste

© W. Wahlster

Erste Generation Zweite Generation Dritte Generation

Statische Web-Seiten

Papierersatz in HTML

Interaktive Web-Seiten

JavaScripts und Applets

Datenbank-Zugriff undTemplate-basierte

Generierung

DynamischeWeb-Seiten

SemantischeWeb-Dienste

Netbots,Informationsextraktion,

Präsentationsplaner

AdaptiveWeb-Seiten

Benutzermodellierung,Maschinelles Lernen,

Online Layout

Drei Generationen von Web-Seiten

© W. Wahlster

Trendanalyse des Feldafinger-Kreises zum Semantischen Web (Version 09/04)

SemantischeInformations-

integration

Ontologie-Werkzeuge

Medien Trans-

formation

Ontologie- sprachen

IntelligenteSuchagenten

Metadaten Generierung

Branchen- Ontologien

SemantischesGrid

Seman-tisches

Multimedia-Markup

SemanticRouting

Regel- Markup

und-Anwendung

Inferenz-basiertes Retrieval

Seman-tisches

Surfen & Soft Retrieval

Anwendungsreife

hoch

mittel

gering0- + + +- -

Lernen von und mit Ontologien

Methoden des OntologieEngineerings

Integration& Abgleich von

Ontologien

Wettbewerbsstellung von Deutschland

SemantischeWebdienste

Semantisches

Blogging

© W. Wahlster

OWL-SWebdienst

Vier Ebenen von Mark-up-Sprachen im Web

Inhalt : Struktur : Form = 1 : n : m

WWW-DokumentWWW-Dokument

Inhalt

Struktur

Form

OWL

XML

HTML

© W. Wahlster

Framesprachen

Objektoriente

Wissensrepräsentation

Framesprachen

Objektoriente

Wissensrepräsentation

Konzeptsprachen/Terminologische Logiken

Formale SemantikSubsumption, Inferenzen

Konzeptsprachen/Terminologische Logiken

Formale SemantikSubsumption, Inferenzen

Websprachen

XML- und RDF-Syntax

Websprachen

XML- und RDF-Syntax

OWLOWLGrundlagenforschung

am DFKI : Baader, Bürckert, Nebel, Nutt,

Smolka

Erste Spin-off Firmen:

Ontoprise, Racer Systems

OWL führt drei Sprachfamilien zusammen

© W. Wahlster

März 2003, MIT PressISBN 0-262-06232-18 x 9, 392 Seiten., 98 illus.$40.00/£26.95

Herausgegeben von:Dieter Fensel, James A. Hendler, Henry Lieberman and Wolfgang Wahlster

Vorwort von: Tim Berners-Lee

Spinning the Semantic Web

© W. Wahlster

Personalisierung

Die Darstellung von Webinhalten in unterschiedlichen Strukturen und Formen

Personalisierte und adaptive Präsentation von Webinhalten

StrukturXML1 XML2 XMLn

InhaltOWL (Ontology Web Language)

LayoutHTML11 HTML1m HTML21 HTML2o HTML31 HTML3p

© W. Wahlster

1. Syntaktisches versus Semantisches Web

2. SmartWeb: Beispiele für mobile semantische Webdienste

3. OWL-S: Die Beschreibung semantischer Webdienste

4. Die automatische Dienstekomposition als Planungsproblem

5. Informationsextraktion und Sprachtechnologie zur

automatischen Annotation syntaktischer Webseiten

6. Konklusion

Gliederung

© W. Wahlster

Mobiler breitbandiger

InternetzugangUMTS/WLAN

Mobiler Multimodaler Dialog

Sprache, Gestik, Haptik, Mimik

Semantisch annotierte Webseiten

Automatisch annotierte

Intranetseiten

Klassische HTML-

Webseiten

Sprachtechnologie, Informationsextraktion

Semantisches WebNeu: Offener Themenbereich Neu: Fragebeantwortung

SmartWeb: Mobiler Breitbandzugang zum Semantischen Web

© W. Wahlster

Internet

Sichere Verbindung

UMTS

WLAN

Zunkünftige 4G Technologieversorgt den Nutzer in allen Situationenautomatisch mit der jeweils besten sicheren Verbindung

Nahtloser ÜbergangZwischen UMTS in der Fläche und WiMAX/WLAN im Hotspot und Zuhause

Always Best Connected: Mobile und allgegenwärtige Internet-Dienste

© W. Wahlster

MultimodaleUMTS Systeme

Lokalisierter Zugriff auf mobile Internetdienste

Zugriff auf Webinhalte und Webdienste zu jeder Zeit

von jedem Ort

Zugriff auf Intranet und

Virtual Private Networks von mobilen Geräten

Zugriff auf Edutainment und Infotainment DiensteZugriff auf Edutainment

und Infotainment Dienste

Zugriff auf Nachrichten (voice, email, multimedia, MMS)

zu jeder Zeit auf jedem Gerät

Zugriff auf Nachrichten (voice, email, multimedia, MMS)

zu jeder Zeit auf jedem Gerät

PersonalisierungPersonalisierung

LokalisierungLokalisierung

© W. Wahlster

MotorolaA920

UMTS-Handy mit Assistiertem

Globalem Positionierungs-System (AGPS)

Lokalisierung von UMTS-Nutzern

Cell ID (Micro cell) ca. 3000m

AGPSca. 5-10m

OTDOAca. 25-50m

Cell ID + Segment ca. 2000m

Cell ID + Segment + TA ca. 500m

© W. Wahlster

[D x, D y, D z ]

Korrektur-Server

[sat1, t1][sat2, t2][sat3, t3][sat4, t4]

JAVA Midlet für Korrekturberechnung

UMTS-Handy mit eingebautem GPS-

Empfänger

Von LKVK exakt vermessene Position

[sat1, t1]

[sat12, t12]

RAW-Daten

50 cm Genauigkeit in 100 km Entfernung vom Korrektur-Server bei sehr schneller Übertragung, so dass die Satellitenbewegung vernachlässigbar ist.

Schnelle UMTS-Verbindung

Neues Prinzip zur hochpräzisen Außenpositionierung

© W. Wahlster

IMS Institut für Maschinelle Sprachverarbeitung,Universität Stuttgart Ludwig-Maximilians-

Universität München

European Media Lab

IT-2006 und Futur-Programm

BMBF: 13,7 Mio Euro (Dr. Reuse)

Leiter: W. Wahlster

Laufzeit: 2004-2007

SmartWeb-KonsortiumBMBF

Softwaresysteme

© W. Wahlster

Mobiler Zugriff im Smart Web

Price: $841.00

Wieviel ist das in Euro?

Semantische Metainfoüber Webdienste

Preis: €732,068

Die Kamerakostet 732,07

Euro.

Currency Converter

© W. Wahlster

Multimodale Konfiguration von Anwendungen im Smart Web

Entferne in diesen Bildern die roten

Augen, speichere sie im Album

Geburtstagsfeier 2003 und lasse mir davon von Pixum Abzüge

zusenden!

Die gewünschten Bilder werden in zwei

Tagen per Post zugeschickt.

© W. Wahlster

Wo ist hier im Umkreis von 5 Km

die günstigste Tankstelle für

Super-Benzin?

Wo ist hier im Umkreis von 5 Km

die günstigste Tankstelle für

Super-Benzin?

Ich zeige Ihnen den Weg zur günstigsten Tankstelle.

Ich zeige Ihnen den Weg zur günstigsten Tankstelle.

Sprachbasierte Suche nach dem preisgünstigsten Angebot am Beispiel der Tankstellensuche im KFZ

© W. Wahlster

Achtung, Aquaplaning

in 100 Meter !!!

Peer-to-Peer Austausch von Sensorischer information

GPS: Geodaten

GPS: Geodaten

Sensorik

Semantische Peer-to-PeerVerbindung

© W. Wahlster

Komposition mehrere semantischer Webdienste zu einem "räumlichen Wecker"

DFKI City Shopper ein ortssensitiver Mehrwertdienst

© W. Wahlster

Das UMTS-Handy als Gesundheitsberater

AllergieChecker: Abgleich von individuellen Allergieprofilen mit Produktinformation

© W. Wahlster

Produktdatenbank

4018462143001

Demonstration AllergieChecker

© W. Wahlster

Vom klassischen Web zu semantischen Webdiensten

WWWHTTP, URL, HTML, XML

Semantisches Web

Webdienste

RDF, OWLUDDI, WSDL,

SOAP

Semantische WebdiensteOWL-S

© W. Wahlster

WissensrepräsentationOntologie-

repräsentation

Benutzermodellierung

Sprachverarbeitung

Mobile MultimodaleBenutzerschnittstellen

Inferenzsysteme

Agententechnologie

Planungssysteme

Die Integration aktueller KI-Technologien im SmartWeb-Projekt

© W. Wahlster

Die Zielsetzung einer Inhaltsbeschreibungssprache für Webinhalte Basis für

die Berechnung

semantischer Äquivalenzsyntaktisch unterschiedlicher

Repräsentationen

Ziel-sprache

für die Bedeutungs-

repräsentation natürlich-

sprachlicherEingaben

Quell-sprache

für die Generierung eindeutigernatürlich-

sprachlicherAusgaben

Basis für effiziente

Inferenzen überWebinhalte

Gemeinsames Verständnis

aller Informationskonsumenten(Benutzer, Suchmaschine,

Webdienst, Sprachgenerator)

Repräsentation derBedeutung

von Webinhalten

© W. Wahlster

Beschreibungslogik

Typische Konstruktoren

Ein Mann,

der mit einer Doktorin verheiratet ist

und mindestens drei Kinder hat, die

alle Informatiker sind.

Mensch п ¬ Weiblich,

verheiratet-mit Doktor п( 3 Kinder) п

Kinder. Informatiker

C п D, ¬ C, r. C, r, ( nr)

© W. Wahlster

ELTERNTEILELTERNTEIL

GROSSVATERGROSSVATER

ELTERNTEILELTERNTEIL

MENSCHMENSCH

GELDGELDMENSCHMENSCH

MANNMANN

MENSCHMENSCH

SPECIALIZES-Kante

S

S

S

S

VR

VR

VR

RRRR

RR

RR

VR

P 1 KIND

P 1 KIND P 1 ENKEL

EINKOMMEN

Automatische Klassifikation in OWL-Ontologien

© W. Wahlster

ELTERNTEILELTERNTEIL

GROSSVATERGROSSVATER

ELTERNTEILELTERNTEIL

MENSCHMENSCH

GELDGELDMENSCHMENSCH

MANNMANN

MENSCHMENSCH

SPECIALIZES-KanteBerechneteSubsumptionsbeziehung

S

S

S

S

VR

VR

VR

RRRR

RR

RR

VR

P 1 KIND

P 1 KIND P 1 ENKEL

EINKOMMEN

Automatische Klassifikation in OWL-Ontologien

© W. Wahlster

Inferenzdienste in Konzeptsprachen

In der Ontologie:

In der gesamten Wissenbasis:

Sind alle Konzepte verschieden oder stimmen welche überein? (Äquivalenz)

Welche Unterbegriffsbeziehungen bestehen? (Klassifikation)

Welche Rollen-Beziehungen gelten daher für die Begriffe? (Vererbung)

Ist ein definierter Begriff sinvoll oder ist die Klasse grundsätzlich leer? (Inkohärenz)

Haben zwei Klassen gemeinsame Instanzen oder nicht? (Disjunktheit)

Ist die WB konsistent?

(Konsistenz)

Welche Klassen instantiiert ein gegebenes Objekt?

(Realisierung)

Welche der bekannten Elemente enthält eine vorgegebene Klasse? (Retrieval)

Welche (Rollen-)Beziehungen bestehen zwischen verschiedenen Objekten?(Vererbung)

© W. Wahlster

Rollen, Konzepte und ihre InterpretationA: Menge von atomaren Konzepten (Variablen: A, B)S: Menge von atomaren Rollen (Variablen: S)

Interpretation: I Z 6D, 8%9I7 mit D beliebige Menge und Funktion:

A / 2D

S / 2D / 2D3

Die Interpretation wird induktiv definiert: 8R l R#9I Z $d !8R9I(d) h 8R#9I(d)#%

8R-C9I Z $d !8R9I(d) h 8C9I#%

8%9I:

8A9I heißt Konzeptextension8S9I heißt Rollenextension8S9I(d) heißt Rollenfüllermenge der Rolle S für d

R: Menge von RollenbeschreibungenR / S atomare Rolle - R l R# Rollenkonjunktion - R-C Rollenrestriktion

© W. Wahlster

Automatisierte Dienste im Semantischen Web

OWL-S

Automatische Suche und

Auswahl von Semantischen Webdiensten

Automatische Komposition von

Semantischen Webdiensten

Automatische Überwachung der Ausführung von

Webdiensten

Automatischer Aufruf und

Ausführung von semantischen Webdiensten

© W. Wahlster

WSDL

Binding an SOAP, HTTP

Ontologie-basierte Typen

OWL-S

Prozeßmodell

Atomarer Prozeß Eingabe/Ausgabe

Operation Nachricht

Die Integration von OWL-S und WSDL

© W. Wahlster

Resource

ServiceProfile

ServiceModel

ServiceGrounding

Service

Was leistet der Dienst?

provides

presents

DescribedBy

supports

Wie funktioniert der Dienst?

Wie greift man auf den Dienst zu?

Die Top-Ontologie für Webdienste in OWL-S

© W. Wahlster

Das Prozess-Modell von OWL-S für Semantische Webdienste

Prozess

OWL-S 1.1

Kodierung in OWL ermöglicht

Planung und Inferenz

has Participant hasLocal

hasOutput

hasResult

hasInput

hasPrecondition

© W. Wahlster

Plan-basierte Webdienste zur dynamischen Komposition semantischer Webdienste

Zielspezifikation

Planerzur Komposition von

semantischen Webdiensten

Webdienst

ausführbarer Plan

Plan-Exekution

&Plan-

Monitor

Aufrufparameter

Ergebnis

...Seman-tischerWeb-

dienst 1

Seman-tischerWeb-

dienst 2

Seman-tischerWeb-

dienst 3

Seman-tischerWeb-

dienst n

z.B. I-PLAN

von A. Tate 2004

OWL-S OWL-SOWL-S

© W. Wahlster

Plan-basierte Webdienste zur dynamischen Komposition semantischer Webdienste

Zielspezifikation

Planerzur Komposition von

semantischen Webdiensten

Webdienst

ausführbarer Plan

Plan-Exekution

&Plan-

Monitor

Aufrufparameter

Ergebnis

...Seman-tischerWeb-

dienst 1

Seman-tischerWeb-

dienst 2

Seman-tischerWeb-

dienst 3

Seman-tischerWeb-

dienst n

z.B. I-PLAN

von A. Tate 2004

KFZ-AbmeldungSaarbruecken.de

Verkauf meinesPKW

Fahrzeug-bewertung

EurotaxSchwacke

Gebraucht-wagenbörse

Scout24

Internet-Banking

Postbank

KFZ-KennungIBAN

Auto abgemeldetKaufpreis auf

dem Konto

OWL-S OWL-SOWL-S

© W. Wahlster

Grobarchitektur des mobilen Smart Web

Mobile Infrastruktur

Mobile Breitbanddienste

Adhoc-Vernetzung von KFZ

Peer-to-PeerDienste

Roaming für ABC-Technologien

Ontologische Infrastruktur

Top-levelOntologie

Domänen-spezifische Ontologien

Ontologische Beschreibung von Webdiensten

SprachorientierteOntologien

Mobile multimodaleMensch-Technik-

Interaktion

SemantischeRepräsentation der

Benutzeranfrage

Semantischannotierte

Informations-strukturen und Medienobjekte

Zugriffsdiensteauf das

Semantische Web

© W. Wahlster

Intelligentes Informationsfinden im Smart Web

LayoutAnalyse Hybrides

Parsing

Tagging

Segmentierung und

Klassifikation von Video

Finite State Technologie

Statistik-basierte

Annotation

Software-Toolbox zur automatischen Offline-

Markierung von Webseiten

Korpus von Webseiten

Online-Informationsextraktion

Anfragetransformationund Suchplanung

Dokumentensuche

Dokumentenbewertung und Selektion

Extraktion von Informations- und Medienobjekten

Informationsintegration

Syntaktische Webseiten

SemantischeRepräsentation

der Benutzeranfrage

Ansteuerung multipler Suchdienste

Intelligenter Zugriffmit

Inferenzkomponente

Semantische Webseiten

© W. Wahlster

Mensch-Technik-Interaktion mit dem Smart WebBiosensoren Gesichts-

erkennung Prosodie Spracheingabe Haptik Gestik

Situative BenutzermodellierungAufmerksamkeit, Affektiver Zustand

Modalitätsspezifische Erkennungund Analyse

Fusion der Eingabemodalitäten

Dialogmanagement

Multimodale FissionTransformation von

Medienobjekten

Sprachgenerierung undSprachsynthese

Multimedia-Präsentationskomponente:Räumliche & zeitliche Synchronisation

HaptischAuditiv

Sprache, Musik

VisuellGraphik, Bild,

Video, Text

Zugriff auf dasSemantische Web

© W. Wahlster

Schablonen-basierte Informationsextraktion aus Webseiten

Schablone Nachfolger:

Der künftige Bundespräsident Horst Köhler hat an den poli-tischen Entscheidungsträgern und manchen Wirtschaftsführern in Deutschland unmittelbar nach seiner Wahl deutliche Kritik geübt. Köhler löst seinen Amtsvorgänger Johannes Rau am 1. Juli 2004 ab.

PersonIn: ----------

PersonOut: ----------

Position: ----------

TimeIn: ----------

TimeOut: ----------

Text:

Text-

klassifikation

Sprach-

verarbeitung

Schablonen-

verabeitung

Schablone Nachfolger:

PersonIn: Horst Köhler

PersonOut: Johannes Rau

Position: Bundespräsident

TimeIn: 1.Juli 2004

TimeOut: 1. Juli 2004

© W. Wahlster

Aktueller Leistungstest für Systeme zur Informationsextraktion

QA@CLEF-2004 Wettbewerb, Bath, 15.-16. 9. 2004

7 europäische Sprachen zur

Frageformulierung Englisch als Antwortsprache

200 Testfragen(Faktenfragen und Definitionsfragen)

Beispiele:Wo befindet sich das CERN?

Was ist die UEFA?Wann wurde Litauen

unabhängig?Wie geht es dem Papst?

(Neumann et. al.)18 Systeme getestet

Platz 1DFKI-System

SMES-QA

höchster Anteilkorrekter Antworten

(keine Textausschnitte)

25%, 47 Fragenkorrekt

beantwortetTextkorpora

z.B. Spiegel, Frankfurter Rundschau

© W. Wahlster

SmartWeb als BMBF-Leitprojekt zumFutur-Thema “Leben in der vernetzten Welt”

1992

1999

2000

2003

VerbmobilSpin Off

Produkte: 20Spin Off

Firmen: 8Patente:

11

Morp

haEmbassi Smart-

KomInvite

Arvika

Map

129 4 06 0 2952 6 41 2 512 0 637 1

Service RobotsBasic Research

HomeElectronics

Multimodal Interaction

DistributedTeamwork

MobileInteraction

VR/AR WorkEnvironment

2005

2008

SME VR/AR Initiative

Leitprojekt

Service Robotik

LeitProjekt

Smart Web

2004-2008

Leitprojekte

Virtual Human

Artesas

Net.of

Exc.

920 2

Data provided by Dr. Reuse, BMBF

Deutscher Zukunftspreis

2001

© W. Wahlster

Das DFKI ist „Partner für Innovation“:Ideen erfolgreich machen

Bundeskanzler Gerhard Schröder

Prof. Dr.-Ing. Joachim Milberg, Präsident Acatech – Konvent für Technik und Wissenschaft,

Aufsichtsratsvorsitzender BMW

Prof. Dr.-Ing. Hans-Jörg Bullinger,

Präsident der Fraunhofer-Gesellschaft

Prof. Dr. Dr. h.c. mult. Wolfgang Wahlster,

Geschäftsführer Deutsches Forschungszentrum für

Künstliche Intelligenz GmbH

Eggert Voscherau, Stellvertretender

Vorsitzender des Vorstandes der BASF AG

Edelgard Bulmahn, Bundesminister für

Bildung und Forschung

Prof. Dr. Jürgen Mlynek, Präsident der

Humboldt-Universität zu Berlin

Chef des Bundes-

kanzleramtes, Dr. Walter Steinmeier

Dr. Heinrich von Pierer,

Vorsitzender des Vorstandes

Siemens AG

Heinz Putzhammer, Mitglied des

Geschäftsf. DGB-Bundesvorstandes

Dr. Gunter Thielen, Vorsitzender des Vorstandes der Bertelsmann AG

Walter Raizner, Vorsitzender der

Geschäftsführung IBM Deutschland GmbH

Wolfgang Mayrhuber, Vorsitzender des

Vorstandes Deutsche Lufthansa AG

Michael Sommer, Bundesvorsitzender

des DGB

Dr. Hubertus Erlen, Vorsitzender des

Vorstandes Schering AG

Kai-Uwe Ricke, Vorsitzender des

Vorstandes Deutsche Telekom AG

Prof. Dr. Utz Claassen, Vorsitzender des Vorstandes

der EnBW Energie Baden-Württemberg AG

Prof. Dr. Roland Berger, Geschäftsführer Roland

Berger Strategy Consultants GmbH

Dr. Wolfgang Clement, Bundesminister für

Wirtschaft und Arbeit

© W. Wahlster

Das DFKI ist „Partner für Innovation“des Bundeskanzlers

© W. Wahlster

Das DFKI wurde im Jahr 2004 mit dem ersten deutschen Spin-off Preis ausgezeichnet

Aus dem DFKI sind 36 erfolgreiche Firmenneugründungen hervorge-gangen, wobei je ein Forscher dreiNeue Arbeitsplätze geschaffen hat.

© W. Wahlster

Das Smart Web als Grundlage für mobiler Informationsassistent bei der Fußball-Weltmeisterschaft 2006

Reiseunterstützung zu und

in den Spielorten

Information zur Verkehrssituation

Navigation in den Stadien

Information zu den WM-Spielen

während und nach dem

Spielbesuch

Unterstützung von

Fangemeinschaften

(Community Service)

Basic- und Premium Editions

© W. Wahlster

Comment je fais pour aller du stade à la Cité Interdite?

Welches Tor hat Kahn durchgelassen?

Crosslinguale und multimediale

Informations-suche

MultilingualeFragebeant-

wortung

DynamischesHyperlinking

Mobiler Multimodaler Informationszugang bei der Digitalen Olympiade in Peking 2008 mit COMPASS

© W. Wahlster

1. Das semantische Web macht die hochpräzise Suche und die gezielte Fragebeantwortung über offenen Wissensdomänen möglich.

2. Die KI-Forschung zu Beschreibungslogiken und Planungssystemen bildet die Grundlage für die automatische Komposittion komplexer semantischer Webdienste.

3. Durch Fortschritte auf dem Gebiet der Sprachtechnologie und der Informationsextraktion wird es möglich, das derzeitige syntaktische schrittweise in ein semantisches Web zu überführen.

Konklusion

© W. Wahlster© 2004 DFKI Design by R.O.

Vielen Dank für Ihre Aufmerksamkeit