2. Projektlenkungssitzung Smart Web European Media Lab (EML) Heidelberg, 16. Dezember 2005 Stand des Projektes Deutsches Forschungszentrum für Künstliche

2. Projektlenkungssitzung Smart Web European Media Lab (EML)

Heidelberg, 16. Dezember 2005

Stand des Projektes

Deutsches Forschungszentrum für Künstliche Intelligenz GmbHStuhlsatzenhausweg 3, Geb. 43.8

66123 SaarbrückenTel.: (0681) 302-5252/4162Fax: (0681) 302-5383/5341E-mail: [email protected]

WWW: http://www.dfki.de/~wahlster

Wolfgang Wahlster

16.12.2005 Zweite SmartWeb-Projektlenkungssitzung© W. Wahlster

SmartWeb integriert vier aktuelle Forschungsgebiete

Sprachtechnologie

SmartWeb

MobileBreitband-

kommunikation

SemantischesWeb

MultimodalerDialog

Projektfolge mit systematischer Ergebnisverwertung:Verbmobil SmartKom SmartWeb


Der erste Meilenstein 1wurde termingerecht am 31.03.2005 erfüllt

Realisierung der Gesamtarchitektur

Serverbasiertes multimodales Demonstratorsystem V0.1 zu den Domänen WM-2006 und Kfz

Basisontologien für die Domänen WM-2006 und Kfz und für dieDiskursverarbeitung prototypisch definiert

Verarbeitung unbekannter Orts- und Personennamen in der sprachlichen Interaktion

Spin-off-Planung im Rahmen des Technologietransfers


Checkliste für Meilenstein 2Auf sehr gutem Wege bis zum 31.03.2006

Technologieüberprüfung für Hardware-Update (Mobiler Client)

Server- und Client Forschungsprototyp V0.5 zu den Domänen WM-2006 und Kfz mit unbekannten Wörtern aus diesen Domänen

Interaktionen für das Motorrad realisiert

Ontologische Modellierung der Domänen stabil in einer ersten Version

Signifikante Anzahl von Webseiten aus dem Sportbereich semantisch annotiert

Robuste multimodale On-/Offtalk-Unterscheidung


SmartWebs Mobiles Endgerät: Vom Mobile Digital Assistent MDA III zum MDA Pro

MDA III• GPRS, WLAN• Bluetooth• Windows

Mobile 2003• 1 Kamera• 320 x 240

MDA Pro• UMTS, WLAN• Bluetooth• Windows Mobile 2005• 2 Kameras• 640 x 480 VGA• Zugriff auf

Benutzer-kamera


Übergang auf neuesteEndgerätegeneration der Telekom

• Technologieüberprüfung für Hardware-Update (2. Meilenstein) bereits erfolgt:

- MDA Pro ergänzt MDA III als persönliches Endgerät- PDA/Smartphone bietet zusätzlich UMTS (neben WLAN), integrierte

Kamera für Benutzeraufnahme, sowie hochauflösende VGA-Bildschirmdarstellung mit wahlweise drehbarem Bildschirm (Hoch- und Querformat)

• MDA Pro Nutzung für SmartWeb:- Gerät, neues Betriebssystem und Entwicklungswerkzeuge erst ganz

kurz am Markt verfügbar- Basisportierung erfolgreich abgeschlossen (vorläufige Problemlösung

für Inkompatibilitäten bei Audioanbindung konnte kurzfristig realisiert werden)- Kameraanbindung und Bildübertragung für MDA Pro erfordert noch höhere

Implementierungsaufwände• Soll bis zum 2. Meilenstein für den WM-Demonstrator abgeschlossen sein• Experimentalaufbau mit externer, serverseitig angebundener Kamera für CeBIT

• Portierung des gesamten lokalen Dialogsystems- Java-Umgebung für lokalen Spracherkenner, lokale Steuerungskomponente und Anbindung

an die Sympalog-Plattform.


Optimierung der SmartWeb Bedienoberfläche

Schnelle Anpassung auf Breitkantformat möglich durch eigens entwickeltes Layout-XML-Format.

Einbinden der Handschrifterkennung im VGA-Modus.

Automatische Erkennung der Bildschirmausrichtung + automatisches Umschalten.

Reduktion des Speicherverbrauchs: Bei hoher Auflösung ist der Speicherbedarf extrem hoch, wenngleich der MDA Pro weniger Speicher zur Verfügung stellt.

CPU Auslastung verringern, da das neue Betriebssystem langsamer reagiert und bei hoher Auflösung mehr Rechenzeit erforderlich ist.

Videos flüssiger abspielen.


Adaption der Sympalog Dialogsystemplattform

Serverseitige DialogverarbeitungServerseitige Dialogverarbeitung

SymCTMCall & TaskManager

SymCTMCall & TaskManager

MultimodalerErkenner

Sympalog, FAU, UdS

MultimodalerErkenner

Sympalog, FAU, UdS

Semantic Web

Zugriff

Sprach- kanal

Persönliches Endgerät

Persönliches Endgerät

Dialog- verarbeitungDFKI-IUI, EML

Dialog- verarbeitungDFKI-IUI, EML

SprachsyntheseIMS

SprachsyntheseIMS

CAPI(ISDN )CAPI(ISDN )

H.323 / SIP(VoiceIP )

H.323 / SIP(VoiceIP )

SymClientExtended

Audiomodul

SymClientExtended

Audiomodul

Nachrichten

A-Law Audio

A-Law Audio

Video

Daten (Bedienoberfläche)

NachrichtenIP

Die (modifizierte) Sympalog-Plattform leistet die Telefonie- sowie Endgeräteanbindung und macht die Verarbeitung multisession-fähig für den Mehrbenutzerbetrieb.

Die (modifizierte) Sympalog-Plattform leistet die Telefonie- sowie Endgeräteanbindung und macht die Verarbeitung multisession-fähig für den Mehrbenutzerbetrieb.


Neu: Mehrbenutzerfähigkeit

skalierbare Serverfarm

• Mit 3 parallelen mobilen Clients wurde SmartWeb bereits erfolgreich getestet• Pro Server können bis zu 30 Kanäle für SmartWeb bereitgestellt werden.


Verarbeitung von Diskursphänomenen: Neu: Auflösung von Ellipsen

• Vervollständigung aus dem Diskurs-Kontext

• Generischer Ansatz implementiert (Weiterführung des Ansatzes von SmartKom)

• Paraphrase zeigt die vervollständigte semantische Struktur


Neu: Paraphrasengenerierung

• Vereinfachte Darstellung der semantischen Repräsentation

• Zentral: Wonach wird gefragt?• Umkehrung der Analyse

– Generierungsregeln für Konzepte der Ontologie

– Traversierung des Ergebnisses der Sprachanalyse

– Vereinfachung– Beibehaltung der inhaltstragenden

Strukturen– Formatierung

• Der Benutzer kann auf diese Weise das Sprachverstehen des Systems überwachen und ggf. korrigieren


Neu: Dialogkohärenz durch Ellipsenverarbeitung


Neu: Integration von Webdiensten mit aktueller Verkehrsinformation


Neu: Eingabe und Beantwortung von beliebigen Fragen in akustischer oder schriftlicher Form


Domänenoffene Fragebeantwortung

Erfolgreiche Integration der DFKI-Technologie des Forschungsbereichs Sprachtechnologie (Prof. Uszkoreit) für domänenoffene Fragebeantwortung in den SmartWeb-Demonstrator- Erweiterung der robusten Frageanalyse für Deutsch mit Schnittstellen

zum Spracherkenner und der Bildextraktionskomponente- Formulierung optimaler Google-Anfragen unter Berücksichtigung der

linguistischen Analyse- Antwortselektion zur Bestimmung der besten Kandidaten

Aktive Teilnahme an CLEF-2005 (Cross-Language Evaluation Forum) (Neumann et al. 2005; beste Ergebnisse für Deutsch und Englisch als Zielsprache; u.a. 43.5% (87/200) Akkuratheit für Task DE2DE, 25.5 % (51/200) für DE2EN)

Prototyp für sprachunabhängige Fragebeantwortung aus Web-Snippets basierend auf statistischen Verfahren als Grundlage für englisches System (Figueroa & Neumann, Paper für WEBIST06)


Neu: Automatische Extraktion und Annotation von Bildern aus PDF-Dokumenten im Web

Layout-Analyse zur Erkennung vonBildbeschriftungen, Mehrdeutigkeitsanalyse

10% der Webseiten im PDF-FormatGoogle wertet Bilder im PDF-Dokumenten nicht aus, hier schließt SmartWeb eine Lücke→ QUAERO-Projekt des BMWi

Gerber foult Wiesinger


Interaktiver intelligenter Zugriff

Interaktive semantische Zugriffsdienste

Interaktive semantische Zugriffsdienste

AP 5.1 DFKI-LT, UdS, Siemens

AP 5.1 DFKI-LT, UdS, Siemens

Freie Fragebe- antwortung

Freie Fragebe- antwortung

SemanticMediator

AP 6.1.1 DFKI-KM

SemanticMediator

AP 6.1.1 DFKI-KM Web ServiceZugriff

AP 6.2.3 AIFB,DFKI-KM

Web ServiceZugriff

AP 6.2.3 AIFB,DFKI-KM

Agentenbasiertersemantischer

ZugriffAP 5.1.3.1/6.1.2 EML

Agentenbasiertersemantischer

ZugriffAP 5.1.3.1/6.1.2 EML

Wissens-server

TP 4 Ontoprise, AIFB, DFKI-KM

Wissens-server

TP 4 Ontoprise, AIFB, DFKI-KM

Web Services

Web-Seiten

?Web- Seiten

Ontologien&

Faktenbasis

Dialog

Datenaustausch mittels RDF/S plus EMMA, DLP (OWL-Easy), XTriple, F-Logic

Web-Ressourcen

Semantisches Crawlen, voll-automatische Generierung semantischerWeb-Seiten,Design,Lernen und Integrationvon Ontologien

Semantisches Crawlen, voll-automatische Generierung semantischerWeb-Seiten,Design,Lernen und Integrationvon Ontologien

Semantische ModellierungSemantische Modellierung


Entwicklung einer Infrastruktur für zukunftsweisende Technologien zur automatischen Verarbeitung multimedialer Inhalte: Digitalisierung, Indexierung, Archivierung, Recherche und Zugriff auf Schrifttum, Bilder, Videos und Audiodateien, wobei die Fähigkeit zum Umgang mit Inhalten in den verschiedenen europäischen Sprachen genauso integraler Bestandteil des Projektes ist, wie die Mobilität, Datensicherheit, Schutz der Privatsphäre. Anwendungen: u.a. multimediale Suchmaschinen, News-on-demand und Monitoring von Medien als Dienste

Industriekonsortium: Bertelsmann, Siemens, Telekom, Koordination: Dr. Blume (DLR)

QUAERO: Mögliche SmartWeb-Nutzung in Deutsch-Französischem Mega-Projekt

Am 22.12. Spitzengespräch bei BundeskanzlerinMerkel zu diesem Thema.


Bereits 2 Buchpublikationen aus SmartWeb

• Author: Daniel Oberle

• Series: The Semantic Web and Beyond,

• Volume: I

• Editors: Amit P. Sheth, Ramesh Jain

• Foreword: Steffen Staab

• Preface: Amit P. Sheth

• Publisher: Springer Science+Business and Media

• Release: December 2005

• Available @ amazon.com

• http://www.aifb.uni-karlsruhe.de/WBS/dob/book/


Bereits 2 Buchpublikationen aus SmartWeb


Neu: Entwicklerportal mit Komponentendatenbank

• Ausbau des Entwicklerportals mit neuer „Datenbank“ zu SmartWeb Softwarekomponenten:

– Stellt technische Information und Kurzbeschreibung in standardisierter Form bereit

– Unterstützt den Technologietransfer

– Bietet einfacheren Zugang zur notwendigen Dokumentation für die Systementwicklung

• Aktuelle Version umfasst bereits rund 130 Datenblätter


SmartWeb-Treffen seit der ersten Projektstandsssitzung am 14.06.2005

14.06.2005 Erste Projektstandssitzung München

15.06.2005 Erste MoKo-Sitzung München

28.–29.06.2005 Workshop TP5 'On- und offline Extraktion von semantischen Strukturen' Saarbrücken 07.07.2005 Arbeitstreffen Einbindung der Kontextmodellierung Saarbrücken 07.07.2005 Arbeitstreffen Schnittstellenabsprache für die

OnView/OffView/OnTalk/OffTalk-Erkennung Erlangen

08.07.2005 Arbeitstreffen serverbasierte Spracherkennung und Spracherkennung im KFZ Erlangen

20.07.2005 Arbeitstreffen Lernen von Domänenontologien Heidelberg 20.–21.07.2005 Workshop Motorradsystem München

28.–29.07.2005 Viertes Arbeitstreffen Ontologieabstimmung, Dialog, Mediator und offline IE Karlsruhe


01.09.2005 Arbeitstreffen zur Ontologieabstimmung und -integration Heidelberg

14.09.2005 Arbeitstreffen zur Integration der Kontextmodellierung Saarbrücken

26.10.2005 Arbeitstreffen Web Services Modellierung Karlsruhe

27.10.2005 Vierte Lenkungskreissizung Stuttgart

28.10.2005 Arbeitstreffen zur LingInfo-Abstimmung Kaiserslautern 31.10.2005 Arbeitstreffen Englisches System: Speech Erlangen

02.–03.11.2005 Arbeitstreffen Englisches System: Language Processing and Extraction Saarbrücken

15.11.2005 Arbeitstreffen Merkmalberechnung für die Erkennung von Worten und Wortuntereinheiten Erlangen

06.12.2005 Zweiter Gesamtworkshop Saarbrücken

SmartWeb-Treffen seit der ersten Projektstandsssitzung am 14.06.2005


Außendarstellung seit der ersten Projektstandssitzung am 18.10.2004

05.07.2005 SmartWeb-Demo für Nick Campbell, ATR

15.07.2005 SmartWeb-Demo für Saarlandbotschafter

18.07.2005 SmartWeb-Demo für Telekom Laboratories

01.08.2005 SmartWeb-Demo für Prof. Toru Ishida

10.10.2005 SmartWeb-Demo für MinR Dr. Manfred Dietrich (BMBF)

09.11.2005 Filmbericht der ARD (SR, Aktueller Bericht)im Rahmen der Pressekonferenz "Microsoft - Saarland - DFKI"

16.11.2005 SmartWeb-Demo für Adam Opel AG


Terminplanung

• PLS-01 16.12.2005 EML, Heidelberg

• LK-05 09.02.2006 ? IMS, Stuttgart

• PSS-02 14.06.2006 DTAG, Berlin

• WM-Demo 17.06.2006 ? Fritz-Walter-Stadion(Italien:USA) Kaiserslautern

• Ort der Ideen 22.09.2006 DFKI, Saarbrücken

Presseevent der Bundesregierung Deutschland – Land der Ideen mit Verabschiedung Dr. Reuse, große SmartWeb-Demonstration

Documents

2. Projektlenkungssitzung Smart Web European Media Lab (EML) Heidelberg, 16. Dezember 2005 Stand des Projektes Deutsches Forschungszentrum für Künstliche