A2 DPC Knowledege Wissen Griffbereit 2007 Lotusday 2007

08.04.23

LotusdayArcadeon Hagen, 19. September 2007

Knowledge – Wissen griffbereit mit IBM OmniFind

Dr. Christiane Görges-Holzmüller

Session A2: 11.30 – 12.15 UhrDPC GmbHhttp://www.dpc.de

08.04.23 Dr. Christiane Görges-Holzmüller

Agenda

Kurzporträt DPC GmbH Unternehmenssuchmaschine – Motivation,

Problemstellung und Lösungsansatz Arbeitsweise von OmniFind Intelligente Suche – Darstellung der Ergebnisse Technisches Datenquellen hinter OmniFind OmniFind im Portal Zusammenfassung

08.04.23 Dittrich & Partner Consulting GmbH


Dittrich & Partner Consulting GmbHDaten, Prozesse, Chancen

Ein Kurzporträt



DPC - seit 1981 …

Unterstützung bei der Konzeption und Realisierung komplexer und intelligenter IT-Lösungen

Kernkompetenzen: Datenanalyse, Mathematik, Statistik und Business Intelligence

Berater aus Mathematik, Informatik und Betriebswirtschaftslehre



Sie finden uns

Kieler Straße 17 42697 Solingen

Herwartstraße 5 86152 Augsburg

Smederijstraat 2NL-4814 DB Breda

in unseren Niederlassungen

Hosnedlgasse 16aA-1220 Wien



IBM Partnerschaft

Advanced IBM Business Partner für die Information Management Produkte

Enge Zusammenarbeit mit den Entwicklungs-abteilungen

Nominierter IBM Partner für Business Intelligence Lösungen in Deutschland

Data Warehousing, OLAP, Reporting, Data Mining, Suchtechnologien, Informations-integration, Stammdatenverwaltung und Betrugserkennung



Besuchen Sie uns

www.dpc.de


Unternehmensweite Suche: Zwei interessante Aussagen…

Die Herausforderung

» “Es ist offensichtlich, dass wir alle in einem Meer von Informationen versinken. Die Herausforderung ist es, schwimmen zu lernen und nicht unterzugehen.” Studie der University of California, Berkeley School of Information Management and Systems

» “Ein Unternehmen mit 1.000 Mitarbeiten verliert $48.000 pro Woche – $2,5 Millionen pro Jahr – verursacht durch den Mangel Information zu finden und auszuwerten.” The High Cost of Not Finding Information, IDC Studie, siehe auch KMWorld-Volume 13, Ausgabe 3, März 2004


Die Menge unstrukturierter Informationen verdoppelt sich ca. alle 6 Monate.

Problemstellung und Motivation

85% aller relevanten Daten sind unstrukturiert.

30% der Arbeitszeit wird für das Suchen nach relevanten Informationen verwendet.

Viele Mitarbeiter denken, dass sie vorhandene Informationen nicht ausreichend nutzen, um schnell reagieren und wichtige Entscheidungen treffen zu können.

Zwei Drittel der Mitarbeiter sind der Meinung, dass Informationen nur schwer zugänglich und nicht genügend integriert sind.

Trans-aktionenTrans-aktionen

DokumenteDokumenteBerichteBerichte

e-Mailse-Mails

MedienMedien

InternetInhalteInternetInhalte

KundenKundenMitarbeiterMitarbeiter

PartnerPartner

DatenbankenDatenbanken

SchaubilderSchaubilderFinanzenFinanzenProdukteProdukte

Informationen und Fakten stammen aus einer unternehmensunabhängigen Studie (Gartner)


OmniFind Schlüssel zum Erfolg

Liefert die relevantesten UnternehmensdatenStrukturierte und unstrukturierte Informationen

Skaliert auf Datenmengen und Anwenderzahl

Sicherheit bis auf Dokumentebene

Durch Java APIs in vorhandene Anwendungen integrierbar

Ergebnisse in Sekundenbruchteilen durch hochentwickelte Relevanzalgorithmen


Kein zentrales Hosting der LösungIntegration in IT-Infrastrukturen, verschiedene Plattformen, Wartbarkeit, …

Kein übergreifend einheitliches FrontendSollte API/Portlets zur Integration in Anwendungen haben

Keine Verantwortung gegenüber Werbeträgern aber gegen-über Endanwendern, Fachabteilungen, den Lieferanten der Inhalte, CIO, CEO Interpretation von Anwenderanfragen und textanalytische Auswertung der

Daten im Index Nicht ausschließlich Webdaten/HTML-Dokumente

Anbindung vielfältiger Datenquellen (CMS, RDBMS, Messaging, …) Keine einfachen Daten: Wenig Verlinkung und weniger Redundanz

Intelligente Algorithmen zur Erstellung der Relevanzen Kein Zugang für alle Anwender zu allen Informationen gewünscht

Hohe Sicherheitsanforderungen

Enterprise Search Websearch


Synonyme (Produktumbenennungen, Abkürzungen, etc.) Raider – Twix BGH - Bundesgerichtshof

Erkennen von Zusammenhängen Fahrzeug -> Auto -> Audi -> A6 Kopfschmerzen einseitig -> Migräne Rock (Kleidungsstück) vs. Rock (Musik)

Expertensuche Wer ist Spezialist für ein bestimmtes Thema?

Automatische Klassifizierung von Dokumenten Erkennen von komplexen Wortstämmen, z.B. Ein- und Mehrzahl (Buch,

Bücher, Haus, Häuser) Administrierbare Links in Abhängigkeit der Suchanfrage (Quick-Links) Bedeutung von Zahlen (Preis, Gewicht, Telefonnummer, …)

Wir benötigen …

eine intelligente Suche


Erfolgsfaktoren für eine unternehmensweite Suche

Berechnung des Rankings/ Bewertung des gefundenen Dokuments Suche muss intelligent sein und den Inhalt des Texts „verstehen“

Also keine einfache Stichwortsuche

Berücksichtigung der Rechte des Benutzers Hätte der Benutzer das Dokument im Originalsystem sehen dürfen oder nicht?

Suchmaschine muss Vielzahl von Datenquellen verarbeiten können Intranet, Internet Datenbanksysteme (SAP, Projekt-/ Abteilungsdatenbanken, QS-Systeme, DMS, CRM, CMS usw.) Dateisystem (Officedokumente, …) Kollaborations-/ Email Systeme (Notes, Outlook) Portale

Berücksichtigung von Besonderheiten der jeweiligen Sprache z.B. Einzahl/ Mehrzahl/ Umlaute im Deutschen

Skalierbarkeit Wenige hundert Mitarbeiter suchen meist bereits in mehreren Millionen Dokumenten Antwortzeiten sollten im Bereich 1 Sek. liegen


Beispiele für Suchanfragen eines Benutzers… (1)

Defekte an Maschine XYZ (z.B. zur Qualitätssicherung) Kaputte Maschine XYZ Gerissener Antriebsriemen an Maschine XYZ Motorschaden an Maschine XYZ

Experte zum Thema XYZ Mitarbeiter, die sich mit dem Thema XYZ gut auskennen Projektberichte der Mitarbeiter, die Experten sind

Vertrag Bausparvertrag Kaufvertrag

Audi Unfall Ist ein TT unter einen LKW gefahren Prallte ein A4 gegen einen Baum Stieß ein A6 mit einer S-Klasse zusammen

…und welche Ergebnisse ein Benutzer dann finden möchte:


Beispiele für Suchanfragen eines Benutzers… (2)

Ich muss den Kunden anrufen… Wo ist die Email mit seiner Telefonnummer? In der Email wird nicht “Telefonnummer” stehen, sondern Dinge wie “Sie können mich

heute unter 07031-162021 erreichen”

Ich muss einen Qualitätsreport erstellen… Wie finde ich Werkstattberichte über Bremsprobleme im Großraum Stuttgart? Die Beschreibungen enthalten Sätze wie “Scheibe neu justiert aufgrund von

Hydraulikproblemen”. Ansonsten enthalten sie nur Orts- und Straßennamen der Werkstatt

Was sagt die Presse über unser Unternehmen… Schreibt die Presse positiv oder negativ über unsere Firma? Wie äußern sich Fachmagazine über unser neues Produkt?

…und welche Ergebnisse ein Benutzer dann finden möchte:


Intelligente Bewertung = ideale Suchergebnisse

Textbasierte Bewertung Häufigkeit der Suchbegriffe im Dokument und in der gesamten Dokumentenmenge Räumliche Nähe der Suchbegriffe im Dokument Kontext der Suchbegriffe: Begriff im Titel wird z.B. höher bewertet als im Text Länge des Dokuments Reichtum des Vokabulars

Statische Rangfolge Anzahl Links im/ auf das Dokument Datum des Dokuments (falls vorhanden)

Intelligenzbausteine (UIMA-Annotatoren) Auswertung/ Gewichtung der Ergebnisse, die die Intelligenzbausteine liefern

Konfiguration Für Sie wichtige Begriffe können höher gewichtet werden

Und viele weitere…

Auswahl der Mechanismen, wie OmniFind Dokumente bewertet:

Ergebnis: Signifikante Verbesserung der Qualität der Suchergebnisse


Architektur IBM OmniFind – Intelligente Suche

Intelligente und relevante Suchergebnisse für den Benutzer

Office-DokumenteDateisystem Internet/Intranet Datenbanken

Dokumenten ManagementContent Management

Email (Lotus Notes, Outlook) Portal

CRMERPDMSECM

•A6 ist ein Audi•Audi ist ein Auto•Ein Auto ist ein Fahrzeug

Folgende Bsp. könnten alle auf Qualitätsprobleme hinweisen und z.B. mit „Defekte Dichtung“ gefunden werden:

Phase III: Benutzerrechte

Analysephase I: Grundfunktionen•Spracherkennung•Wort-/ Wortstammerkennung•…

• Synonyme• Satzerkennung• Erkennung der Aus-

sage des Textes

• Mehrstufig möglich• Entwicklung durch Kunde, Partner• Open Source Framework

Analysephase II: Intelligenzbausteine

•Materialfehler •Gebrochener Dichtring•Gerissene Dichtung•Undichte Abdichtung•…

…


Suche

Indizierung

Schlüsseltechnologien der Unternehmenssuche mit OmniFind

Sicherheit/ Rechteverwaltung

Daten einlesen

UIMA-Textanalyse

•Intelligenz-Bausteine•Synonyme•200+ Dokumentenfilter•Linguistische Verarbeitung

• Ranking• Indexerstellung• Indexanreicherung

mit Analysedaten

• Dynamisches Ranking• Stichwortsuche• Feldsuche• Semantische Suche• „Meinten Sie?“-Suche

•Zugriff auf Datenquellen•Einlesen der Quelldaten


Textanalyse in OmniFind

Spracherkennung innerhalb der Dokumente IBM LanguageWare - mehrsprachige Bildung von Tokens und Grundformen

(Lemma) Unterstützung von mehr als 20 Sprachen und Varianten

Chinese (Simplified and Traditional), Italian, Czech, Japanese, Danish, Korean, Dutch, Norwegian (Bokmal and Nynorsk), English, Polish, Finnish, Portuguese (National and Brazilian), French (National and Canadian), Russian, German (National and Swiss), Spanish, Greek, Swedish

Leerzeichen und N-Gramm Tokenizer für Dokumente in anderen Sprachen (Zerlegung in Buchstaben zur Klassifikation)

Ausdrücke mit mehreren Wörtern und Zeichen- Normalisierung:

.. wouldn’t ..

.. Böblingen ..

would notBoeblingen

WörterbücherEingaben TokenBeispiele

Lexikalische Analyse

Berechnungen

Wortformenanalyse – Wurzeln, Wortstamm, Lemma

..mice.. mouse

..Häuser.. Haus


Metadaten/ Suchfelder für das Dateisystem

DateinameDateinendung

VerzeichnisDateigröße

Änderungsdatum

Dokumenttitel•Abhängig von Anwendung

Dateisystem Gewährleistung von

Benutzerrechten Konfiguration der Pfade Einschränkung auf bestimmte

Dokumenttypen möglich OmniFind unterstützt

ca. 250 Dok-Formate

Intelligente Suche möglich durch IBM OmniFind


Präsentation der Suchergebnisse

Rechtschreibkorrektur

Direktlinks/ Quick-Links konfigurierbar

Dokument- und Datenquellen-Filter

3 Suchmöglichkeiten

Dynamische ZusammenfassungenMetadaten

Author: John SmithTitle: Director of Planningemail: jsmith@mycom


Intelligente Suche – Konzeptsuche:Einige Beispiele


Intelligente Suche: Suchen Sie Konzepte, nicht Wörter!

Wir suchen Dokumente, die mit „Transportschäden“ zu tun haben

Und finden alle relevanten Dokumente

Automatische Kategorien zeigen hier:An welchem Gericht wurde der

Fall bereits verhandelt?


Intelligente Suche: Synonyme

…

Suchbegriff „firma“

Dieses Dokumentwäre ohne intelligente

Suche nicht gefunden worden


Intelligente Suche nach einer Telefonnummer

Eine einfache Schlagwortsuchehilft nicht immer!

Hier muss der Text interpretiert werdentelefon nummer

Der Begriff „telefon nummer“ kommt in diesem Dokument nicht vor. Trotzdem wird es gefunden!


Intelligente Suche: Eingrenzen der Ergebnisse durch Kategorien

Wir suchen Dokumente, die mit „Transportschäden“ zu tun haben

Durch Klick auf eine Kategorie,lässt sich die Ergebnismenge

einschränken/ verkleinern


Intelligente Suche: Korrektur von Schreibfehlern

Schreibfehler „obrelandesgericht“

Automatischer Korrekturvorschlagdes Systems


Intelligente Suche: Details zu jedem Dokument

Zu jedem Dokument können Details eingeblendet werden, wie z.B.

• Titel• Sprache• Quellsystem• Änderungsdatum• Kategorie• Dateigröße• Etc.


Authentifizierung und Zugriffskontrolle

Authentifizierung Die Authentifizierung ist ein Prozess, bei dem ein System die Identität

des Anwenders verifiziert, der das System betritt User ID und Kennwort, Smart Cards oder auch ein öffentlicher Schlüssel OmniFind authentifiziert lediglich den ES Administrator

» OmniFind erwartet eine gesicherte Umgebung

Zugriffskontrolle Die Zugriffskontrolle ist ein Mechanismus, bei dem ein System Rechte

zum Zugriff auf Daten oder zur Auslösung von Aktionen erteilt oder verweigert.

OmniFind bietet drei Stufen der Zugriffskontrolle» Administrativ» Collection-Ebene» Dokument-Ebene


OmniFind Administrationsrollen

Enterprise Search Administrator

Collection Administrator

Operator

Monitor

•Erstellen von Collections•Alle Administrationsrechte•Vergabe dieser Rechte an andere Anwender

•Bearbeiten, Beobachten und Kontrollieren spezieller oder sämtlicher Collections

•System Monitoring und Kontrollfunktionen

•Monitoring spezieller oder sämtlicher Collections


Heterogene Quellsysteme – 1 Suchpunkt

Office-DokumenteDateisystem Internet/ Intranet Datenbanken

Dokumenten ManagementContent Management

Email (Lotus Notes, Outlook) Portal

CRMERPDMSECM

Forschung/

Entwicklung

Marketing/

Vertrieb

Kunden/

PartnerRecht/

Personal Qualitäts-sicherung

…

Zentrale Suche: IBM OmniFind

Nativer Konnektor zum Quellsystem• Verbindungsaufbau• Erkennen/ verarbeiten der Datenstruktur des

Quellsystems • Sicherheit/ Benutzerrechte• …

…


Unternehmenssuche: OmniFind und Datenquellen

OmniFind agiert auf vielen Datenquellen wie es ein Benutzer/ originaler Client direkt in diesem System auch tun würde

Berücksichtigung von Benutzerrechten Statisch: Benutzerrechte werden bei der Indexerstellung gespeichert Dynamisch: Vor der Anzeige der Suchergebnisse werden die Rechte beim

Quellsystem „angefragt“ Beide Verfahren auch kombinierbar

Keine Anpassungen in den Quellsystemen nötig ODBC/JDBC Schnittstelle zur Anbindung von Datenbanksystemen API/ Data Listener verfügbar, um beliebige weitere Datenquellen

einbinden zu können


OmniFind Konnektoren zu Quellsystemen

II Standard Edition

Content Manager

QuickPlaceDomino

Domino.doc

MS Exchange

Windows FileSystem

Unix File System

Websites

Newsgroups

Weitere über API

II Content Edition

SQL Server

Document manager

Portal

Portal

Content Services

P8

II Classic Federation for z/OS

MS SharePoint

Web content HTTP/HTTPS, News groups (NNTP) WebSphere Portal portlets, Portal Document Manager

Collaboration Lotus Notes Datenbanken, Domino.Doc, QuickPlace MS Exchange public folders

Dateisysteme (Windows, Unix, Novell) Enterprise Content Management Systeme

DB2 Content Manager Über WebSphere Information Integrator Content Edition:

FileNet Content Services, FileNet P8, Documentum, Hummingbird DM, OpenText LiveLink

Relationale Datenquellen DB2-Familie (DB2, Informix, DB2 for z/OS, DB2 for iSeries) WS Information Integrator relational data sources (Oracle,

Informix, MS SQL Server, Sybase)

Federierte Suche auf LDAP und JDBC (DB2)

Intelligente übergreifende Suche möglich mit IBM OmniFind


Konnektoren – einige Beispieldatenquellen

Lotus Notes Sicherheit bis auf Dokument-Level gewährleistet Konfiguration der für die Suche zu

berücksichtigenden Notesfelder Auswahl der Notesdaten über Ansichten oder

Ordner DIIOP (Domino Internet Inter-ORB Protokoll) Oder NRPC (Notes Remote Procedure Call)

FileNet Archiv Gewährleistung von Benutzerrechten OmniFind agiert wie ein FileNet Client Konfiguration der Content Klassen Konfiguration der für die Suche zu

berücksichtigenden Klassen, Felder

SAP ist anbindbar über… NetWeaver Knowledge Management Search

Service SAP JCo Adapter IBM WebSphere Adapter für SAP Indirekt über Content-/ Archivierungssystem SAP Data Stage

Datenbanksysteme z.B. DB2, Oracle, SQL Server etc. IBM JDBC, ODBC Konnektor Bereitstellen der Daten über Views Einhaltung von Benutzerrechten

möglich



Portal

Integration “auf dem Bildschirm”

Projekt-Management

Dokumenten-Management

Diskussionsforen

Content Management

Web Services

Syndicated Content

Navigation Single Sign On Personalisierung Zusammenarbeit Erreichbarkeitsanzeige etc.

Zusammenarbeit

Portlets


Integration von WebSphere Portal und OmniFind

Anstatt der Portalsuche kann OmniFind benutzt werden, oder beide werden parallel betrieben

Direkte Suche im Zugriff des Portal Document Managers möglich

Direkte Suche im Portalinhalt möglich Berücksichtigung der Rechte im Portal Darstellung des Suchergebnisses im entsprechenden

Portlet möglich



OmniFind erschließt dem Portal neue Datenquellen

Sicherer Zugriff auf viele Datenquellen des Unternehmens


Suchmöglichkeiten im Portal

Integrierte Portalsuche

OmniFind Suche Beide parallel Ergebnis-Anzeige

Im Portal Search Center

Im OmniFind Portlet


Ausblick

Semantische Suche und UIMAUnstructured Information Management Architecture


UIMA definiert eine einheitliche Schnittstelle zur Integration von Analyseschritten Ermöglicht Interoperabilität verschiedener Analyselösungen und Unternehmensanwendungen Ermöglicht Integration von OpenNLP und GATE Analysemodulen DARPA (Forschungseinrichtung des amerikanischen Verteidigungsministeriums) benutzt UIMA

Frei verfügbares SDK zum Entwickeln und Kombinieren von Analyseschritten Über 7000 Downloads bislang SDK verfügbar auf IBM AlphaWorks, Quellcode auf SourceForge

UIMA Working Group: IBM und DARPA sind Co-Sponsoren Gegründet im Januar 2005 zur Weiterentwicklung von UIMA Wichtige Vertreter aus Wissenschaft und akademischer Forschung

» Stanford, Carnegie Mellon, Columbia, UMASS Teilnahme von Partnern, Forschungsabteilungen von Unternehmen

» Sloan Kettering, Mayo Clinic, BBN Technologies, MITRE, SAIC (Object Sciences)

UIMA-Intelligenzbausteine/ Annotatoren

Ein neuer Standard für die Verarbeitung und Analyse von Inhalten

Federführung der UIMA Entwicklung im IBM Labor Böblingen (bei Stuttgart)

Tiefergehendes Know-How in Deutschland; Entwickler in ortlicher Nähe


EinEin wurdewurde gefahrengefahrenTTTT vonvon

Wird gefahren vonWird gefahren von

PersonPersonAutoAuto

VerbVerb Präp.Präp.SubjektSubjektSprachteile-Annotator

Sprachteile-Annotator

Entitäten-AnnotatorEntitäten-Annotator

Beziehungs- Annotator

Beziehungs- Annotator

PeterPeter MüllerMüller

AutoAutoPersonPerson

Wie kommt die Intelligenz in den Text?

Intelligenzbausteine – UIMA Annotatoren


Zusammenfassung

Eine intelligente Suchmaschine, die den Inhalt des Textes „versteht“ und nicht nur nach Wörtern sucht

Selbstlernendes System (Inhaltserkennung, Klassifizierung) Zugriff auf gängige Datenbanken und Content Systeme – Ihre Datenquellen Verarbeitung aller wichtigen Text- und Dateiformate (OmniFind: >200 Formate) Mächtige Rechteverwaltung Linguistische Verarbeitung aller wichtigen Sprachen (OmniFind: >50 Sprachen) Kurze Such-/ Antwortzeiten (OmniFind: < 1 Sekunde) Verarbeitung von Millionen von Dokumenten Leichte Erweiterbarkeit auf andere Datenquellen durch eine klar strukturierte Java™-API

Funktionalität, die Sie für eine intelligente Suche brauchen

IBM OmniFind

Technology

A2 DPC Knowledege Wissen Griffbereit 2007 Lotusday 2007