„BI3“ & „smartDATA / smartREASONING“
Dr.Siegmund Priglinger dr.priglinger consul3ng GmbH Wien & Hagenberg, 2014 s.priglinger@pup-‐consul3ng.at www.pup-‐consul3ng.at www.bi3-‐smartdata.com
15.10.14 © dr.priglinger consulting GmbH 1
„Business Intelligence requires Best Information requires Best Integration“
In Planung: Experten erzählen (Anwender und Implemen3erer)
Subthema: Komplexe Wechselwirkungen von Schema & Data Quality
TASKFORCE & WISSENSVERBUND - UNSERE ERFAHRUNG FÜR IHREN ERFOLG
Business Intelligence
Intelligent Data
Analy3cs
Product Life Cycle
Customer Life Cycle
Data Models & Data Flow
Stamm-‐/Daten-‐Qualität
Informa3ons-‐auZereitung & Entscheidungs-‐
findung
Reifegrad-‐Assessment (Ist/Plan-‐Gap)
Projekt-‐Programm & Planung
Konzep3on, Evaluierung Umsetzung
Ausbildung und
Begleitung
Einsatz-‐op3mierung
und Monitoring
„Business Intelligence requires Best Information requires Best Integration“
2 15.10.14 © dr.priglinger consulting GmbH
Methd
oen / Ve
rfah
ren
Werkzeu
ge
DWH Architektur Treiber ... Top Down versus Bottom Up
Schicht 1: Benutzeroberfläche
Schicht 5: Datenquellen
Schicht 3: Data Warehouse
Schicht 4: DatenintegraCon
Schicht 2: BI-‐Anwendungen
3
Bottom Up
Top Down
3 15.10.14 © dr.priglinger consulting GmbH
BI Architektur ... im „Big Data“ & „BI SelfService“ Zeitalter
Dashboards Standard-‐ Repor3ng
Analyse Data Mining Planung Ad hoc
Repor3ng
Datenintegra3on -‐ Batch, Real Time, Streams/Events, Map-‐Reduce
SAP ERP
Staging Area
Data Mart 2 Data Mart n
Core Data Warehouse
Sensor-‐Daten Web Logs Dokumente Social Media
File System NoSQL
Data Mart 1
Text Analyse
CRM Externe Systeme
Netzwerk-‐ Analyse
Pfad-‐ Analyse
Muster-‐ erkennung
Traditionelle BI-Anwendungen Erweiterte BI-Analyse Suche
Discovery
Transaktionsdaten Maschinen-generierte Daten
Dokumente/Texte
4
Ist es das ?
15.10.14 © dr.priglinger consulting GmbH 4
Schicht 1: Benutzeroberfläche
Schicht 5: Datenquellen
Schicht 3: Data Warehouse
Schicht 4: Datenintegration
Schicht 2: BI-Anwendungen
Data Life Cycle Management Architecture
(R&A) Reports (VMo) Virtuelle Modelle
(MdM) Multidimensionale Modelle (Facts, Dimensions, Cubes, Data Marts, …)
(ODS) Operational Data Store (integriertes relationales Modell)
(ETL-1) Mapping, Extrahieren, Transformieren, Laden
(MDQ) Services für Datenqualität & Stammdaten
(SeS-1) Semantische Schicht(Verknüpfen aller Modelle)
(ETL-3) M,E,T,L
(OpS) Operative Systeme
(SeS-2) Semantische Schicht
(SeS-3) Semantische Schicht
(MrM) Mapping relationale auf multidimensionale Modelle
(ETL-2) M,E,T,L
(RE-1) Primäres Requirements Engineering
(RE-2) Sekundäres Requirements Engineering
(RE-3) Tertiäres Requirements Engineering
Fachsicht
Würfel
Dimensionen
Kennzahlen
MDM
DM-‐Prozesse
DQ
Ges
amt-M
etad
aten
-Rep
osito
ry
Metadata-Repository (je BI-Schicht)
5 15.10.14 © dr.priglinger consulting GmbH
Data Hub
Types of Schema and Data
„Unknown Schema / uncertain Data“
„Strong qualified Schema, strong qualified Data “
„Qualified Schema, qualified Data “
„Partly known Schema / uncertain Data“
6 15.10.14 © dr.priglinger consulting GmbH
- Business-Intelligence-Inhalte „Informationsaufbereitung und Entscheidungsfindung“
Ø Intelligent Data Analytics (Data Science) Ø Search & Analysis Ø Prediction techniques Ø Semantic Processing Ø Cognitive Systems Ø Visualization
Ø Data Lifecycle Ø Data Governance & Stewardship Ø Data Security Ø Data Operations Ø Data Applications Development
7 15.10.14 © dr.priglinger consulting GmbH
Informationsaufbereitung
Ø Schema & Data Quality (SDQ) Ø Architecture
Ø Databases Ø Data Modeling Ø Data Integration Ø Data Warehousing Ø Metadata
Ø Quality Ø Reference & Master Data Ø Schema & Data Quality
Ø Documents and Content Management
Entscheidungsfindung
Ø Decision Methods & Networked Thinking
UNSERE ERFAHRUNG FÜR IHREN ERFOLG
... bei der Vorbereitung und Umsetzung von Projekten in den Belangen „Informationsaufbereitung“ und „Entscheidungsfindung“
ü Konzeption, Auswahl und Einführung von Business Intelligence & smartDATA-Lösungen
ü Reifegradmessung, Optimierung und Migration von Datenflüssen und Datenmodellen in komplexen Applikationslandschaften
ü Bewertung, Vorbereitung und Umsetzung von Stammdaten- und Datenqualitätsprojekten (inkl. BI3-smartDATA-Innovation-Lab)
ü Konzeption und Umsetzung von "Intelligent Data Analytics"-Projekten (alias „Data Science“)
ü der Evaluierung, dem Erlernen und dem praktischen Einsatz von Methoden der Entscheidungsfindung in heterogenen Teams (smartREASONING)
... bei strategischen und operativen Fragen zum Produkt- und Kundenlebenszyklus ü Bewertung und Einsatzoptimierung von vorhandenen Lösungen ü Verbesserte Unterstützung des Produktlebenszyklus durch Integration von CAx-,
PDM- und System Engineering-Lösungen
„Business Intelligence requires Best Information requires Best Integration“ www.pup-‐consul3ng.at
8 15.10.14 © dr.priglinger consulting GmbH
TransformaConen in OrganisaConen – heute und gestern
Was hat das Thema Daten damit zu tun
15.10.14 © dr.priglinger consulting GmbH 9
Industrie 4.0: „SmartData“ im Kontext von
Industrie-Unternehmen
! Alle verfügbaren Daten können prinzipiell zur Entscheidungsunterstützung herangezogen werden.
KundeLieferant
Lieferant
Produzent
KundeHubSCM
LegendeAPS: Advanced Planning and SchedulingBDE: BetriebsdatenerfassungBI: Business InteligenceCRM: Customer Relationship ManagementMES: Manufacturing Excecution SystemPLM: Product-Lifecycle-ManagementPDM: Product-Daten-ManagementSCM: Supply Chain ManagementSRM: Supplier Relationship Management
Vorfertigung Fertigung Vormontage Endmontage
12345
BI
APS/MES
BDE
CRMSRM
Plan Source Make DeliverS
yste
min
tegr
atio
n
Dat
enha
rmon
isie
rungPLMERPPDM
Quelle: FIR
SmartData Management
Telco 3.0: „SmartData“ im Kontext von
Telco-Unternehmen
Quelle: ICC Integration Competency Center, John Schmidt + David Lyle, 2006
SmartData Management
11 15.10.14 © dr.priglinger consulting GmbH
Energie 3.0: „SmartData“ im Kontext der Energiebranche
12 15.10.14 © dr.priglinger consulting GmbH
Quelle: SAP
SmartData Management
Finanz 3.0: Unified Financial Analysis & ACTUS Methodology for Stress Tests
13 15.10.14 © dr.priglinger consulting GmbH
Business Applica3ons
Finance 3.0 (Contracts) ICT Architecture
ACTUS Contract Algorithms
Data Integra3on Matching, Mapping, Transformation
Data Storage
OLAP
Dimensional
Data Sources
User Interface
Spreadsheet
Browser etc.
BANK A BANK B BANK C BANK ...
SQL
Operational Data
Storage I (relational)
NoSQL
Operational Data
Storage II (Big Data)
Semantic Layer NoSQL
Analytical Data
Storage I (Big Data)
Semantic Layer
DatFisMo Reporting DatFisMo Analytics
Monte Carlo Algorithms
Analytical Data
Storage II (Cubes)
Semantic Layer
SmartData Man
agem
ent
14 15.10.14 © dr.priglinger consulting GmbH
Quelle: DatFisMo EU Projektantrag [Vorschlag Priglinger, basierend auf Unified Financial Analysis]
Operational Data Storage
I (relational) M
arke
ts
Risk Factors Financial Contracts
Data Model
Beh
avio
ur
Term
s
Con
ditio
ns
DatFisMo Operational Data Storage I (relational)
Cou
nter
-pa
rties
Data Model
Algorithms/ Rules
Algorithms/ Rules
Operational Data Storage
II (Big Data) M
arke
ts
Events: Risk Factors & Financial Contracts
Beh
avio
ur
DatFisMo Operational Data Storage II (Big Data)
Cou
nter
-pa
rties
Data Model (Big Data)
Con
tract
Ana
lysi
s E
lem
ents
Ana
lysi
s E
lem
ents
Analytical Data Storage
(Big Data) Mar
kets
Events & Analysis Elements
Beh
avio
ur
DatFisMo Analytical Data Storage: Big Data & Dimensional
Cou
nter
-pa
rties
Data Model (Big Data)
Con
tract
Analytical Data Storage (Dimensional)
Analysis Model Fa
cts
Dim
ensi
ons
Data Model (Dimensional)
Ana
lysi
s E
lem
ents
..... a special Storage for each Query
..... for Aggregated Data
smartDATA – smartReasoning
Von „Daten“ zu „Entscheidungen“
15.10.14 © dr.priglinger consulting GmbH 18
Schicht 1: Benutzeroberfläche
Schicht 5: Datenquellen
Schicht 3: Data Warehouse
Schicht 4: Datenintegration
Schicht 2: BI-Anwendungen
Data Life Cycle Management Architecture
(R&A) Reports (VMo) Virtuelle Modelle
(MdM) Multidimensionale Modelle (Facts, Dimensions, Cubes, Data Marts, …)
(ODS) Operational Data Store (integriertes relationales Modell)
(ETL-1) Mapping, Extrahieren, Transformieren, Laden
(MDQ) Services für Datenqualität & Stammdaten
(SeS-1) Semantische Schicht(Verknüpfen aller Modelle)
(ETL-3) M,E,T,L
(OpS) Operative Systeme
(SeS-2) Semantische Schicht
(SeS-3) Semantische Schicht
(MrM) Mapping relationale auf multidimensionale Modelle
(ETL-2) M,E,T,L
(RE-1) Primäres Requirements Engineering
(RE-2) Sekundäres Requirements Engineering
(RE-3) Tertiäres Requirements Engineering
Fachsicht
Würfel
Dimensionen
Kennzahlen
MDM
DM-‐Prozesse
DQ
Ges
amt-M
etad
aten
-Rep
osito
ry
Metadata-Repository (je BI-Schicht)
Appl B Appl A
Data Integration Architecture State of the Art
Data Storage
Company Operational Data storage
Schema & Data Integration
Meta daten Daten Meta
daten Daten
Data TransformaCon
Data StandardizaCon
Schema Matching
Schema IntegraCon
Schema Mapping
ODS Meta daten Daten
Analytical DS Meta
daten Daten
manual
inividual
manual
manual
Appl A
Data Integration Architecture Innovative Solution
SADI Data Storage
Company Operational Data
Storage
Schema & Data Integration
Meta Data Data
Data StandardizaCon
Schema Matching
Schema Mapping
SADI Operational DS
Meta Data Data
SADI Analytical DS
Meta Data Data
Schema StandardizaCon
Data TransformaCon
semi-‐automa3c
standardized
individual Appl B
Meta Data Data
Appl C
Meta Data Data
Schema EvaluaCon
22
Besten Dank für Ihre Aufmerksamkeit !
15.10.14 © dr.priglinger consulting GmbH
SADI: Semi-automatic Data Integration
The research ques*ons we address are as follows:
u How can we define a standard for data modeling and use this standard with exis3ng data models?
u Given a standard for data modeling, how can we integrate data models of individual applica3ons by matching the seman*c of the data content and mapping the schema in an efficient way into one consistent data model?
u Since each data model of the various applica3ons in a company can differ considerably from others (e.g. different schema types, different naming conven3ons, different natural language, etc.) the mapping from the different data models to a consistent company data model is a tedious process. In principle, each company would need to physically implement its own mapping. The ques3on is: how can we standardize the representa*on of different model schemas (rela*onal, XML, OO, ...) and unify the implementa*on of these schemas and their mappings.
23 15.10.14 © dr.priglinger consulting GmbH
SADI: How to resolve the questions
The steps to resolve the research ques*ons are as follows:
u Define a unique language for each type of modeling nota3on by using „aiributed grammars“ and the ENBF Metasyntax. u Examples: rela3onal model, dimensional model, JSON, RDF, Graph, UML, SysML, XML, T-‐
ADAPT, DAPLEX, ...
u Map all the types of languages to each other by defining „translators“.
u Map all the types of languages into a „directed graph model“.
u Steps for the relaConal model type: u Define a modeling standard for the rela3onal type. u Define a transla3on from this standard to a graph model (schema and data). u For each individual rela3onal model:
u Use the rela3onal modeling standard to standardize exis3ng rela3onal models. u Translate this standardized rela3onal models into a graph model.
u Use the graph models for using exis3ng algorithms and develop new algorithms for schema (and data) integra3on of different source schemas to one target schema.
u Translate the target model back to the rela3onal representa3on.
24 15.10.14 © dr.priglinger consulting GmbH
TransformaConen in OrganisaConen – GeschäWsmodelle und die InformaConslogisCk
Von „Small & Big Data“ zu „SmartData“
15.10.14 © dr.priglinger consulting GmbH 25
Datability
u Datability – das Thema der CeBIT 2014. Dabei ist Datability ein Kunstwort geschaffen aus den Bestandteilen „Big Data“ sowie „Sustainability“ (Nachhaltigkeit). Laut CeBIT 2014 bezeichnet Datability:"Die Fähigkeit, große Datenmengen in hoher Geschwindigkeit verantwortungsvoll und nachhaltig zu nutzen.“
u Das bedeutet, Big Data sollte nicht als Selbstzweck gesammelt werden, sondern dazu genutzt werden, um konkrete Werte daraus ziehen: „Transform Data into Value!“
u „SmartData“ ó „Data with Value“ u Es muss ein Transformationsprozess von „Big Data“ zu „SmartData“
erfolgen. u Die zukünftigen Geschäftsmodelle benötigen
u treffsichere Hinweise auf künftige Kundenanforderungen und u die Entwicklung von zielorientierten Serviceangeboten
26 15.10.14 © dr.priglinger consulting GmbH
Customer Life Cycle
Product Life Cycle
Schwerpunkt 1: Informationsfluss vor Materialfluss und Prozessfluss
27 15.10.14 © dr.priglinger consulting GmbH
Schwerpunkt 2: Datenmanagement als kritischer Erfolgsfaktor für Performance-Steuerung
DatenManagement-Supportprozesse (wertschöpfend?)
Dispositive Geschäftsprozesse (wertschöpfend?)
Operative Geschäftsprozesse (wertschöpfend)
Performance Level 1
Performance Level 3
Performance Level 2
Kunde
Kritischer Pfad
15.10.14 © dr.priglinger consulting GmbH 28
Data Hub
Schwerpunkt 3: die Typen von Modellen und Daten
„Unknown Schema / uncertain Data“
„Strong qualified Schema, strong qualified Data “
„Qualified Schema, qualified Data “
„Partly known Schema / uncertain Data“
29 15.10.14 © dr.priglinger consulting GmbH
Schwerpunkt 4: Datenredundanz als Folge heterogener Kooperationen und verschränkter Anwendungslandschaften
u Die Inkompa3bilität der Applika3onsschemata und die Qualität und Redundanz der Daten sind schlechthin das Hindernis für „Interoperabilität“!!!
u Datenintegra3on (Schema-‐Mapping und Datenfluss) soll die Folgen der Datenredundanz beheben / mildern.
u Das führt zu den „Fragen erster Art“... u Wo macht Redundanz Sinn? u Wie ist Redundanz zu vermeiden?
u ... und das wiederum zu den „Fragen zweiter Art“ u Welche Integra3onsmuster sollen eingesetzt werden? u Wie sollen verschiedene Muster kombiniert werden?
30 15.10.14 © dr.priglinger consulting GmbH
Nutzen aus Daten ziehen heißt ...
u sich über Funktionsgrenzen hinweg (in oder zwischen Unternehmen)
u mit Blick auf die gesamten, meist noch zu definierenden Wertschöpfungsketten
u mit Daten und ihren Möglichkeiten zu beschäftigen.
è Lösungen mit explizitem Endkundennutzen generieren
è „SmartData“ ist „Big Data“ mit „Value“, nicht nur mit „Volume“, „Velocity“ und „Variety“
è Markting+Sales+IT+Technik sind gemeinsam gefordert. 31 15.10.14 © dr.priglinger consulting GmbH
UNSERE ERFAHRUNG FÜR IHREN ERFOLG
www.rosman.co.at
www.unity.de
www.paradigma.net
www.pup-‐consul3ng.at
Business Intelligence
Intelligent Data
Analy3cs
Product Life Cycle
Customer Life Cycle
Data Models & Data Flow
Stamm-‐/Daten-‐Qualität
Informa3ons-‐auZereitung & Entscheidungs-‐
findung
Reifegrad-‐Assessment (Ist/Plan-‐Gap)
Projekt-‐Programm & Planung
Konzep3on, Evaluierung Umsetzung
Ausbildung und
Begleitung
Einsatz-‐op3mierung
und Monitoring
„Business Intelligence requires Best Information requires Best Integration“
32 15.10.14 © dr.priglinger consulting GmbH
DWH Architecture 3.0 Active Schema & Data Integration
Dispositive Schichten
DWH
ERP
Operative Datenspeicherung & Datenverarbeitung
Schema- und Datenintegration
Classic CRM
Schema
DWH ROLAP
Schema StandardizaCon
Schema Matching
Schema IntegraCon
DWH ODS
Schema StandardizaCon
DWH MOLAP Dimensional Schema
33
Integrated / Reconciled Schema
Schema
Ac3ve CRM
Schema EvaluaCon
Neue Methoden
Active Data
Schema StandardizaCon
Req
uire
men
t Spe
cific
atio
n
15.10.14 © dr.priglinger consulting GmbH 33