„BI & „smartDATA / smartREASONING“ · 2014. 12. 1. · Data Modeling! Data Integration! Data Warehousing ! Metadata! Quality ! Reference & Master Data ! Schema & Data Quality

„BI3“ & „smartDATA / smartREASONING“

Dr.Siegmund Priglinger dr.priglinger consul3ng GmbH Wien & Hagenberg, 2014 s.priglinger@pup-‐consul3ng.at www.pup-‐consul3ng.at www.bi3-‐smartdata.com

15.10.14 © dr.priglinger consulting GmbH 1

„Business Intelligence requires Best Information requires Best Integration“

In Planung: Experten erzählen (Anwender und Implemen3erer)

Subthema: Komplexe Wechselwirkungen von Schema & Data Quality

TASKFORCE & WISSENSVERBUND - UNSERE ERFAHRUNG FÜR IHREN ERFOLG

Business Intelligence

Intelligent Data

Analy3cs

Product Life Cycle

Customer Life Cycle

Data Models & Data Flow

Stamm-‐/Daten-‐Qualität

Informa3ons-‐auZereitung & Entscheidungs-‐

findung

Reifegrad-‐Assessment (Ist/Plan-‐Gap)

Projekt-‐Programm & Planung

Konzep3on, Evaluierung Umsetzung

Ausbildung und

Begleitung

Einsatz-‐op3mierung

und Monitoring


2 15.10.14 © dr.priglinger consulting GmbH

Methd

oen / Ve

rfah

ren

Werkzeu

ge

DWH Architektur Treiber ... Top Down versus Bottom Up

Schicht 1: Benutzeroberfläche

Schicht 5: Datenquellen

Schicht 3: Data Warehouse

Schicht 4: DatenintegraCon

Schicht 2: BI-‐Anwendungen

3

Bottom Up

Top Down


BI Architektur ... im „Big Data“ & „BI SelfService“ Zeitalter

Dashboards Standard-‐ Repor3ng

Analyse Data Mining Planung Ad hoc

Repor3ng

Datenintegra3on -‐ Batch, Real Time, Streams/Events, Map-‐Reduce

SAP ERP

Staging Area

Data Mart 2 Data Mart n

Core Data Warehouse

Sensor-‐Daten Web Logs Dokumente Social Media

File System NoSQL

Data Mart 1

Text Analyse

CRM Externe Systeme

Netzwerk-‐ Analyse

Pfad-‐ Analyse

Muster-‐ erkennung

Traditionelle BI-Anwendungen Erweiterte BI-Analyse Suche

Discovery

Transaktionsdaten Maschinen-generierte Daten

Dokumente/Texte

4

Ist es das ?





Schicht 4: Datenintegration

Schicht 2: BI-Anwendungen

Data Life Cycle Management Architecture

(R&A) Reports (VMo) Virtuelle Modelle

(MdM) Multidimensionale Modelle (Facts, Dimensions, Cubes, Data Marts, …)

(ODS) Operational Data Store (integriertes relationales Modell)

(ETL-1) Mapping, Extrahieren, Transformieren, Laden

(MDQ) Services für Datenqualität & Stammdaten

(SeS-1) Semantische Schicht(Verknüpfen aller Modelle)

(ETL-3) M,E,T,L

(OpS) Operative Systeme

(SeS-2) Semantische Schicht


(MrM) Mapping relationale auf multidimensionale Modelle

(ETL-2) M,E,T,L

(RE-1) Primäres Requirements Engineering

(RE-2) Sekundäres Requirements Engineering

(RE-3) Tertiäres Requirements Engineering

Fachsicht

Würfel

Dimensionen

Kennzahlen

MDM

DM-‐Prozesse

DQ

Ges

amt-M

etad

aten

-Rep

osito

ry

Metadata-Repository (je BI-Schicht)


Data Hub

Types of Schema and Data

„Unknown Schema / uncertain Data“

„Strong qualified Schema, strong qualified Data “

„Qualified Schema, qualified Data “

„Partly known Schema / uncertain Data“


- Business-Intelligence-Inhalte „Informationsaufbereitung und Entscheidungsfindung“

Ø  Intelligent Data Analytics (Data Science) Ø  Search & Analysis Ø  Prediction techniques Ø  Semantic Processing Ø  Cognitive Systems Ø  Visualization

Ø  Data Lifecycle Ø  Data Governance & Stewardship Ø  Data Security Ø  Data Operations Ø  Data Applications Development


Informationsaufbereitung

Ø  Schema & Data Quality (SDQ) Ø  Architecture

Ø  Databases Ø  Data Modeling Ø  Data Integration Ø  Data Warehousing Ø  Metadata

Ø  Quality Ø  Reference & Master Data Ø  Schema & Data Quality

Ø  Documents and Content Management

Entscheidungsfindung

Ø  Decision Methods & Networked Thinking

UNSERE ERFAHRUNG FÜR IHREN ERFOLG

... bei der Vorbereitung und Umsetzung von Projekten in den Belangen „Informationsaufbereitung“ und „Entscheidungsfindung“

ü  Konzeption, Auswahl und Einführung von Business Intelligence & smartDATA-Lösungen

ü  Reifegradmessung, Optimierung und Migration von Datenflüssen und Datenmodellen in komplexen Applikationslandschaften

ü  Bewertung, Vorbereitung und Umsetzung von Stammdaten- und Datenqualitätsprojekten (inkl. BI3-smartDATA-Innovation-Lab)

ü  Konzeption und Umsetzung von "Intelligent Data Analytics"-Projekten (alias „Data Science“)

ü  der Evaluierung, dem Erlernen und dem praktischen Einsatz von Methoden der Entscheidungsfindung in heterogenen Teams (smartREASONING)

... bei strategischen und operativen Fragen zum Produkt- und Kundenlebenszyklus ü  Bewertung und Einsatzoptimierung von vorhandenen Lösungen ü  Verbesserte Unterstützung des Produktlebenszyklus durch Integration von CAx-,

PDM- und System Engineering-Lösungen

„Business Intelligence requires Best Information requires Best Integration“ www.pup-‐consul3ng.at


TransformaConen in OrganisaConen – heute und gestern

Was hat das Thema Daten damit zu tun


Industrie 4.0: „SmartData“ im Kontext von

Industrie-Unternehmen

! Alle verfügbaren Daten können prinzipiell zur Entscheidungsunterstützung herangezogen werden.

KundeLieferant

Lieferant

Produzent

KundeHubSCM

LegendeAPS: Advanced Planning and SchedulingBDE: BetriebsdatenerfassungBI: Business InteligenceCRM: Customer Relationship ManagementMES: Manufacturing Excecution SystemPLM: Product-Lifecycle-ManagementPDM: Product-Daten-ManagementSCM: Supply Chain ManagementSRM: Supplier Relationship Management

Vorfertigung Fertigung Vormontage Endmontage

12345

BI

APS/MES

BDE

CRMSRM

Plan Source Make DeliverS

yste

min

tegr

atio

n

Dat

enha

rmon

isie

rungPLMERPPDM

Quelle: FIR

SmartData Management

Telco 3.0: „SmartData“ im Kontext von

Telco-Unternehmen

Quelle: ICC Integration Competency Center, John Schmidt + David Lyle, 2006



Energie 3.0: „SmartData“ im Kontext der Energiebranche


Quelle: SAP


Finanz 3.0: Unified Financial Analysis & ACTUS Methodology for Stress Tests


Business Applica3ons

Finance 3.0 (Contracts) ICT Architecture

ACTUS Contract Algorithms

Data Integra3on Matching, Mapping, Transformation

Data Storage

OLAP

Dimensional

Data Sources

User Interface

Spreadsheet

Browser etc.

BANK A BANK B BANK C BANK ...

SQL

Operational Data

Storage I (relational)

NoSQL

Operational Data

Storage II (Big Data)

Semantic Layer NoSQL

Analytical Data

Storage I (Big Data)

Semantic Layer

DatFisMo Reporting DatFisMo Analytics

Monte Carlo Algorithms

Analytical Data

Storage II (Cubes)

Semantic Layer

SmartData Man

agem

ent


Quelle: DatFisMo EU Projektantrag [Vorschlag Priglinger, basierend auf Unified Financial Analysis]

Operational Data Storage

I (relational) M

arke

ts

Risk Factors Financial Contracts

Data Model

Beh

avio

ur

Term

s

Con

ditio

ns

DatFisMo Operational Data Storage I (relational)

Cou

nter

-pa

rties

Data Model

Algorithms/ Rules

Algorithms/ Rules

Operational Data Storage

II (Big Data) M

arke

ts

Events: Risk Factors & Financial Contracts

Beh

avio

ur

DatFisMo Operational Data Storage II (Big Data)

Cou

nter

-pa

rties

Data Model (Big Data)

Con

tract

Ana

lysi

s E

lem

ents

Ana

lysi

s E

lem

ents

Analytical Data Storage

(Big Data) Mar

kets

Events & Analysis Elements

Beh

avio

ur

DatFisMo Analytical Data Storage: Big Data & Dimensional

Cou

nter

-pa

rties

Data Model (Big Data)

Con

tract

Analytical Data Storage (Dimensional)

Analysis Model Fa

cts

Dim

ensi

ons

Data Model (Dimensional)

Ana

lysi

s E

lem

ents

..... a special Storage for each Query

..... for Aggregated Data

smartDATA – smartReasoning

Von „Daten“ zu „Entscheidungen“





Schicht 4: Datenintegration

Schicht 2: BI-Anwendungen

Data Life Cycle Management Architecture

(R&A) Reports (VMo) Virtuelle Modelle

(MdM) Multidimensionale Modelle (Facts, Dimensions, Cubes, Data Marts, …)

(ODS) Operational Data Store (integriertes relationales Modell)

(ETL-1) Mapping, Extrahieren, Transformieren, Laden

(MDQ) Services für Datenqualität & Stammdaten

(SeS-1) Semantische Schicht(Verknüpfen aller Modelle)

(ETL-3) M,E,T,L

(OpS) Operative Systeme



(MrM) Mapping relationale auf multidimensionale Modelle

(ETL-2) M,E,T,L

(RE-1) Primäres Requirements Engineering

(RE-2) Sekundäres Requirements Engineering

(RE-3) Tertiäres Requirements Engineering

Fachsicht

Würfel

Dimensionen

Kennzahlen

MDM

DM-‐Prozesse

DQ

Ges

amt-M

etad

aten

-Rep

osito

ry

Metadata-Repository (je BI-Schicht)

Appl B Appl A

Data Integration Architecture State of the Art

Data Storage

Company Operational Data storage

Schema & Data Integration

Meta daten Daten Meta

daten Daten

Data TransformaCon

Data StandardizaCon

Schema Matching

Schema IntegraCon

Schema Mapping

ODS Meta daten Daten

Analytical DS Meta

daten Daten

manual

inividual

manual

manual

Appl A

Data Integration Architecture Innovative Solution

SADI Data Storage

Company Operational Data

Storage

Schema & Data Integration

Meta Data Data

Data StandardizaCon

Schema Matching

Schema Mapping

SADI Operational DS

Meta Data Data

SADI Analytical DS

Meta Data Data

Schema StandardizaCon

Data TransformaCon

semi-‐automa3c

standardized

individual Appl B

Meta Data Data

Appl C

Meta Data Data

Schema EvaluaCon

22

Besten Dank für Ihre Aufmerksamkeit !

15.10.14 © dr.priglinger consulting GmbH

SADI: Semi-automatic Data Integration

The research ques*ons we address are as follows:

u  How can we define a standard for data modeling and use this standard with exis3ng data models?

u  Given a standard for data modeling, how can we integrate data models of individual applica3ons by matching the seman*c of the data content and mapping the schema in an efficient way into one consistent data model?

u  Since each data model of the various applica3ons in a company can differ considerably from others (e.g. different schema types, different naming conven3ons, different natural language, etc.) the mapping from the different data models to a consistent company data model is a tedious process. In principle, each company would need to physically implement its own mapping. The ques3on is: how can we standardize the representa*on of different model schemas (rela*onal, XML, OO, ...) and unify the implementa*on of these schemas and their mappings.


SADI: How to resolve the questions

The steps to resolve the research ques*ons are as follows:

u  Define a unique language for each type of modeling nota3on by using „aiributed grammars“ and the ENBF Metasyntax. u  Examples: rela3onal model, dimensional model, JSON, RDF, Graph, UML, SysML, XML, T-‐

ADAPT, DAPLEX, ...

u  Map all the types of languages to each other by defining „translators“.

u  Map all the types of languages into a „directed graph model“.

u  Steps for the relaConal model type: u  Define a modeling standard for the rela3onal type. u  Define a transla3on from this standard to a graph model (schema and data). u  For each individual rela3onal model:

u  Use the rela3onal modeling standard to standardize exis3ng rela3onal models. u  Translate this standardized rela3onal models into a graph model.

u  Use the graph models for using exis3ng algorithms and develop new algorithms for schema (and data) integra3on of different source schemas to one target schema.

u  Translate the target model back to the rela3onal representa3on.


TransformaConen in OrganisaConen – GeschäWsmodelle und die InformaConslogisCk

Von „Small & Big Data“ zu „SmartData“


Datability

u  Datability – das Thema der CeBIT 2014. Dabei ist Datability ein Kunstwort geschaffen aus den Bestandteilen „Big Data“ sowie „Sustainability“ (Nachhaltigkeit). Laut CeBIT 2014 bezeichnet Datability:"Die Fähigkeit, große Datenmengen in hoher Geschwindigkeit verantwortungsvoll und nachhaltig zu nutzen.“

u  Das bedeutet, Big Data sollte nicht als Selbstzweck gesammelt werden, sondern dazu genutzt werden, um konkrete Werte daraus ziehen: „Transform Data into Value!“

u  „SmartData“ ó „Data with Value“ u  Es muss ein Transformationsprozess von „Big Data“ zu „SmartData“

erfolgen. u  Die zukünftigen Geschäftsmodelle benötigen

u  treffsichere Hinweise auf künftige Kundenanforderungen und u  die Entwicklung von zielorientierten Serviceangeboten


Customer Life Cycle

Product Life Cycle

Schwerpunkt 1: Informationsfluss vor Materialfluss und Prozessfluss


Schwerpunkt 2: Datenmanagement als kritischer Erfolgsfaktor für Performance-Steuerung

DatenManagement-Supportprozesse (wertschöpfend?)

Dispositive Geschäftsprozesse (wertschöpfend?)

Operative Geschäftsprozesse (wertschöpfend)

Performance Level 1

Performance Level 3

Performance Level 2

Kunde

Kritischer Pfad


Data Hub

Schwerpunkt 3: die Typen von Modellen und Daten

„Unknown Schema / uncertain Data“

„Strong qualified Schema, strong qualified Data “

„Qualified Schema, qualified Data “

„Partly known Schema / uncertain Data“


Schwerpunkt 4: Datenredundanz als Folge heterogener Kooperationen und verschränkter Anwendungslandschaften

u  Die Inkompa3bilität der Applika3onsschemata und die Qualität und Redundanz der Daten sind schlechthin das Hindernis für „Interoperabilität“!!!

u  Datenintegra3on (Schema-‐Mapping und Datenfluss) soll die Folgen der Datenredundanz beheben / mildern.

u  Das führt zu den „Fragen erster Art“... u  Wo macht Redundanz Sinn? u  Wie ist Redundanz zu vermeiden?

u  ... und das wiederum zu den „Fragen zweiter Art“ u  Welche Integra3onsmuster sollen eingesetzt werden? u  Wie sollen verschiedene Muster kombiniert werden?


Nutzen aus Daten ziehen heißt ...

u  sich über Funktionsgrenzen hinweg (in oder zwischen Unternehmen)

u  mit Blick auf die gesamten, meist noch zu definierenden Wertschöpfungsketten

u  mit Daten und ihren Möglichkeiten zu beschäftigen.

è  Lösungen mit explizitem Endkundennutzen generieren

è  „SmartData“ ist „Big Data“ mit „Value“, nicht nur mit „Volume“, „Velocity“ und „Variety“

è  Markting+Sales+IT+Technik sind gemeinsam gefordert. 31 15.10.14 © dr.priglinger consulting GmbH

UNSERE ERFAHRUNG FÜR IHREN ERFOLG

www.rosman.co.at

www.unity.de

www.paradigma.net

www.pup-‐consul3ng.at

Business Intelligence

Intelligent Data

Analy3cs

Product Life Cycle

Customer Life Cycle

Data Models & Data Flow

Stamm-‐/Daten-‐Qualität

Informa3ons-‐auZereitung & Entscheidungs-‐

findung

Reifegrad-‐Assessment (Ist/Plan-‐Gap)

Projekt-‐Programm & Planung

Konzep3on, Evaluierung Umsetzung

Ausbildung und

Begleitung

Einsatz-‐op3mierung

und Monitoring



DWH Architecture 3.0 Active Schema & Data Integration

Dispositive Schichten

DWH

ERP

Operative Datenspeicherung & Datenverarbeitung

Schema- und Datenintegration

Classic CRM

Schema

DWH ROLAP


Schema Matching

Schema IntegraCon

DWH ODS


DWH MOLAP Dimensional Schema

33

Integrated / Reconciled Schema

Schema

Ac3ve CRM

Schema EvaluaCon

Neue Methoden

Active Data


Req

uire

men

t Spe

cific

atio

n
