Data Quadrant - Daten Management Methode

DATEN QUADRANT STRATEGIE UND ORGANISATION IM ZEITALTER VON AGILEBI, DWH, AUTOMATION UND BIGDATA

EINLEITUNG• Quellen

• Datenquadrant von R.D. Damhof Mai 2014 – DWH Automation• Whitepaper “Building A Data-Centric Strategy and Roadmap” – datablueprint.com, Peter

Aiken und Lewis Broome• Daten als untrennbarer Verbund und/oder Bestandteil von den Produkten und

Dienstleistungen die verkauft werden.• Strategie

• “Your data strategy must align to your organizational business strategy and operating model.”

• Architektur• “Data Architecture represents the common vocabulary, expressing integrated requirements

ensuring that data assets are stored, arranged, managed and used in support of organizational strategy.”

• Governance• “Data Governance is the exercise of authority and control over the management of your

mission- critical data assets.” • Technical Practices: Qualität, Integration, Plattformen, BI• Der Datenquadrant als Kommunikationsmittel für Strategie und Technik

DATENSTRATEGIE

StrategieZiele und VorhabenDatenmanagementSysteme und ApplikationenNetwork / Infrastructure

StrategieZiele und VorhabenSysteme und ApplikationenNetwork / InfrastructureDatenmanagement

Dat

enge

trieb

en

Applikationsgetrieben

• Datenassets werden durch die Geschäftsprozesse erstellt, die Ziele und Vorhaben liefern

• Datenmanagement ermöglicht Geschäftsprozesse, Ziele und Vorhaben zunehmend direkt durch eigene Wertbeiträge

• Personen, Organisation und Geschäftsprozesse liefern Kontext für das Datenmanagement

• Datenmanagement informiert die Personen und Organisation

DATENSTRATEGIE

Personen und Organisation

Geschäftsprozesse Ziele und Vorhaben

TechnologieTechnology Assets

DatenmanagementDaten Assets

Informiert

ErstelltKontext

INFORMATIONEN LIEFERN

Geschäftsprozesse Ziele und VorhabenPersonen und Organisation

TechnologieTechnology Assets

Informationsfluss Anforderungen

Datenmanagement

Strategie Architektur Governance

Qualität Integration Plattformen

BI

Inform

Produkt

PROBLEMSTELLUNG KOMMUNIKATION

BI/ITCIO/CTO/CDO

FachabteilungCEO/COO/CFO

NoSQL

BigData

MPP

Data Vault

Analytics

???

AgileBI

Self Service

Predictive

ANALOGIE: LOGISTIK UND PRODUKTION

WIE KOMMEN PRODUKTE AUF DEN MARKT

Quelle: Ruhr-Universität Bochum, AWF AG Pull-Systeme, Dipl.Ing. O. Völker und Dipl. Ing. S. Binner

PULL VERSUS PUSH PRODUKTE

Bekannte AnforderungenGeringe PersonalisierungSkaleneffekteGleichförmige ProduktionGeringe ÄnderungskostenGeringe Vorbereitungszeit

Variable AnforderungenHohe PersonalisierungGeringer VerkaufsaufwandVariabilität in der ProduktionHohe AnpassungskostenGrößere Vorbereitungszeit

Pus

h

Pull

PULL VERSUS PUSH DATEN

PUSH/SUPPLY/SOURCE• Fakten, historisiert• Massendeployment• Kontrolle>Agilität• Wiederholbare &

vorhersagbare Prozesse• Standardisierung• Automation

• Deklarativ > Prozedural• Metadaten, Modell

getrieben• IT und Datenexpertiese

PULL/DEMAND/PRODUCT• Interpretation &

Kontext• Einzeldeployment• Agilität > Kontrolle• Nutzerfreundlichkeit• Weniger IT-Expertise• Hohes Fachwissen• Prozedural >

Deklarativ

UNTERSCHEIDUNG LIEFERMODUSSystematisch• Nutzer und Entwickler sind getrennt• Fokus auf Kontrolle und Compliance• Fokus auf Non-Functionals• Zentrale, unternehmensweite Informationsobjekte

• Nutzer und Entwickler sind eng verbunden• Offensive Governance – Fokus auf Agilität und Anpassbarkeit• dezentralisierte Informationsobjekte• Deployment direkt in ProduktionOpportunistisch

Development Style

DER DATENQUADRANT

I• Facts

II• Context

III• Shadow IT• Incubation• Ad-hoc• Once off

IV• Research• Innovation• Design

Pull / Demand / Product drivenPush / Supply / Source driven

Push/Pull Point

DevelopmentStyle

Systematic

Opportunistic

DER DATENQUADRANT

I• Facts

II• Context

III• Shadow IT• Incubation• Ad-hoc• Once off

IV• Research• Innovation• Design

Pull / Demand / Product drivenPush / Supply / Source driven

Push/Pull Point

DevelopmentStyle

Systematic

Opportunistic

EDWH

Star

OLAP

Report

Dashboard

Self-Service BI

Analytics

Predictive

Machine Learning

BPMNKontextEIM

STRATEGIE UND ARCHITEKTUR

I•Facts

II•Context

III•Shadow IT• Incubation•Ad-hoc•Once off

IV•Research• Innovation•Design

Datenmanagement

Strategie Architektur Governance

Qualität Integration Plattformen

BI

Standardisierung und Modellierung

GOVERNANCE

I• Facts

II• Context

III• Shadow IT• Incubation• Ad-hoc• Once off

IV• Research• Innovation• Design

Verantwortung beim Anforderer

Verantwortung beim Lieferanten

Verantwortung beim Data Scientist / Analyst / Researcher

TRANSITIONEN

I• Facts

II• Context

III• Shadow IT• Incubation• Ad-hoc• Once off

IV• Research• Innovation• Design

Auflösung von Produkten der Shadow-IT oder aus der Inkubation

Übergabe von Produkten aus der eigenverantwotlichen Produktion in die zentrale Verantwortung – Standardisierung von Entwicklungsmethoden

ZENTRALISIEREN - DEZENTRALISIEREN

I• Facts

II• Context

III• Shadow IT• Incubation• Ad-hoc• Once off

IV• Research• Innovation• Design

PRODUKTION

I• Facts

II• Context

III• Shadow IT• Incubation• Ad-hoc• Once off

IV• Research• Innovation• Design

Produktionslinie Data Product

Information Product

Data AccessAnalytics

Processing Power

AUTOMATIONI DATA DELIVERY

II AGILE BI – AUTOMATED SDLC

I• Facts

II• Context

IV• Shadow IT• Incubation• Ad-hoc• Once off

III• Research• Innovation• Design

Bekannte AnforderungenGeringe PersonalisierungSkaleneffekteGleichförmige ProduktionGeringe ÄnderungskostenGeringe Vorbereitungszeit

Pus

h

AUTOMATION – MODELLIERUNG

Strategie und Architektur

Modellierung eines EIMFact-Based ModelingConecptual -> LogicalOntology –> Facts -> RelationalTransformation von Datenmodellen (EIM/FCO-IM/ER/DataVault/AnchorModeling)Integration von BPMN und Datenmodellierung

Metadaten getriebene DWH Automation

Datenmanagement

Strategie Architektur Governance

Qualität Integration Plattformen

BI

I•Ensemble Modeling

II•Dimensional, hierarchical, flat

III•Shadow IT• Incubation•Ad-hoc•Once off

IV•Research• Innovation•Design

TECHNOLOGIE

I• Facts

II• Context

III• Shadow IT• Incubation• Ad-hoc• Once off

IV• Research• Innovation• Design

MPP

Big

Dat

aN

oSQ

L

Ble

ndin

g

R-Programming

Map/Reduce

Python

Analytics

“Traditional BI”Ensemble

Modeling

Self-Service BI

TECHNOLOGIE UND VORGEHEN

I•Storage: (R)DBMS•Processing: Automation

•DQ: Validation,Profiling•Dev: Data Modeling•Access: Virtualization

II•Storage: Pattern Based

•Processing: limited ETL

•DQ: Regeln, Dashboards

•Dev: Data Modeling•Access: BI Tools, Visualisation

III IV•Storage: Analytical•Processing: Preptools für Data Analst

•Access: Advanced Analytics, Data Visulisation

TAKE-AWAY• Kommunikation der Realisierung einer Datenstrategie auf der

Basis von verständlichen Kategorien

• Kategorisierung von Anforderungen für Anwendungen und Informationsquellen

• Automatisierung in der Datenversorgung ist eine Grundvoraussetzung• Sowohl die eigentliche Versorgung• … als auch die Steuerung der Versorgung• Für AgileBI• Metadaten und Modelle sollten die Automatisierung steuern, um

die Strategie und die Implementierung zu verbinden

DANKESCHÖN

• Owner, Managing Consultant bei Alligator Company• 10+ Jahre Erfahrung in BI• Certified Data Vault 2.0 Practitioner• Member of the Boulder BI Brain Trust

Torsten Glundemailto:t.glunde(at)alligator-company.de

Weitere Netzwerke:https://www.xing.com/profile/Torsten_Glundehttps://www.linkedin.com/pub/torsten-glunde/8/aba/97

tglunde