Data Quality Management: Geht doch auch ohne!?

6. Workshop Business Intelligence und Data

Quality Management

Data Quality Management: Geht doch auch ohne!?

BUSINESS INTELLIGENCE RESEARCH

Dresden, 02.12.2011

http://bi-research.de/wordpress

© 2011 BearingPoint GmbH 2

Agenda


Data Quality Management: Was passiert, wenn nichts passiert

Datenqualität: Kurzüberblick

Praxisbeispiel

BearingPoint

Data Quality Management: Lösungsansätze


BearingPoint im Überblick

Consultants: 2.750

Partner: 140

Gesamtzahl der

Mitarbeiter: 3.200

Umsatz 2010: €462 Millionen

Unser Beratungsansatz

Management

Wir liefern Strategien und Prozesse, die einen nachhaltigen und messbaren Mehrwert generieren können. Wir bieten ganzheitliche Lösungen von der Vision bis zum operativen System, die dem Kunden bei der Integration, Innovation und dem Wachstum helfen.

Technology

Wir liefern die passende Technologie zur Erreichung von Unternehmenszielen. Mit unserem Fachwissen und unserer Erfahrung definieren wir in enger Zusammenarbeit mit den Kunden anspruchsvolle Ziele und entwickeln die dafür notwendigen Lösungen.

Consultants

Der Erfolg unserer Kunden hat bei uns höchste Priorität. Um die individuellen Anforderungen jedes Kunden zu erfüllen, hören wir zu und greifen auf unsere Expertise und unsere Innovationsfähigkeit zurück.


BearingPoint (Deutschland)

BearingPoint

Management & Technology Consultants

Platz 11 der TOP 25 Managementberatungsunternehmen auf der Lünendonk-Liste 2011

207 Mio. Euro Umsatz (2010)

Rund 1.400 Mitarbeiter in Deutschland

Acht Standorte mit Hauptsitz in Frankfurt am Main

Unsere Kunden

Wir beraten mehr als 450 Kunden, darunter mehr als 20 der 30 DAX-Unternehmen, viele Bundesministerien sowie die Europäische Gemeinschaft, die Top 5 der deutschen Banken und die Top 5 der deutschen Versicherungen

Partnerschaften

Mehr als 40 marktführende Allianzpartner, u. a. IBM, HP, Oracle, Microsoft, SAP, Informatica


Agenda




Praxisbeispiel

BearingPoint



Kurze Einführung: Merkmale für Datenqualität

Korrektheit

Widerspruchs-freiheit

Zuverlässigkeit

syntaktische Korrektheit

Datenherkunft

Vollständigkeit

Genauigkeit

Redundanz-freiheit

zeitlicher Bezug (Aktualität, zeitl. Konsistenz)

Nicht Volatilität

Relevanz

Einheitlichkeit

Eindeutigkeit

Verständlichkeit

eindeutige Schlüssel

Referentielle Integrität

Data Quality Management

Glaubwürdigkeit Nützlichkeit Interpretierbarkeit Integrität


Agenda




Praxisbeispiel

BearingPoint



Die Aussagen im Unternehmen zum Thema Datenqualität ähneln sich oft

Mein Daten prüfe ich selbst Mein Daten

gehören mir

Ich besitze den Quell der Weisheit!

Nur meine Daten sind richtig!

Ich brauche die Daten eh immer

anders

Ich brauche keine Daten

Ich vertraue auf alles, was ich

bekomme

Nur externe Daten sind gut

Ich stelle meine Daten nur in

meinen Formaten bereit


Jeder Bereich „spricht“ eine eigene Sprache basierend auf unterschiedlichen Anforderungen…

Einkauf

Planung Personal Organisa-

tion

Produktion Entwick-

lung

Verkauf Marketing Bilanzie-

rung

Unter-nehmens-struktur

Mitarbeiter Wachstum

Qualität einkaufen

Veredeln Innovation

Hohe Erlöse

Positive Außen-

darstellung

Abrechnung


… aus welchen sich im Idealfall ein gemeinsamer Datenhaushalt ableiten ließe,

Daten, die ausschließlich in diesen Bereichen anfallen

Daten aus anderen Bereichen, die jeweils ganz oder teilweise benötigt werden könn(t)en


… was aber leider selten der Fall ist.

Bilanzie-rung

Möglichst keine

Daten-weitergabe

Daten im Monats, Quartals

und Jahres-rytmus Zeitliche

Ausrichtung in Monaten,

nicht historisch

Viele Plan- und

Spieldaten, Vorgaben

Daten werden

täglich neu in Minuten

erfasst


Agenda




Praxisbeispiel

BearingPoint



Praxisbeispiel fehlendes DQM – Ist-Zustand

Kommunalverwaltung einer deutschen Großstadt

Produktorientierter Haushalt ist ein komplexes Druckwerk, bestehend aus Gesamt- und Teilhaushalten mit ergebnis- und finanzorientieren Daten, Stellenplänen, Investitionsmaßnahmen und Erläuterungstexten

Für den Haushaltsplandruck werden die Daten in einem SAP Business Warehouse-System (SAP-BW) vorgehalten

Planung des produktorientieren Haushalts erfolgt im ERP-System

Automatisierte Ladeprozesse sorgen für einen tagesaktuellen Stand der Daten

Überwachung des SAP-BW erfolgt durch die Basisbetreuung

Maßnahmen zum Data-Quality-Management werden nicht ergriffen


Praxisbeispiel fehlendes DQM - Folgen

Kein Vertrauen in die Qualität und Richtigkeit der ausgewiesenen Daten

Im Planungsprozess werden daher die aufbereiteten Daten mehrfach mit den Originaldaten aus dem ERP-System abgeglichen.

Der Planungsprozess verzögert sich damit erheblich

Das SAP-BW hat als Reportingsystem keine weitere Relevanz. Alle operativen Berichte kommen aus dem ERP

Spezielle Berichtsanforderungen werden weiterhin über Excellösungen mit manueller Datenaufbereitung vorgenommen

Damit keine Akzeptanz des SAP-BW. Potenziale zur Verbesserung der Planungsprozesse und des strategischen und operativen Reportings werden nicht ausgenutzt.

Die Folgen bilden eine Domino-Kette:


Data Warehouse

Einführung Gesetzliche Vorgaben

Entstandene Verluste Technischer Datenabgleich

Konsolidierung von Umgebungen (z.B. nach Übernahmen)

Unternehmensübergrei-fender Datenaustausch

Einführung von

Data Quality Management

Weitere Gründe für die Durchführung von Data Quality Projekten im Unternehmen


Agenda




Praxisbeispiel

BearingPoint



Data Quality Management lässt sich in fünf Kategorien einteilen

Data Profiling Auditing (Analyse der Daten) und Messung der Datenqualität

Data Cleansing (Transformieren, Vereinheitlichen, Bereinigen von

Daten)

Permanentes Data Quality Management

Masterdaten- management

Metadatenmanagement

Data Quality Monitoring Data Quality Management

Namen/Adressen (Vereinheitlichung und Korrektur) Regelentdeckung (Entdecken von „Geschäftsregeln“ und entsprechende Korrekturen) Record Linkage (Erkennen und Zusammenführen von Duplikaten)

1 2

3

4

5


Data Quality Projekte benötigen in 99% der Fälle einen fachlichen Sponsor, doch…

..wie lief es in der Vergangenheit? Rein IT-seitige Data Quality-Initiativen scheiterten oft am

Widerstand der Fachseite bzw. des Budgetgebers, doch warum?

Data Quality-Probleme waren nicht eindeutig greifbar; das Problem nur schwer visualisierbar

In den Datenhaushalten steckten die Daten mehrerer Fachbereiche – und nicht alle, sondern oft keiner fühlte sich unter Budgetgesichtspunkten gesamtverantwortlich

Nur einzelne Daten aus dem gesamten Datenhaushalt waren für den jeweiligen Bereich relevant

Ein ersten großen Aufschwung in der Finanzbranche erlangte Data Quality Management im Kontext von Basel II

Erstmals erfolgten – meist weniger als mehr strukturiert – Rückkopplungen der Data Quality-Messungen „am Ende der Nahrungskette“ an den Ort der Datenerfassung / -generierung und somit zurück zu anderen Fachbereichen


Agenda




Praxisbeispiel

BearingPoint



Praxisbeispiel 1: DQM-Data Mart & Reporting (System-Überblick)


Praxisbeispiel 1: DQM-Data Mart & Reporting (Herkunft Kennzahlen)


Praxisbeispiel 2: DQM-Data Mart + Reporting Frontend-Sicht (Report und Analyse)

kumulierte Fehler der letzten 30 Tage (je 1.000 Fehler)

0

2

4

6

8

10

12

01.0

2.0

8

03.0

2.0

8

05.0

2.0

8

07.0

2.0

8

09.0

2.0

8

11.0

2.0

8

13.0

2.0

8

15.0

2.0

8

17.0

2.0

8

19.0

2.0

8

21.0

2.0

8

23.0

2.0

8

25.0

2.0

8

27.0

2.0

8

29.0

2.0

8

02.0

3.0

8

Diagramm

X schliessen


Ansprechpartner bei BearingPoint

Silvio Kressin Senior Manager

T (+49) 69 13022 1859 M (+49) 174 309 2679

[email protected]

André Trappmann Technology Architect

T (+49) 40 4149 2026 M (+49) 173 600 6783

[email protected]

Eckhard Kalbhenn Technology Architect

T (+49) 69 13022 5816 M (+49) 174 3015 360

[email protected]


Fragen und Antworten



Data Profiling: Techniken zur formalen Untersuchung der Daten

Quelle: nach TDWI

Inspektion (Was ist anhand der Daten selbst zu erkennen?):

Detaillierte Analyse der existierenden Daten

Klassifizierung, Mustererkennung (Ableitung von Regeln)

Validierung:

Analyse der Quelldaten aufgrund von vorgegebenen Business Rules

Verifikation:

Abgleich gegen andere verlässliche Quellen (Referenzdatenbestände, reale Welt z.B. Verträge, weitere Datenquellen)

Kombinationen der Techniken sind möglich und sinnvoll


Data Cleansing – Regeln und Aktionen

Bedingungen, abgeleitet aus Business Rules (wenn „Endedatum“ = NULL…)

Aktionsteil (…dann ersetze „31.12.9999“ oder „…lösche kompletten Datensatz“)

Vorgehensweise:

80:20 Regel: mit einfachen Regeln möglichst viele Fälle

abdecken

Teile von Business Rules verwenden

Kombination aus verschiedenen Aktionen:

Reparatur zur Behebung akuter Probleme

Prävention

Restbereinigung

Aktionen können auch manuelle Tätigkeiten sein,

besonders für „Restfälle“

Quelle: nach TDWI, Delivering High Quality Warehouse Data, 2004

Documents

Data Quality Management: Geht doch auch ohne!?