Datenqualität sichern Wenn sich Controlling und Buchhaltung streiten Praxisseminar zu...

<Insert Picture Here>

Datenqualität sichern Wenn sich Controlling und Buchhaltung streiten Praxisseminar zu Datenqualitätsanalysen mit einem Planspiel zur virtuellen Server GmbH Christoph Blessing, Alfred Schlaucher

So... ...oder so?

Agenda

09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"

10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.

10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell

10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten

10:45 Pause

11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH

12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten

12:30 Ausklang mit Business Lunch

Agenda

09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"

10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.

10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell

10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten

10:45 Pause

11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH

12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten

12:30 Ausklang mit Business Lunch

Wer glaubt solchen Charts?

Die Kosten der schlechten Daten

Ohne Daten kein Business Daten sind der Treibstoff der Prozesse

Operative Prozesse

Information Chain

KundeKunden-betreuer

Logistik- system

Stamm- daten

Marketing

Buch-haltung

Lager Spedition

Kunde

BedarfAdresseKredit-daten

Angebot Bestand

Bestell-daten

KD-Daten

Kredit OK Order

Adresse

Werbung

Verkaufs-daten

Rechnung

Bezahlung Reklamation

Mahnung

Liefer-schein

InternetzugriffeInternetzugriffe

OperativesOperativesCRMCRM

MIS MIS ControllingControlling

BeschwerdenBeschwerden

AnalytischesAnalytischesCRMCRM

DiversifizierungDiversifizierungMarketing-MaterialMarketing-Material

ProduktProduktManagementManagement

CallCallCenterCenter

Informationsbasis Oracle Data Warehouse

Die Qualität von Data Warehouse Daten wird immer wichtiger

Fehlende Praxis inDatenmanagement

Gewachsene Bedeutungdes Faktors Informationfür den Erfolg von Unternehmen.

Ausufernde Datenmengen Vermehrtes Inseltum

durch Fertig-Anwendungen

Daten-qualität

Immer häufigereProzessänderungen

Warum wächst die Herausforderung der Qualität der Daten

Was ist Datenqualität?Aspekte (Dimensionen) der Datenqualität

Brauchbarkeit der Daten!

1. Korrekt2. Stimmig3. Vollständig4. Dokumentiert5. Redundanzfrei6. Aktuell7. Verfügbar (Access)8. Nützlich (TCO)9. Handhabbar10.Vertrauenswürdig11.Harmonisch

Agenda

09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"

10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.

10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell

10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten

10:45 Pause

11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH

12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten

12:30 Ausklang mit Business Lunch

DieSERVICE GmbH

Fallbeispiel

• Vermittlung von Dienstleistungen für Endkunden rund um das Handwerk

• Handwerksleistung• Darlehen

• Großhandel für Baumärkte und Einzelhandel

• Haushaltswaren• Heimwerker• Gartenbedarf• KFZ-Zubehoer• Elektroartikel

•Bereich Internet-/Versandhandel• Computerteile

Die SERVICE GmbH – Historisch gewachsene Geschäftsfelder

SERVICE GmbH

SERVICE GmbH

Die SERVICE GmbHDie Problemfälle

• Unterscheidung• Privatkunden• Firmenkunden

• Kundenkarte wurde eingeführt• Nur Privatkunden dürfen Kundenkarten haben

• Entstand aus Zusammenschluss mehrerer Vertriebsgesellschaften

Integration der Stammdaten „mit Hindernissen“Unterschiedliche Artikel-/ Produktestammdaten

SERVICE GmbH

Erwartungen aus dem Unternehmen

Vertrieb

ControllingManagement

Marketing Buchhaltung

Vertrieb: wünscht leichtere AuswertungenWas sind wichtige Produkte?Was sind rentable Sparten?Hat sich der Servicebereich gelohnt?

Marketing: Absatzzahlen sind nicht aussagefähigWie viel Kunden gibt es?Lohnt die Kundekarte?Welche Segmentierung gibt es?

Buchhaltung: Es fehlen DatenWarum sind die Spediteursrechnungen so hoch?Sind alle Bestellungen korrekt bezahlt worden?Wie hoch sind die Versandkosten pro Lieferung?Was wurde storniert?

Controlling: Vergleichbarkeit fehltWas sind rentable Sparten?Wie rentabel sind einzelne Produkte? Was kosten Produkte im Einkauf? Wie teuer wurden Produkte verkauft?

Management: Kennzahlen fehlen Wie hoch sind die liquiden Mittel? Wie hoch sind die Außenstände?

SERVICE GmbH

Erwartungen aus dem Unternehmen

Vertrieb

ControllingManagement

Marketing Buchhaltung

Vertrieb: wünscht leichtere AuswertungenWas sind wichtige Produkte?Was sind rentable Sparten?Hat sich der Servicebereich gelohnt?

Marketing: Absatzzahlen sind nicht aussagefähigWie viel Kunden gibt es?Lohnt die Kundekarte?Welche Segmentierung gibt es?

Buchhaltung: Es fehlen DatenWarum sind die Spediteursrechnungen so hoch?Sind alle Bestellungen korrekt bezahlt worden?Wie hoch sind die Versandkosten pro Lieferung?Was wurde storniert?

Controlling: Vergleichbarkeit fehltWas sind rentable Sparten?Wie rentabel sind einzelne Produkte? Was kosten Produkte im Einkauf? Wie teuer wurden Produkte verkauft?

Management: Kennzahlen fehlen Wie hoch sind die liquiden Mittel? Wie hoch sind die Außenstände?

Position

Produkte

Gruppen

Sparten

Kunden-Stamm

Bestellung

Korrekte Werte für:Umsatz pro Sparte?Umsatz pro Gruppe?Umsatz pro Produkt?Werden korrekte

Rechnungen gestellt?Umsatz pro Kunde?Macht die Kundenkarte

Sinn?

Bekannte Probleme

• Auswertungen auf Spartenebene stimmen nicht mit den Aufstellungen Umsatz pro Produkt überein

• Die Kundendaten erlauben keine Segmentierung für Marketingzwecke„Es werden Firmenkunden, als Privatkunden angeschrieben“

Die Controlling-Sicht

Agenda

09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"

10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.

10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell

10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten

10:45 Pause

11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH

12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten

12:30 Ausklang mit Business Lunch

Methoden und Hilfsmittel

• Datenmodellierung• Attribut-Klassifizierung (Namen)• Kategorisierung von Qualitätsregeln• Data Profiling Tool• ETL-Tool• Datenbank• Vorgehensmodell

Datenmodellierung

• Schlüssel• Identifizierung von Dingen

• Functional Dependencies• Versteckte Abhängigkeiten

• Beziehungen• Existenzabhängigkeit

• Orphans

• Childless

• Normalisierung• One Fact One Place

Ziel: Aufspüren und Minimierung von Redundanzen als eine derHauptursachen von Datenfehlern

Attribut-Klassifizierung

• Einordnen von Attributen zu Basistypen• Identifier, Bezeichner, Beschreibungen, Werte, Zeiten.....

• Ableitung von vermuteten Eigenschaften• Eindeutigkeit, Schlüsselkandidat, Muss-Feld....

• Erkennen von Synonymen / Homonymen über gleiche Merkmale und Namensbestandteile

Ziel: Erkennung der Anforderungen an Felder um diese optimalgestalten zu könnenAufspüren von Synonymen und Homonymen

Data Profiling Tool

• Standardanalysen• Unique Keys• Functional Dependencies• Relationships• Domains• Redundant Columns• Patterns, Types• Statistiken• Six Sigma

• Rules (Business-/ IT-Rules)• Generierung von

Korrekturen• Auditing

• Eingebettet in ein ETL-Tool• hohe Flexibilität beim

Bereitstellen von Daten• Direktes Anwenden erkannter

Regeln für eine spätere Datenaufbereitung und Minitoring

• Ablaufumgebung ist die Datenbank

• Datennähe

Data Profiling ToolMethoden

Feintuning zu

den Analyse-

methoden

Die

operativen

Daten

Proto-

kollierung

laufende

Analysen

Drill Down zu den operativen Daten

ETL - Tool

• SQL-basiert• wenig Lernaufwand

• Ablaufumgebung ist die Datenbank• hohe Performance

• Wiederverwendung von DB-Funktionen und Infrastruktur

• Metadaten- / Modell-gesteuert

Zieldefinition

Bestandsaufnahme

Planen

Strukturanalysen

Regelanalysen

Umsetzung Ergebnisse

Erwartungen Geschäftsregeln

Owner User Ressourcen Kosten Modelle

Felder

Priorisieren Problemkomplexe

Objekte Beziehungen Hierarchien

Daten Werte Fach

Abgleich-Alt Neudefinition Monitoring

To

p D

ow

nB

otto

m U

pVorgehensmodell Datenqualitätsanalyse

6 Phasen, 95 Aktivitäten, 16 Ergebnis-Templates, 1 Metamodell, Klassifizierungen

Vorgehensmodell für Datenqualitätsprojekte

Erheben der Grunddaten

Beschreibung der Geschäftsprozesse

Datenmodellprüfungen

Detailanalyse

GeschäftsfelderData Owner / Daten-Interessenten / KonsumentenDQ-ErwartungenBekannte SchwachstellenKostenPrioritäten

ObjektmodellDatenflüsse und –schnittstellenBekannte Geschäftsregeln

VollständigkeitsbetrachtungBetrachtung der VerständlichkeitSchlüsselanalysen / BeziehungsanalysenAnalyse von HierarchienSuche nach Redundanzen (z. B. Normalisierung)Mengenanalyse / Stammdatenabgleiche

Überprüfen der GeschäftsregelnAnalyse der erkannten SchwachstellenVerifizieren der DQ Erwartungen

Vorgehensweisen / Methoden im Data Profiling

Unternehmensdaten

DataProfiling

Metadaten

.. .. ..

Data Quality Assessement

Erwartungen an die Datenqualität

Abgleich

DiscoveryAssertion Testing Metadata Verification

Neue Erkenntnisse(Überraschungen)

Bottom up

Agenda

09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"

10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.

10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell

10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten

10:45 Pause

11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH

12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten

12:30 Ausklang mit Business Lunch

Warum ist ein Tooleinsatz bei Datenqualitätsanalysen sinnvoll?

• Das meiste geht auch ohne Tool, allerdings mühsam

Functional Dependencies

Auswahl und Ergebnisansicht Methoden

Chart-DarstellungTabellen-Darstellung

Drill-Werte

Operative Datensätze

Die Tabellen,

die zu dem Analyse-

fukus

gehören

Feintuning

zu den

Analyse-

methoden

Analyse-Job-

Protokolle Aktivierbare Business Rules

Starten einesProfiling-Laufs

Starten einer Correction-Mapping-Generierung

Generierung-Rule

SourceStage

Profiling Stage

SAP R/3

SAPIntegrator

non OracleGateway / ODBC/ FTP

Oracle 9i / 10g / 11gDB2, SQL ServerInformix, Teradata

LDAP

Meta DatenRepository

Direct PathDBLink

TransportableModules

DBMS_LDAP

Siebel CRM

OracleeBusiness

Text / XML

Analyse Datenbank

Analyseumgebung

Eindeutigkeitsanalysen (Unique Key)

Wertebereichsanalysen (Domain)

Funktionale Abhängigkeiten

Beziehungen (Relational)

Beziehungen (Orphans / Childless)

Wertmustererkennung (Pattern)

Formate (Data Type)

Statistiken (Aggregation)

Korrekt, muß 0 sein

Korrekt:Es kann nur einWert gepflegt sein.

Korrekt, muß 0 sein

Korrekt, das sind richtige Werte

Korrekt, muß 0 sein

Korrekt: Zusammen 100%(Alle Fälle erfasst)

Problem:kein Schlüsselfeldist gepflegt

Korrekt, das sind die richtigen Werte

Korrekt, muß 0 sein

Korrekt

Korrekt:Zusammen100%.(Alle Fälle erfasst)

Problem

Korrekt, muß 0 sein

Individuelle Regeln (Data Rules)

Rule-Varianten

Agenda

09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"

10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.

10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell

10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten

10:45 Pause

11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH

12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten

12:30 Ausklang mit Business Lunch

Agenda

09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"

10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.

10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell

10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten

10:45 Pause

11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH

12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten

12:30 Ausklang mit Business Lunch

Stammdaten(Produkte / Artikel)

StammdatenHierarchien?

Einkaufspreise(fehlerhaft?)

Stammdaten(Kunden / Identifizierung )

Lieferungen(Bestellungen/Stornierungen)

Wo bleibt die gelieferte Ware?

Wie korrekt wirdgezahlt?

Artikel-,Gruppen-,Spartenberichte

Vergleichbarkeit vonEinkaufs- und Verkaufspreisen

Rabatte?

Wer hat wieviel gekauft?

Kunden-Segmentierung

Welche Produkte lohnen sich

Spediteure?

Nachvollziehbarkeit von Zahlungen für dieBuchhaltung

Korrekte Zahlen zurSteuerung vonMarketingkampagnenund für den Vertrieb

Messbarkeit fürControlling

Auswertbarkeit

Stimmen die Einträge

Problem-komplex

FragestellungenBenannte Probleme

Ergebnis

Fall 1: Auswertungen über die Artikelgruppen-HierarchieDie Zahlen von Controlling und Buchhaltung passen nicht zusammen.

Analysemodell: Was wissen wir über den Prozess?

Service GmbH

Produkte

Kunden

verkauft

Lieferanten

Dienst-leistungen

Privat

Firmen

Kunden-karte

Lager

Handwerker

Spediteur

bestellt

beauftragt

liefert aus

holt ab

bietet an

beauftragt bietet an

beliefert

storniert

holtstornierteWare ab

liefert ab

Geschäftsprozess: Bestellungen

Kundendatenprüfen

Kreditlimitprüfen

Verfüg-barkeitprüfen

Dienstleist-ung be-

auftragen

MAX/MINMenge Spediteur

beauftragen

Liefersatzanlegen

Bestellsatzupdaten

Kunden-stamm

Produkte-stamm

Liefer-schein

Vertrag

Kunden-stamm

Status

Bestellunganlegen

offene Posten

BestellungBest_Pos

BestellungBest_Pos

Lieferung

Beschaffung

Bestellprozess

Objektmodell: Welche Geschäftsobjekte sind an dem Prozess beteiligt?

Kunde

Lieferanten

Zahlung

Stornierung

Produkte

Privat-Kunde

Firmen-Kunde

Kunden-Karte

Artikel Service

LagerBestellung

Lieferung

Retouren

Dienst-leister

Partner

Spediteur

Beauf-tragung /

Order

Bewegungsdaten

Stamm-daten

Vollständigkeitsanalyse Wichtige Daten fehlen!

Kunde

Lieferanten

Zahlung

Stornierung

Produkte

Privat-Kunde

Firmen-Kunde

Kunden-Karte

Artikel Service

LagerBestellung

Lieferung

Retouren

Dienst-leister

Partner

Spediteur

Beauf-tragung /

Order

Bewegungsdaten

Stamm-daten

Liefernummer fehlt.Identifizierung nur über BestellnummerIdentifizierung nur

über BestellnummerKeine Untergliederung nach Positionen möglich.

Kunden_stamm

Lieferant

Zahlung

Stornierung

Lager

Artikel_Sparte

Artikelspartennnr [1, (90%)]

Artikelgruppennr [6, (92%)]

Beziehungsanalyse

Produktnummer [0, (100%)]

Artikelnr [0, (100%)]

Order_ID [0, (100%)]Order_ID

Bestrellnr [0, (100%)]Order_ID

Best_Position

Bestrellnr [213, (90%)]

KD_Nummer[1211, (46%)]Kundennr

KD_Nummer[0, (100%)]Kunden_ID

Bestrellnr [0, (100%)]Bestrellnr

Kundencode[0, (100%)]Kunden_ID

Kundencode[0, (100%)]Kunden_ID

BestellungArtikel_Gruppe

Bestellnr [6, (97%)]Order_ID

Bestellnr [6, (97%)]Bestrellnr

Lieferung

Kundencode[0, (100%)]Kunden_ID

Produkte_stamm

FK-Column[Orphans, (%-korrekte Sätze) ]UK-Column

Legende

Gezieltes Suchen nach „Waisenkinder“ (Orphans)

Nachprüfen mit SQL

?

Abfrage über die HierarchieArtikelgruppe -> Produkte_Stamm -> Best_Position

Abfrage über die HierarchieProdukte_Stamm -> Best_Position

Artikel-Hierarchie

Analyse von Hierarchien

Produkte_Stamm

Artikel_Gruppe

Artikelsparte ARTIKELSPARTENNR1 , 2 ,3

ARTIKELSPARTENNR1,4,3ARTIKELGRUPPENNR1,2,3,4,5,6,11,10,9,8,7

ARTIKELGRUPPENNR100,1,6,2,5,4,7,3,10

Position

Produkte

Gruppen

Sparten

Kunden-Stamm

Bestellung

Falsche Statuskennzeichnungvon Finanzprodukten

Orphans

Fehlerhafte Spartenkennzeichnungvon Gruppen

Doppelte Wertebelegung von Statuskennzeichnung für Privat- und Firmenkunden.

Fehlerhafte Verschlüsselungvon Artikel- und Produkten

DoppelteProduktnummern

Fehlerhafte , nicht rechenbareEinzelpreisbezeichnung

Korrekte Werte für:Umsatz pro Sparte?Umsatz pro Gruppe?Umsatz pro Produkt?Werden korrekte

Rechnungen gestellt?Umsatz pro Kunde?Macht die Kundenkarte

Sinn?

Korrekte Business Intelligence Auswertungen?

Wer hat Recht Controlling oder Buchhaltung?

Zahlen: Controlling Zahlen: Buchhaltung

Fall 2: Was wissen wir über den Kunden?Sind die Kundendaten ausreichend um Marketing-Kampagnen durchzuführen?

Domain-Analyse Kundenkarte

?

Überprufen der Regel:„Nur Privatkunden haben Kundenkarten“

Überprufen der Regel:„Nur Privatkunden haben Kundenkarten“

Überprufen der Regel:„Nur Privatkunden haben Kundenkarten“

Hilft das Feld Branche zur Qualifizierung von Kunden?

Man stellt unterschiedlicheBegriffe für dasselbe fest(Synonyme)

??

Standardisierung von Feldern

Erstellen einer Rule mit standardisierten Branchennamen

Die Rule „BRANCHEN“

Ein Korrekturmapping wird erzeugt

Generierter Prüflauf

Anweisungen in welche Richtung standardisiert werden soll

Vorher Nachher

Agenda

09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"

10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.

10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell

10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten

10:45 Pause

11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH

12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten

12:30 Ausklang mit Business Lunch

Data Quality Management Process

Data Profiling

DatenkorrekturData QualityAuditing

Data QualityReporting

Audits in den Datenflüssen

DatenqualitätsreportingVerarbeitete Sätze pro Berichtzeitraum(Anzahl Positionen pro Bestellungen)

Füllstandsanzeige einzelner Werte

Agenda

09:30 Teurer Datensumpf" oder"Schlechte Daten kosten einfach nur viel Geld"

10:00 Einweisung in das Planspiel „Service GmbH“„Wenn Controlling auf die Buchhaltung schimpft“ Eine simulierte Firma mit (einigen) Problemen.

10:15 Systematische Vorgehensweisen bei Datenqualitätsanalysen mit einem Vorgehensmodell

10:30 Unterstützung durch Werkzeuge in Datenqualitätsprojekten

10:45 Pause

11:00 Datenqualität praktisch und hautnah:Data Profiling Analysen in der Service GmbH

12:15 Proaktives Datenqualitätsmanagement Zusammenfassung und Möglichkeiten

12:30 Ausklang mit Business Lunch