Vortrag ETL-Industrialisierung mit dem OWB Mapping Generator

ETL-Industrialisierung mit dem OWB Mapping Generator

Irina Gotlibovych

Senior System Beraterin

13.04.2012 2

� > 220 Festangestellte Mitarbeiter> 80 Freie Mitarbeiter

� Full-Service-Dienstleistung für alle Phasen des Software-Lifecycle

� Technologiekompetenz und Premium-Partnerschaften mit den Global-Key-Playern der IT-Industrie wie Oracle, IBM, Microsoft und SAP

� Themen- und Lösungs-Know-how in den Kerndisziplinen des Adaptive Enterprise

Als innovativer Beratungs- und IT-Dienstleister zählt die MT AG zu einem der bekanntesten hersteller-unabhängigen IT-Consulting- und Projektanbietern in Deutschland.

Neben einem umfangreichen Portfolio von maßgeschneiderten Lösungen bietet die MT AG ein umfangreiches Know-how beim Design und der Implementierung komplexer IT-Projekte. Beginnend bei der strategischen IT-Beratung über die Architektur, Entwicklung und Implementierung von spezifischen Branchenlösungen bis zum Betrieb der Systeme.

Die Produkte und Beratungsleistungen der MT AG liefern dabei stets einen direkten Mehrwert für den Kunden in Form von Effizienzsteigerungen, Kostenreduktionen oder Erlöszuwächsen.

MT AG - Enabling the Adaptive Enterprise

MT AG managing technologyDaten und Fakten

� Inhabergeführte AGAktienkapital 1.500.000 €

� HauptsitzRatingen

StandorteDortmund, Hamburg, Frankfurt, Luxemburg

TochtergesellschaftenMT-ifs GmbH, MT-ics GmbH

� Gründung 1994

Agenda

� Nachteile manueller DWH Entwicklung

� Idee: generische OWB Mapping Entwicklung

� OWB Mapping Generator

� Vorführung

� Framework Architektur

� Definition von Templates

� Mapping Generierung

� Ausblick

3ETL-Industrialisierung mit dem OWB Mapping Generator13.04.2012

Manuelle DWH Entwicklung

� Gleichartige ETL-Prozesse in vielen Projekten


� Staging Area Aufbau� Historisierung im Core



� Identische Logiken in mehreren Mappings


� Datenbereinigung� SCD2




� Manuelle Erstellung einzelner Objekte


� Operatoren, Connections� Ausdrücke, Eigenschaften





� Umfangreiche Anpassung bei neuen Anforderungen


� Neue Spalte� Änderung der Logik






� Testen jedes einzelnen Mappings







� Testen jedes einzelnen Mappings

� Hoher Entwicklungsaufwand (auch bei Änderungen)

� Fehler nicht vermeidbar

� Intensives Testing erforderlich


Generische ETL Entwicklung mit dem OWB?

Problem: Mapping ohne konkrete Objekte nicht möglich


OWB Mapping Generator – Lösungsansatz


Manuelle Entwicklung

OWB Mapping Generator

Anforderung

Anforderung





AnforderungOWB Mapping

Design

AnforderungGenerisches

Design






DesignOWB Mapping

Entwicklung


DesignTemplate

Entwicklung

Kein TCL Skript!






DesignOWB Mapping

EntwicklungOWB Mapping


DesignTemplate

Entwicklung

Kein TCL Skript!





OWB Mappings


DesignOWB Mapping

EntwicklungOWB Mapping


DesignTemplate

EntwicklungSTART

Kein TCL Skript!

OWB Mappings

OWB Mapping Generator – Vorführung

Tabellen importieren

Expert starte Expert starten

Namenskonventionen übernehmen










OWB Mapping Generator – TCL Script


OWB Mapping Generator – Ergebnis


OWB Mapping Generator – Überblick

� Auf Oracle und OWB basierendes Framework

� Standard-Implementierung mit Oracle 11.2 und OWB 11.2 Basic ETL

� Keine zusätzlichen Lizenzkosten

� Anpassung für andere Versionen möglich

� Vordefinierte Templates

� Datenbankobjekte

� Definitions- und Steuer-Tabellen

� Packages zum Generieren vom TCL Skript

� OWB Objekte

� Process Flows mit Hilfsroutinen

� Expert zum Generieren von Mappings


Framework Architektur


Definitions-tabellen

Steuer-tabellen

Konventions-tabellen

TCL Skript

Benutzer-eingaben

Logdatei

Expert

Packages

Server

OWB

DB

Mappings

Definition von Templates

� Deklarativ

� Generisch

� Dynamisch

� Allgemeingültig und wiederverwendbar

� Speicherung in DB Tabellen

� Verwendung der OMB Plus Syntax

� Einbindung von Benutzerdefinierten Funktionen


Definition von Templates – Datenmodell


Operator



Operator

Attribute



Property

Operator

Attribute



Property

Operator

Attribute

Connection

Definition von Templates für Fortgeschrittene

� Weitere Tabellen

� Ausnahmen für Attribute

� Ausnahmen für Eigenschaften

� Benutzerdefinierte Funktionen

� Abbildung komplexer Logiken

� z.B. in Abhängigkeit von Datentypen, Constraints, anderen Spalten

� Connections zur Generierungszeit

� Definition dynamischer Connections

� z.B. Joinen jeder Datum-Spalte mit einer Check-View


Mapping Generierung – Namenskonventionen

� Framework Voraussetzungen

� Datenbankobjekte folgen einer Namenskonvention

� „Tabellenstamm“ in allen OWB Modulen vorhanden

SOURCE STAGE CORE

� Reguläre Ausdrücke für Namenskonventionen

� Vordefinierte dynamische Parameter

� Definition weiterer Parameter möglich

� Abbildung beliebiger Konventionen


SRC_PRODUCT STG_PRODUCT PRODUCT

!

Mapping Generierung – Namenskonventionen

Namenskonventionen der Datenbankobjekte

Namenskonventionen der OWB-Objekte


Umgebungbeschreiben

Generierungs-regeln

festlegen

Mapping Generierung – DB Packages

Packages

� OMB_MAPPING.CREATE_EMPTY_MAPPINGS

� OMB_MAPPING.CREATE_OPERATORS


OWB Mapping Generator – Zusammenfassung

� Technische Zusammenfassung

� Generische Templates in Tabellen

� Keine TCL-Implementierung, das Skript wird vom Framework generiert

� Ergebnis und Nutzen

� Beschleunigung der Entwicklung

� Vereinheitlichung des Codes

� Reduzierung des Testaufwands

� Flexibilität gegenüber Neuanforderungen

� Minimierung des Wartungsaufwands

� Wiederverwendbarkeit in neuen Projekten


Zeit

Anz.Mappings

Generator

Manuell

Ausblick

� Geplante Erweiterungen

� Frontend für Anlage von Templates

� Automatisiertes Joinen mit beliebigen Tabellen

� Automatisiertes Mappen von ungleichnamigen Spalten

� Implementierung weiterer Templates (SCD3, Error Handling)

� OWB Process Flow Generator

� Generische Templates

� Hierarchiestufen für abhängige Prozesse

� Automatische Generierung der gesamten Hierarchie


Vielen Dank für Ihre Aufmerksamkeit!

Irina Gotlibovych

Senior System Beraterin

[email protected]

Anhang - Definition von Templates

Operatoren


Typ

Name

Modul Id


Eigenschaften

� Operatoreigenschaft� Statischer Wert


Operator

Attribut

Gruppe Eigenschaft

Wert


Eigenschaften

� Gruppeneigenschaft


Operator

Attribut

Gruppe Eigenschaft

Wert


Eigenschaften

� Attributeigenschaft / Dynamischer Wert


Operator

Attribut

Gruppe Eigenschaft

Wert


Eigenschaften

� Attributeigenschaft / Dynamischer Parameter


Operator

Attribut

Gruppe Eigenschaft

Wert


Eigenschaften

� Benutzerdefinierte Funktion


Operator

Attribut

Gruppe Eigenschaft

Wert


Übergänge


Id

Operatoren

Gruppen

TypAttribute

Mapping Generierung

Packages

� OMB_MAPPING_USER_FUNCTIONS.FUNC_SET_SCD2_OPEN_EXP


Documents

Vortrag ETL-Industrialisierung mit dem OWB Mapping Generator