Das Ende von OWB – was nun? - Dani Schniderdani.schniderkennel.ch/pdf/DOAG_Das_Ende_von_OWB.pdf · ODI der offizieller ... Command Line Utility mit XML Parse-Tree ... Nach Gartner

BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH

Das Ende von OWB – was nun? Migrationspfade für OWB-Projekte Dani Schnider Stanislav Lando

Agenda

Das Ende von OWB – was nun? 2 20.11.15

1.  Einleitung

2.  ODI der offizieller Nachfolger von OWB

3.  Migration nach PL/SQL

4.  biGenius – DWH Generator

5.  Kommerzielle ETL Tools (Informatica)

6.  OpenSource ETL Tools (Talend)

7.  Entscheidungskriterien


1. Einleitung

Unser Unternehmen.

© Trivadis – Das Unternehmen 4 20.11.15

Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution Engineering und der Erbringung von IT-Services mit Fokussierung auf - und -Technologien in der Schweiz, Deutschland, Österreich und Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern: Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme.

B E T R I E B

KOPENHAGEN

MÜNCHEN

LAUSANNE BERN

ZÜRICH BRUGG

GENF

HAMBURG

DÜSSELDORF

FRANKFURT

STUTTGART

FREIBURG

BASEL

WIEN

Mit über 600 IT- und Fachexperten bei Ihnen vor Ort.


14 Trivadis Niederlassungen mit über 600 Mitarbeitenden.

Über 200 Service Level Agreements.

Mehr als 4'000 Trainingsteilnehmer.

Forschungs- und Entwicklungsbudget: CHF 5.0 Mio.

Finanziell unabhängig und nachhaltig profitabel.

Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden.

Wer wir sind


Dani Schnider Principal Consultant, Trainer und DWH Lead Architect bei Trivadis Zürich

Stanislav Lando Senior Consultant und DWH Location Architect bei Trivadis Düsseldorf

Oracle Statement of Direction

  Die Basisfunktionalität („OWB Basic ETL“) bleibt vorerst bestehen 12c Release1

  erweiterte Funktionalitäten von OWB werden nicht mehr weiterentwickelt

  Der OWB wird seit Oracle 11g Release 2 nicht mehr weiterentwickelt

  Oracle Data Integrator ist offizieller Nachfolger vom OWB.

  Der ODI ist kostenpflichtig und nicht mehr in der Datenbank-Lizenz enthalten.

  Für die Migration von OWB nach ODI steht mit ODI 12c ein Migrationswerkzeug zur Verfügung

OWB Support läuft aus


Welche Migrationsszenarien sind möglich?


Handlungsbedarf Oracle 12C

Nicht CDB-Architektur ist DEPRECATED seit 12.1.0.2

  „ Oracle Warehouse Builder on a pluggable database operates the same as a multi-instance or an OWB_HOME configuration. ODI-EE license is required to use this functionality.”

Zeit zu handeln


2. ODI der offizieller Nachfolger von OWB

Oracle Data Integrator (ODI)


•  2006 Übernahme durch Oracle •  Oracle Datenstrukturen/Modelle •  ETL Strecken mit DB-Mitteln •  Einbindung von PL/SQL

•  Neu im Vergleich zu OWB •  Einbindung von heterogenen Umgebungen: DB, SOA, WebServices •  AGENT – Konzept mit zeitgesteuerter Jobverarbeitung •  Knowledge Module Konzept •  Version12c Übernahme der OWB Bedienkonzepte •  OWB Migration Utility

  Textbasierte Verarbeitung mit Config-Dateien

  Voraussetzung OWB ab v.11.2.0.4 + patch und ODI ab v.12.1.3

ODI Migration Utility


migrierbar nach ODI sind

•  Module: Quelle und Ziel •  Locations •  Datenobjekte: Tabellen, Views, MViews

Dateien, Sequenzen, externe Tabellen •  Mappings: klassisch set-based, code

templates, pluggable •  Operatoren: fast alle

nicht migrierbar nach ODI sind

•  Datenobjekte: Partitionen, Attribute Sets, Data Rules, Locations für externe Tabellen

•  Dimensionale, Discoverer und OBIEE Metadaten •  Eigene PL/SQL Prozeduren und Packages •  Queues, Streams, CDC Konfigurationen,

Benutzerdefinierte Datentypen •  Process Flows •  Data Quality, Data Profilies •  Mappings: row-based, mit o.g. Elementen •  OMB*Plus Skripte

OWB2ODI MIGRATION CHECK

ODI Migration Utility


migration.config ODI_MASTER_USER=SUPERVISOR ODI_MASTER_URL=jdbc:oracle:thin:@localhost:1521:orcl .. OWB_WORKSPACE_OWNER=OWB_OWNER OWB_URL=localhost:1521:orcl .. MIGRATION_MODE=DRY #CHECK|DRY|RUN ..

>./migration.sh ODISUPASS ODIUSRPASS OWBOWPASS migration.config

OdiStartOwbJob –WORKSPACE=<.> -LOCATION=<.> -OBJECT_NAME=<.> ..


3. Migration nach PL/SQL

PL/SQL Migrationsoption 1


IST OWB IM HINTERGRUND NICHT PL/SQL?

WB_RT_API_EXEC.RUN_TASK ( location IN VARCHAR2, task_type IN VARCHAR2, task_name IN VARCHAR2, custom_params IN VARCHAR2 DEFAULT NULL, system_params IN VARCHAR2 DEFAULT NULL, oem_friendly IN NUMBER DEFAULT 0, background IN NUMBER DEFAULT 0 ) RETURN NUMBER;



Sollte RUN_TASK unter der nächster DB Version nicht laufen?

WB_RT_API_EXEC.RUN_TASK (...);

  OWB Repository Schema OWBSYS durch eigene Implementierung ersetzten

  Anpassung des Repository mit weiteren DB Versionen möglich

  Aufwändige Wartung und Weiterentwicklung des OWB PL/SQL Code

  3000 – 4000 Zeilen Code pro Mapping

  OWB – PL/SQL Code ohne grafische Oberfläche



PL/SQL-Extraktion über Intermediate Results

  Einfache Extraktion der Logik durch Intermediate Results (set-based)

  Fehlerbehandlung wird unterstützt (LOG ERRORS INTO)

Row-based Extraktion mit größerem Aufwand möglich

  Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung müssen neu umgesetzt werden



PL/SQL-Extraktion mit PL/SQL Analyser https://www.salvis.com/blog/downloads/tvdca-trivadis-plsql-sql-codeanalyzer/

  Extraktion der Logik durch PL/SQL-Parser

  Automatisierung für viele Mappings (>1000) möglich

  Command Line Utility mit XML Parse-Tree Ausgabe

  Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung muss neu umgesetzt werden


4. biGenius

biGenius Funktionsübersicht


Business Department BRE

Business Requirements Engineering

BI Architect MGD Modelling Generation Deployment

DWH Admin

LCM Load Control Monitoring

DQT Data Quality Testing

Data Steward

Business Blueprints

Technical Documentation

Staging Area Cleansing Area

DWH Core

Data Mart

Source Source Source

Generated Objects: -  Tables -  Views -  ETL Processes

Standardisierte DWH-Architektur


Beispiel:

  10 Dimensionen

  5 Faktentabellen

  20 Entities

  25 Quelltabellen Generierte DWH-Objekte:

  100 Tabellen

  175 Views

  100 ETL-Packages

Staging

Cleansing

DWH-Core

Data Mart

Source Source Source

Migration eines standardisierten OWB-Projekts


  Import der Quell- und Zielstrukturen in biGenius Metadatenbank

  Zuordnung Quell- und Zielattribute

–  Implizite Zuordnung, falls Strukturen ähnlich aufgebaut sind

–  Manuelle Zuordnung von Spezialfällen

  Nachbearbeitung in biGenius Applikation

–  Metadaten für Historisierung und Dimensionshierarchien

–  Bei Bedarf Anpassungen von Templates

–  Für Spezialfälle separate Templates aus „Intermediate Results“

  Generierung von Tabellen, Views und Packages mittels PL/SQL Generator

ETL-Logik in Templates



5. Kommerzielle ETL Tools

Warum ein anderes ETL Tool als ODI?


Mögliche Gründe

  Strategisches Tool im Unternehmen

  Bestehendes Knowhow vorhanden

  Heterogene DWH-Systeme

  Marktanteil des Herstellers Verbreitete kommerzielle ETL Tools

Informatica PowerCenter

  IBM InfoSphere DataStage

  SAP Business Objects Data Services

Beispiel: Informatica PowerCenter


  Nach Gartner das achte Jahr in Folge als Data Integration Marktführer (Stand 2014)

  Mit SOA (Service Oriented Architecture) ist es möglich Services zu skalieren

  Ausführung der Transformationen im separaten ETL-Server

  ETL-Steuerung durch Integration Services (ETL in Blackbox)

  Datenzugriff durch ODBC, JDBC + native DB Treiber

  Systemüberwachung der Nodes (Domains) durch Service Management Prozess

  Lizenzierung pro Kern des Domain-Servers

Migration nach Informatica PowerCenter


Die Migration ist mit manuellem Aufwand verbunden

  Import der Quell- und Zielstrukturen in PowerCenter Repository

  Manuelle Neuentwicklung der Mappings

–  Ähnliche Transformationen wie OWB-Operatoren

–  Stored Procedures können in Mappings eingebaut werden

  Nachbau der Ladeläufe mit Workflow Manager

Migration nach Informatica PowerCenter (Alternative)


  Extraktion von SQL Statements in OWB

–  Via Intermediate Results

–  Nur für set-based Mappings

  SQL Statements in PowerCenter Mapping verwenden

–  SQL Override

–  SQL Transformation

  Achtung

–  Schlechte Wartbarkeit der Mappings

–  Nur als Übergangslösung zu empfehlen!


6. OpenSource ETL Tools

Warum OpenSource?


Hauptgrund für OpenSource-Produkte

  Geringere Lizenzkosten

  Achtung: OpenSource ≠ Gratis OpenSource ETL Tools

Talend Open Studio

Pentaho Kettle

Beispiel: Talend Open Studio


Open Source ETL Studio für wenig Geld

  Java Architektur

  Über 500 Components

–  Vergleichbar mit Operatoren für OWB

Row-based Verarbeitung

–  Mengenbasierte Ausführung umständlich möglich

  Lizenzkosten pro Entwickler

Talend Job Designer für die Ablaufsteuerung

Migration nach Talend


  Import der Quell und Zielstrukturen in die Metadatenbank

  Automatische Migration nicht möglich

–  Arbeitsweise unterscheidet sich von OWB

  Mögliche Lösung

–  Extraktion von SQL aus OWB (Intermediate Results)

–  SQL in Talend Component „rOracleRow“ kopieren

–  Gleiche Problematik wie SQL Override in Informatica

  Mit dem Job Designer ist der Nachbau der Ladeläufe erforderlich


7. Entscheidungskriterien

Funktionsumfang


  Arbeitsweise

  Bedienbarkeit

  Plattformunabhängigkeit

Arbeitsweise Bedienbarkeit Plattformunabhängigkeit

ODI Grafisches ELT-Tool, Ausführung in Zieldatenbank

Grafische Darstellung der

Datenflüsse Knowledge Module für zahlreiche Quell- und Zielplattformen

PL/SQL Prozedureale Programmierung in Datenbank

Programmierung in Datenbank-Editor, z.B. SQL Developer Oracle-spezifisch

biGenius Metadatenbasierter PL/SQL-Generator, Ausführung in Zielda-tenbank

GUI zur Erfassung und Pflege der Metadaten

Generatoren für Oracle und SQL Server

Kommerziell Grafisches ETL-Tool, Ausführung durch ETL-Server

Grafische Darstellung der Datenflüsse

Unterstützung zahlreicher Quell- und Zielplattformen

OpenSource Grafisches ETL-Tool, Ausführung durch ETL-Server

Grafische Darstellung der Datenflüsse

Unterstützung zahlreicher Quell- und Zielplattformen

Migration von OWB Projekten


Migrationsaufwand Zeitaufwand Manuelle Nachbearbeitung

Zusätzlicher Betriebsaufwand

ODI Automatisierte Migration durch OWB Migration Utility

gering Nachbau von Workflows und speziellen Operatoren

zusätzlich Server pro Agent

PL/SQL Generierter OWB-Code kann übernommen werden

mittel, für große Projekte automatisierbar

Implementierung von Fehlerbehandlung, Logging, etc.

keiner

biGenius Importieren von Quell- und Zielstrukturen, Generierung der ETL-Prozesse

für standardisierte Projekte gering, für Spezialfälle groß

Für Speziallogik müssen Templates erstellt oder angepasst werden

keiner

Kommerziell Manuelle Übernahme von SQL-Statements in ETL-Tool

hoher manueller Aufwand

Überführung von SQL-Statements in Logik des ETL-Tool

ETL-Server

OpenSource Manuelle Übernahme von SQL-Statements in ETL-Tool

hoher manueller Aufwand

Überführung von SQL-Statements in Logik des ETL-Tool

ETL-Server

Zusätzliche Kosten


Schulungsaufwand Lizenzkosten

ODI notwendig, aber für OWB-Entwickler ge-ring pro CPU der Zieldatenbank

PL/SQL PL/SQL-Knowhow bei OWB-Entwickler meistens vorhanden in Datenbanklizenz enthalten

biGenius notwendig abhängig von Projektgröße

Kommerziell notwendig pro CPU im Domain-server (Informatica)

OpenSource notwendig pro Arbeitsplatz (Talend)

Wartung und Weiterentwicklung


Wartbarkeit Performance & Tuning

ODI Sehr gut Mengenbasierte Ausführung in der Zieldatenbank

PL/SQL Schlecht wartbar Mengenbasierte Ausführung in der Zieldatenbank

biGenius Sehr gut Mengenbasierte Ausführung in der Zieldatenbank

Kommerziell Sehr gut datensatzbasierte Ausführung über ETL-Server

OpenSource Sehr gut datensatzbasierte Ausführung über ETL-Server


Trivadis White Paper: Das Ende von OWB – was nun? Migrationspfade für OWB-Projekte. http://www.trivadis.com/sites/default/files/downloads/migrationspfade-fuer-owb-projekte.pdf

Vielen Dank Dani Schnider Stanislav Lando [email protected] [email protected]

20.11.15 Das Ende von OWB – was nun? 38

Documents

Das Ende von OWB – was nun? - Dani Schniderdani.schniderkennel.ch/pdf/DOAG_Das_Ende_von_OWB.pdf · ODI der offizieller ... Command Line Utility mit XML Parse-Tree ... Nach Gartner