2014 © Trivadis

BASEL BERN LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN

Migration OWB to ODI

Martin de Gooijer

Prinzipal Consultant BI

1

Oracle DWH KonferenzNeuss

Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014

2014 © Trivadis

Migration OWB to ODI

1. Einführung

2. Warum migrieren?

3. Migration Tool

4. Voraussetzungen

5. Konfiguration

6. Ausführung und Einschränkungen

7. Planung

8. Fazit

2Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014

2014 © Trivadis

Introduktion

� Martin de Gooijer

� 20 Jahre Oracle Erfahrung� 11 Jahre Oracle Niederlände� Seit 2005 Trivadis (Schweiz)

� OWB Erfahrung: seit 2001

� ODI Erfahrung: seit 2012

� Referent OWB Kurse

� Teilnehmer ODI 12c und OWB Migration Utility Beta Programm

19.03.2014Oracle DWH Konferenz Neuss - Migrating OWB to ODI

3

2014 © Trivadis

Migration OWB to ODI

1. Einführung

2. Warum migrieren?

3. Migration Tool

4. Voraussetzungen

5. Konfiguration

6. Ausführung und Einschränkungen

7. Planung

8. Fazit

4Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014

2014 © Trivadis

Warum migrieren: Statement of Direction von Oracle (teils)

Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014

2014 © Trivadis

Warum migrieren?

� Desupport OWB ab Oracle DB 12.2

� Viele Jahre sind in die Entwicklung von OWB Mappings investiert worden

� Alles neu entwickeln (z.B. mit andere Werkzeuge) ist teuer und kostetviel Zeit

� Es ist möglich!!!!

6Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014

☺

2014 © Trivadis

Migration OWB to ODI

1. Einführung

2. Warum migrieren?

3. Migration Tool

4. Voraussetzungen

5. Konfiguration

6. Ausführung und Einschränkungen

7. Planung

8. Fazit

7Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014

2014 © Trivadis

Migration Tool – Erwartungen

� One-Click-Migration

� Schickes GUI: einfach zu selektieren was migriert werden soll

� Keine Problemen, alles wird ohne Probleme migriert

� Das Mapping ist danach im ODI genauso wie im OWB aufgebaut und strukturiert

� Das Mapping hat genau die gleiche Funktionalität

Oracle DWH Konferenz Neuss - Migrating OWB to ODI8

19.03.2014

2014 © Trivadis

Migration Tool - Realität

� Command-Line, kein schöne Windows-Umgebung!

� Es findet ein Repository-to-Repository Migration statt� OWB und ODI Repository müssen beide verfügbar und erreichbar sein

� Patch einer bestehende OWB Installation� Vor vorerst nur eine Migration ab 11.2.0.4 möglich, jetzt geht es auch ab 11.2.0.3

� Direktes Migrieren einer MDL-Datei ist nicht möglich

� Es gibt einige Einschränkungen

� Trotzdem können viele Mappings direkt migriert werden

� Migration funktioniert sehr schnell und ohne manuelle Eingriffe

Oracle DWH Konferenz Neuss - Migrating OWB to ODI9

19.03.2014

�

�

�

☺

2014 © Trivadis

Migration Tool

� Migration kann ab Workspace Level durchgeführt werden

� Es ist möglich die Migration auf einer anderen Stufe (z.B. Projekt)zu starten (siehe Konfigurationsdatei)

� Testruns sind möglich: der Ausführung ist gleich wie bei eine Migration. Die Metadaten werden aber nicht in dem ODI Repository gespeichert

� Man kann einstellen, wieviel Logging gewünscht ist

Oracle DWH Konferenz Neuss - Migrating OWB to ODI10

19.03.2014

2014 © Trivadis

Migration Tool

� Projekte werden in Projekte migriert

� Modulen werden in Modulen migriert

� Mappings werden in Mappings migriert

� Sequences werden in Datenbanksequences in das Projekt migriert

� Tabellen und Views werden in Modellen migriert (abhängig von Location)

� Locations werden in Logical Schemas migriert

� Physikalische Locations werden in Datastores migriert

Oracle DWH Konferenz Neuss - Migrating OWB to ODI11

19.03.2014

2014 © Trivadis

Migrating OWB to ODI

1. Einführung

2. Warum migrieren?

3. Migration Tool

4. Voraussetzungen

5. Konfiguration

6. Ausführung und Einschränkungen

7. Planung

8. Fazit

12Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014

2014 © Trivadis

Migration OWB to ODI

1. Einführung

2. Warum migrieren?

3. Migration Tool

4. Voraussetzungen

5. Konfiguration

6. Ausführung und Einschränkungen

7. Planung

8. Fazit

13Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014

2014 © Trivadis

The Migration Tool – Prerequisites: MOS note 1503877.1

Oracle DWH Konferenz Neuss - Migrating OWB to ODI14

19.03.2014

2014 © Trivadis

Migration Tool - Konfiguration

� Das Tool wird durch die Konfigurationsdatei konfiguriert. Es gibt von Oracle eine Beispieldatei welche nach eigene Bedürfnisse angepasst werden kann

� Wenn einen Konfigurationsoption nicht gesetzt wird, gilt für manche Optionen einen Standard Wert

� Wenn einen Konfigurationsoption falsch geschrieben wird, wird diese einfach ignoriert (es gibt keine Fehlermeldung)

Oracle DWH Konferenz Neuss - Migrating OWB to ODI15

19.03.2014

2014 © Trivadis

Migration Tool – Konfigurationsdatei

Der Konfigurationsdatei ist in unterschiedliche Gruppen unterteilt:

� OWB:� OWB_WORKSPACE_OWNER=<Workspace owner>� OWB_WORKSPACE_NAME=<Name OWB Workspace>� OWB_URL=<host:port:sid>

� ODI:� ODI_MASTER_USER=ODI� ODI_MASTER_URL=jdbc:oracle:thin:@<host:port:sid>� ODI_MASTER_DRIVER=oracle.jdbc.OracleDriver� ODI_USERNAME=SUPERVISOR� ODI_WORK_REPOSITORY_NAME=<Name Work Repository>

Oracle DWH Konferenz Neuss - Migrating OWB to ODI16

19.03.2014

2014 © Trivadis

Migration Tool – Konfigurationsdatei

� Migration Optionen (Optional):� MIGRATION_MODE=RUN� MIGRATION_OBJECTS=*� MIGRATION_REPORT_INCLUDE=ALL� MIGRATE_DEPENDENCIES=YES� STOP_ON_ERROR=FALSE� SPLIT_JOIN_FOR_ANSI_SYNTAX=TRUE� MIGRATE_UNBOUND_OPERATOR=TRUE� MIGRATION_LOG_FILE=/home/oracle/log/Migrate.log� FLUSH_BATCH_SIZE=50

Oracle DWH Konferenz Neuss - Migrating OWB to ODI17

19.03.2014

2014 © Trivadis

Migration OWB to ODI

1. Einführung

2. Warum migrieren?

3. Migration Tool

4. Voraussetzungen

5. Konfiguration

6. Ausführung und Einschränkungen

7. Planung

8. Fazit

18Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014

2014 © Trivadis

Migration Tool – Ausführung

� Ausführen einer Migration ist einfach:� Konfigurationsdatei vorbereiten� Starten von den Tool:

$ORACLE_HOME/owb/bin/unix/migration.sh <PW OWB> <PW Supervisor> <PW ODI User> /home/oracle/Config.txt

� Fortschritt der Migration kann in der Logdatei nachverfolgt werden (Einstellung der Detailierung möglich) z.B. in Linux: watch -n 5 tail Migrate.log

Oracle DWH Konferenz Neuss - Migrating OWB to ODI19

19.03.2014

2014 © Trivadis

Migration Tool – Einschränkungen

� Es gibt keine GUI �

� Nur ein 1 Workspace gleichzeitig

� Wenn ein Workspace oder Projekt nicht als Ganzes verarbeitet wird:� Für jede Ausführung gibt es doppelte Projekte, Modelle, Data Stores

� Nicht alle OWB Operatoren können migriert werden (siehe Doku):� Dimensions� Cubes

� Nicht alle OWB Konstrukte können (derzeit) übernommen werden:� Mappings ohne Datenfluss (z.B. Mappings welche eine Prozedur starten)� Einen Operator als Input für mehrere Ingroups in einem Join� Delete als Ziel Operation wird in «insert append» geändert� Mappings mit setting Row-based (Cursor Loops)

Oracle DWH Konferenz Neuss - Migrating OWB to ODI20

19.03.2014

2014 © Trivadis

Migration Tool – Offene Probleme in ODI!

� Siehe Offene Punkteliste im letzten Patchset

z.B. (Ausschnitt )

Oracle DWH Konferenz Neuss - Migrating OWB to ODI21

19.03.2014

2014 © Trivadis

Migration OWB to ODI

1. Einführung

2. Warum migrieren?

3. Migration Tool

4. Voraussetzungen

5. Konfiguration

6. Ausführung und Einschränkungen

7. Planung

8. Fazit

22Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014

2014 © Trivadis

Migration - Planung

� Es ist nicht einfach eine Migration zu planen

� Von Einfluss ist:� Anzahl Repositories, Workspaces und Projekte� Anzahl und Komplexität der Objekte innerhalb die Projekte� Verwendete OWB-Features

� Nicht alle Probleme werden erkannt:� Mapping ist erfolgreich migriert worden: keine Errors in Logdatei� Beim Validierung in ODI: verschiedene Errors können auftreten (z.B. mit pre/post Mapping Operators)

� Bestimmte Fehler können im Voraus schon angeschaut werden� Überprüfen in OWB Repositories (z.B. row-based mappings)� Einschätzen wieviel Zeit man braucht - Diese in OWB zu korrigieren- Diese in ODI zu korrigieren

Oracle DWH Konferenz Neuss - Migrating OWB to ODI23

19.03.2014

2014 © Trivadis

Migration – Vorgehensweise

� Mit einem Dry-Run anfangen, wenn möglich in eine andere Umgebung (VM oder DB)

� Feststellen ob es mehrere Fehler vom gleichen Typ gibt (Logdatei)

� Wenn möglich diese Fehler in OWB korrigieren:� Manuell � Tcl

� Ausführen der Migration� Identifizieren der Mappings welche nicht migriert worden sind (Errors)� Identifizieren der Mappings welche mit Warnings migriert worden sind

� Nachher� Manuell erstellen (oder generieren) der nicht migrierte Mappings� Validieren und testen der migrierte Mappings� Eventuelle Fehler beheben

Oracle DWH Konferenz Neuss - Migrating OWB to ODI24

19.03.2014

2014 © Trivadis

Fazit

� Migration Tool ist einfach zu verwenden

� Leider gibt es nur ein command-line Interface und keine GUI

� Einfache Mappings können ohne Probleme migriert werden

� Komplexe Mappings sollten überprüft werden, auch wenn im Log keine Problemen berichtet wurden

� Korrekturen im OWB (manuell oder mit Tcl) kann die Qualität und Anzahl der migrierten Mappings erhöhen

� Es gibt verschiedene Fehler in ODI. Bis diese in der nächste Patch-Release behoben sind, sollten Workarounds implementiert werden

� Es wird notwendig sein einzelne Mappings von Hand zu migrieren(neu erstellen) da nicht alle OWB Objekte unterstützt werden

Oracle DWH Konferenz Neuss - Migrating OWB to ODI25

19.03.2014

2014 © Trivadis

Weitere Informationen

Trivadis TechnoCircle Oracle Data Integrator 12c

www.trivadis.com

� 22.05. Stuttgart

� 03.06. Frankfurt

� 03.07. Düsseldorf / Hamburg

� 07.07. München

Weitere Information zur Veranstaltung am Trivadis Stand

Oracle DWH Konferenz Neuss - Migrating OWB to ODI26

19.03.2014