ODI 11g Internal Training - DOAG Deutsche ORACLE ... · Was ist neu in ODI-EE 11g? Umfassende Lösung jenseits traditionellem ETL •integriert in WebLogic •Hochverfügbarkeit,

<Insert Picture Here>

Regional Freiburg/Südbaden

Oracle Data Integrator 11gR1 – Überblick

Sylvie Lübeck Principal Sales Consultant

BU ST Middleware Tech München

Intercall – Dial-InIntercal: 069/222216106

Conference Code: 5616678

Security Code: 123456

26. Oktober 2010

http://www.doag.org/

Für Fragen bitte mit #6 Stummschaltung aufheben – Danke!


Daten Integration

Data Integration


MDMApplications

SOAPlatforms

OracleApplications

BusinessIntelligence

Activity Monitoring

Custom Applications

Oracle GoldenGate

Log-based CDC

Bi-directional Replication

Real-time Data

SOA Abstraction Layer

Service BusProcess Manager Data Services

Oracle Data Integrator

ELT/ETL

Data Transformation

Bulk Data Movement

OLTPSystem

Flat FilesData Warehouse/Data Mart

OLAP Cube Web 2.0 Web and Event Services, SOA

Storage

Data Verification

Oracle Data Quality

Data Profiling

Data Parsing

Data Cleansing

Data Federation

Data Lineage Match and Merge

Umfassende Daten Integrations Lösung

Datenintegration bei Oracle

Oracle Data Integrator Enterprise EditionOptimiertes E-LT für bessere Performance, Produktivität und geringere TCO

Beste Performance,

Skalierbarkeit, Verfügbarkeit

verkürzte Entwicklung führt zu

einer Verringerung der TCO

optimiertes E-LT

kürzere Amortisierungszeit durch deklaratives Design

Data Warehouse

Planungs System

OLTP DB

Standard

Anwendungen

Legacy Systeme

heterogen, offen und

Standard-basierend

Einsatzbereiche für Oracle GoldenGate

Business Intelligence Consolidation / Migration

High Availability Application Integration

• Real Time Data Warehouse

• Need fresh data 24X7?

• Mission-critical OLTP?

• Want to get double duty from DW

investment?

• Operational Reporting

• Need operational visibility in real

time?

• Can’t impact performance of OLTP?

• Zero Downtime Migration

• Want to get on lower cost standard

infrastructure?

• Can’t afford downtime?

• Data Move & Improve

• Does your data cost $$ or make $$?

• Why not fix data assets as well as

HW/SW assets during a move?

• Data Integration for SOA

• Large flat files require transformation?

• Direct to database connections for

source and/or target?

• Batch processes?

• Data Synchronization

• Require very low latencies with very

high transaction throughput?

• Require active-active data sync?

• DR / Data Protection

• Will your data be available when…?

• Is your standby database sitting idle?

• Zero Downtime Operations

• Is planned downtime at least as

costly as unplanned downtime?

• Need continual online maintenance?

• Ever expect to do another HW, OS,

DB upgrade?

ODI & GoldenGate

GoldenGate

Active Data Guard

GoldenGate

ODI, Data Quality & Profiling

GoldenGate

ODI, SOASuite

GoldenGate



ODI 11gR1 Themen

ODI 11gR1 Themes

Was ist neu in ODI-EE 11g?Umfassende Lösung jenseits traditionellem ETL

•integriert in WebLogic

•Hochverfügbarkeit, Skalierbarkeit, Sicherheit

Enterprise-Scale Deployment Architecture

•vereinfachtes Bereitstellen mit WLS Templates

•vereinheitlicht Administration und Monitoring mit dem Oracle Enterprise Manager und der ODI Console

•Verbessertes Überwachen der Session und des Fehler-Managements

Simple Deployment and Administration

•integriert mit dem JDeveloper durch neuen Interface Editor

•Java API für programmatische Interaktion.

•Weiterentwicklung der ODI Plattform für verbesserte ELT Produktivität und Performance.

Enhanced Productivity & Performances

•Oracle Applications und SAP

•Oracle EPM & BI Lösungen

•Oracle DB Multi-statements, GoldenGate CDC und BIEE ADF-VOs

Extended Connectivity



Produkt-Architektur

Product Architecture

9

Desktop

Repositories

Produkt Architekturfür unternehmensweiten Einsatz

ODI Studio

Operator

Designer

Topology

Security

ODI Master

Repository ODI Work

Repository

Sources and Targets

Legacy ApplicationsERP/CRM/PLM/SCM

Files / XML DBMS DW / BI / EPM

JVM

Java EE

Application

ODI SDK

WebLogic 11g / Application Server

Data Sources Connection Pool

Web Service Container

Public WSData

Services

FMW Console

ODI Plug-in

Servlet Container

ODI Console

Java EE

Application

ODI SDK

Runtime WS

Java EE

Agent

JVM

Runtime WS

Standalone

Agent

Produkt Architektur für unternehmensweiten Einsatz

• JEE Skalierbarkeit & Hochverfügbarkeit• WLS Clustering & Load Balancing

• Datasources, Connection Pools

• Connection Retry (RAC)

• Standalone Hochverfügbarkeit• OPMN unterstützt Agent HA

• Built-in Load Balancing

• Connection Retry (RAC)

• Integration mit Corporate Security• externe DB Passwörter in Credential Store (JPS)

• externe Authentisierung in Identity Store (SSO)

JEE Agent in Cluster Configuration

11



Einfaches Deployment

Vereinheitlichte Administration

Deploy and Admin

vereinfachtes Deployment

• WLS Integration• ODI Console

• EM Plug-in

• Public Web Services

• vorkonfigurierter Java EE Agent

• WLS Deployment Funktionen• Agent Template Generierung

• Datasource Deployment

14

Beispiel: Agent Template Generierung

vereinheitlicht Administration und Monitoringintegrierte Betriebsüberwachung

Oracle Enterprise Manager Administration und Management in einem

Error Management (präziseFehlermeldungen, erweiterteBenachrichtigungen)

Oracle Data Integrator Console zumAdministrieren von Laufzeit-Operationen, zum Navigieren durch Laufzeit- und Entwicklungs-Prozesse sowie zumNachverfolgen von fehlerhaften Datensätze.

erweiterte Session Kontrolle (Stop immediate, stale sessions)



Verbesserungen für mehr

Produktivität &

Performance

Architecture

Verbesserte ProduktivitätImproves ease-of-use, schnellere Entwicklung

Eine durchgängige Oracle Data Integrator Studio IDE basierend auf demJDeveloper

Interface Editor nutzt diagramming framework und beinhaltet Auto fixing.

Quick-Edit – ermöglicht schnelleresInterface Design und Updates von Massendaten

neu: Code Simulation, Scenario NamensKonventionen, Länge des Objektnamen, import Bericht.

ODI Java API (SDK) ermöglichtAutomatisierung von Aktionen zur Laufzeitund Entwicklungszeit.

ODI Studio

18

Navigator statteinzelnerProgrammefür jedenFunktionsbereich

ODI Operationen integriert in IDE: Menu, Gallery, etc.

Intuitive multi-Editor Unterstützungclose all/save all, docking, etc.

Property Inspectors, tTumbnailsund IDE Windows an die jeweiligen Funktionen angepaßt

Akkordeonfür jedenUnter-Bereich.

Popup Menüsund Marker.

Interface Editor nutztDiagramm Framework.

Interface Editor / Quick Edit

19

gleiches Interfacezwei Sichten

ODI PlattformTransformation & Performance

Partitionierung

• Im Modell deklariert/ reverse-engineered

• Verwendet für Source/Targets

Lookups

• Lookup Wizard + Diagramm Artefakt

Left-outer joins oder Nested -select Syntax

Set-Based Operatoren (Union, Intersect, Minus, etc.)

• Merge: zusammenfügen mehrerer Datenflüsse (datasets) in ein Target.

• Jedes Dataset ist ähnlich einem 10g Interface.

Derived-selects in temporären Interfaces

• Temporäre Interfaces speichern (persistieren) keine Daten.

• anpassbare Sub-selects via KMs

Temporäre Indizes

• optimal eJoin/Filter Ausführung

• Index-Typen und Syntax sind Technologie-spezifisch

Native Unterstützung von Sequenzen in der Datenbank

Interface Editor

21

Diagramm Zoom und Autolayout.

Datasetsmanagement

Lookupwizard

Fehler und Autofix.

Lookup

Datasetswerden hierangezeigt.

Properties inspector zurAuswahl.

Spalten – sortierbarund selektierbar.

DnD from sources to mapping.

Thumbnail: bird’s eye view des Diagramms.



Neu unterstützte

Anbindungen

Extended Connectivity

Neu unterstützte AnbindungenMehrwert für die vorhandene IT, schnellere Implementierung

• Application Adapters für Oracle

E-Business Suite, PeopleSoft,

Siebel, JD Edwards, SAP ERP und

SAP BW.

• Oracle OLAP, Oracle CDC

• Hyperion Planning, Financial

Management und Essbase

• Real-Time CDC auf Basis von

GoldenGate

• Optimierung für Teradata und

Multi-Statements

• Oracle DB Multi-Table Insert

• ADF-View Objekte via OBI-EE

OLTP, OLAP Sources

Application Sources

Legacy Sources

Oracle Data Integrator

Enterprise Edition

KMs

KMs

KMs

Traditionelles ETL + CDC

• Komplexes Erfassen der Änderungen

auf OLTP Systemen unter Verwendung

spezieller Adaptoren

• Transformation mit ETL-Engine auf

teuren Mid-Tier Servern

• Laden von Massendaten ins Data

Warehouse mit grossen Batch-Jobs

(Nacht/Tag)

• Kontinuierliches Laden aus dem

operationalen Systemen

• Einfaches Erfassen der Änderungen

• schmale Mid-Tier mit Transformation

auf der Datenbank Plattform (target)

• Mini-batches über den Tag verteilt

oder Massen-Verarbeitung in der

Nacht

ODI + Oracle GoldenGate

Staging

Trickle

Lookup

Data

Load

Extract

Lookup

Data

Xform Xform Bulk

GG

+ O

DI

GG

+ O

DI

Heterogeneous

Echtzeit CDC Integration Beste Lösung für Echtzeit auf Basis von Oracle GoldenGate


Fragen ?


26

DEMO – ODI11g

Wo finde ich mehr Infos?Links & Veranstaltungen zum Thema

• Oracle Data Integration auf OTN• http://www.oracle.com/technetwork/middleware/data-

integration/overview/index.html

• ODI auf der DOAG• Demo Kino: Die Akte X - XML mit ODI integrieren-einlesen,

bearbeiten & generieren am 18. November um 09:00-09:45 Uhr

• OPN Training zum Thema ODI mit HandsOn• 25. November – München (bei Azlan)

http://www.oracle.com/technetwork/middleware/data-integration/overview/index.html




Fragen ?

Documents

ODI 11g Internal Training - DOAG Deutsche ORACLE ... · Was ist neu in ODI-EE 11g? Umfassende Lösung jenseits traditionellem ETL •integriert in WebLogic •Hochverfügbarkeit,