Andreas Siebe Microsoft GmbH Partner Group DTS - Überblick und Erweiterungen im Microsoft SQL...

Andreas SiebeMicrosoft GmbH

Partner Group

DTS - Überblick und Erweiterungen im

Microsoft SQL Server 2000

Folie 2 von 30

Agenda

Warum DTS Wo steht DTS heute DTS 2000 Features

Folie 3 von 30

Data Warehouse Prozeß

Design

Aufbau Analyse

Folie 4 von 30

Data Transformation Service

Ein Tool, um Daten zwischen beliebigen Datenquellen auszutauschen, zu transformieren und zu validieren

Folie 5 von 30

DTS Projektziel

Importieren Exportieren Transformieren

……Außerdem dient es als erweiterbares Außerdem dient es als erweiterbares Workflow / Jobexecutiuon Tool!Workflow / Jobexecutiuon Tool!

Mache es einfach, heterogene DatenMache es einfach, heterogene Datenmittels OLE DB und ODBC zu:mittels OLE DB und ODBC zu:

Folie 6 von 30

DTS, SQL Server 2000

Heute

• SQL Server 2000 Transformierbare Replikation

• Office 2000

• MSDE

• Visual Studio

• Interne MS Werkzeuge

MorgenMorgen Commerce Server 2000Commerce Server 2000 Host Integration Server 2000Host Integration Server 2000

Folie 7 von 30

DTS, SQL Server 7.0Was überzeugte

Assistenten Offene Architektur

• OLE DB

• COM

• „ActiveX Scripting“

„Workflow“ Geschwindigkeit

• „Bulk Insert“

• „Data Pump“ SQL Server

Metadaten/Datenherkunft

Folie 8 von 30

DTS in SQL 2000Ziele Kommen aus Benutzer Feedback Inkrementales Release – Fehler

beheben, Fehlendes hinzufügen

• Heterogene Daten / Interoperabilität

• Benutzbarkeit

• Verteilbarkeit

• Flexibilität

• Programmierbarkeit

• Geschwindigkeit

• Produktinformation

Folie 9 von 30

Heterogene Daten / Interoperabilität

OLE DB

• 2.5/2.6 Unterstützung

• Datentypen

• Unterstützung für hierarchische Datensatzgruppen

• Neue OLE DB Provider ( Exchange, Active Directory, …)

OLAP Integration

• „Cube Processing Task“

• „Data Mining Tasks“

Folie 10 von 30

Benutzbarkeit

Designer – Viele kleine Verbesserungen “Disconnected Edit” Neue Transformierbefehle

• Uppercase, LowerCase, TrimString, DateFormat, Read/Write File

Editieren von Transformationseigenschaften• Hinzufügen/Entfernen von Spalten in

Transformationen

• Umbenennen von Transformationen

DTSRunUI ActiveX Script Browser

Folie 11 von 30

Demo

BenutzbarkeitBenutzbarkeitBenutzbarkeitBenutzbarkeit

Folie 12 von 30

Verteilbarkeit

FTP Aufgabe Dynamische Eigenschaften

Aufgabe MSMQ Aufgabe Globale Variablen als

Befehlszeilenparameter Globale Variablen als

Quellparameter Laufzeit UDL-Bindung

Folie 13 von 30

Demo

VerteilbarkeitVerteilbarkeitVerteilbarkeitVerteilbarkeit

Folie 14 von 30

Flexibilität

Paketebene• Protokolltabellen in MSDB

•Status und Informationsanzeige für CDW

• Speichern von ADO Datensatzgruppen in globale Variable

Schritte• Option: Paket mit Fehler beenden

Exec SQL Task – Ergebnis globalen Variablen zuweisen

Execute Package Task

Folie 15 von 30

FlexibilitätDatenpumpe Aufgabe

Transformieren von Daten, „DDQ“, Parallele Datenpumpe

Neue Informationsstruktur Fehlerprotokoll

• 7.0 Format

• Fehlerzeilen (Quelle und/oder Ziel)

• Fehler Information

Phasen der Datenpumpe• Zugriff auf den Datenstrom an mehreren Stellen

• Szenarien: Erneute Zeilenverarbeitung, Aggregation, „Lookups“ im Speicher, Benutzerdefinierte Fehlerbehandlung, …

Folie 16 von 30

Was sind Phasen?

DTS hat in 7.0 nur Eine

• Zeilen-Transformation

• …sie war verbindlich Eine Quelle

• Daten / Metadaten Ein Ziel

• Optional beschreibbar innerhalb der Transfor-mation

0..N Transformationen

• N = Anzahl der Zielspalten

Folie 17 von 30

Post RowPost Row

Die Multiphasen Datenpumpe

RowRowX FormX FormRowRow

X FormX FormPre Pre

SourceSourcePre Pre

SourceSource

X Form X Form FehlerFehler

X Form X Form FehlerFehler

Batch Batch CompleteComplete

Batch Batch CompleteComplete

Pump Pump CompleteComplete

Pump Pump CompleteComplete

Post Post SourceSourcePost Post

SourceSourceInsert Insert ErfolgErfolgInsert Insert ErfolgErfolg

Insert Insert FehlerFehlerInsert Insert FehlerFehler

- TransformationTransformation

- Einmalige Ausführung

- Mehrmalige AusführungMehrmalige Ausführung

Folie 18 von 30

Post RowPost Row

Die Multiphasen Datenpumpe

RowRowX FormX Form

Pre Pre SourceSource

X Form X Form FehlerFehler

Batch Batch CompleteComplete

Pump Pump CompleteComplete

Post Post SourceSourceInsert Insert

ErfolgErfolg

Insert Insert FehlerFehler

C++ oder ActiveX Script X FormationenC++ oder ActiveX Script X Formationen

Folie 19 von 30

Demo

Die Multiphasen PumpeDie Multiphasen PumpeDie Multiphasen PumpeDie Multiphasen Pumpe

Folie 20 von 30

Programmierbarkeit

SpeichernUnter ...VBParallele Datenpumpe

• Zugriff nur vom Code herADO Datensatzgruppe als globale

Variable Multiphasen DatenpumpeCustom Tasks

• Protokoll in MSDBDie meisten Objekte haben ein V2-

InterfaceÜberarbeitetes Objektmodell

Folie 21 von 30

Programmierbarkeit

Neu bei DTS 2000 – Einstellungen auf Designer-Ebene

• Caching

•OLE DB Provider

•Active Script Engines

• Custom Transforms

•C++ Only

•ATL Vorlagen

• JIT Debugging

Folie 22 von 30

Demo

ProgrammierenProgrammierenProgrammierenProgrammieren

Folie 23 von 30

Geschwindigkeit

Automatischer Gewinn

• MDAC 2.5/2.6

• Custom Transforms sind schneller als in Script erstellte

• Repository Version 3

Geringerer Speicherbedarf

• Dialoge

• Designer

• Assistenten

„Startup“ Zeit – „Caching“ hinzugefügt

Folie 24 von 30

Performance-Transform Data Task Options

1

Lo

ad O

pti

on

s

1 Million Rows mixed Data

Parallelism

Batch 10k + TableLock

Batch 10,000

Batch 100,000

DB Options

Default

Folie 25 von 30

PerformanceTransform Data Task vs DDQ

1

Lo

ad O

pti

on

s

1 Million rows mixed data

Batch 10k + TableLock

DDQ

Folie 26 von 30

PerformanceTransformation Options

1

Tra

nsf

orm

atio

n O

pti

on

s

1 Million rows mixed data

T-SQL

Custom Transform

Ax Upper Case

Folie 27 von 30

Produktinformationen

Eigenständige Gruppe für die Erstellung von Produktinformationen

Neue Programmierunterlagen

• Beispiele in VB und VC

Szenarienbeispiele

• “Wie implementiere ich Updates in DTS, es funktionieren nur Inserts”

Mehrere und bessere Scriptingbeispiele

• VB Script und Jscript

DTS Vorlagen( .dtt )

Folie 28 von 30

Fragen!?

Uff...Uff...

Folie 29 von 30

Weitere Infos

• msnews.microsoft.com

• public.microsoft.sqlserver.dts

• public.microsoft.sqlserver.datawarehouse

• public.microsoft.sqlserver.programming

• http://www.microsoft.com/sql• http://msdn.microsoft.com/sqlserver/Default.asp

• http://msdn.microsoft.com/library/default.asp?URL=/library/techart/dts_overview.htm

Folie 30 von 30

Empower peopleEmpower people

through great through great softwaresoftware

any time, any place,any time, any place,

and on any deviceand on any device