BTW 2007, Aachen, 09.03.2007
Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in
datenzentrischen Anwendungsszenarien
Matthias Böhm, Jürgen Bittner
SQL GmbH DresdenFranklinstraße 25a
01069 Dresden
Dirk Habich, Wolfgang Lehner
TU DresdenNöthnitzer Str. 4601187 Dresden
Uwe Wloka
HTW Dresden (FH)Friedrich-List-Platz 1
01069 Dresden
Die Definition des Message Transformation Model (MTM) und dessen Realisierung in TransConnect®
2 / 34
Gliederung
• Einleitung und Motivation
• Message Transformation Model
• Integrationsplattform TransConnect®
• Zusammenfassung und Ausblick
3 / 34
Gliederung
• Einleitung und Motivation
• Message Transformation Model
• Integrationsplattform TransConnect®
• Zusammenfassung und Ausblick
4 / 34
Einleitung und Motivation
Ausgangssituation
• Prozessintegration:WSBPEL hat sich mittlerweile weitestgehend
durchgesetzt
• Anwendungsintegration: Kein anerkanntes Modell / Standard für die
Beschreibung datenintensiver Prozesse
• Adaption von Prozessbeschreibungssprachen der Prozessintegration in der Anwendungs- und Informations-integration
– Message Broker
– EAI-Server
– ETL-Tools
5 / 34
Einleitung und Motivation
Motivation
• Sowohl in Workflow- als auch in ETL-Beschreibungen sind Aspekte des Kontrollflusses und des Datenflusses abzubilden
• Workflow-Systeme: Konzentration auf Kontrollfluss
• ETL-Tools: Konzentration auf Datenfluss
EAI: Notwendigkeit der Kombination der Vorteile beider Verarbeitungsmodelle
6 / 34
Einleitung und Motivation
Motivation zur Weiterentwicklung der Integrationsplattform TransConnect®
• Konzeptuelles Modell zur Abbildung von Integrationsprozessen– Flexibilität bei der Modellierung von Integrationsszenarien– Datenunabhängigkeit– Unabhängigkeit von konkreten Prozessbeschreibungssprachen
• Integration einer Prozesssteuerung zur Realisierung des konzeptuellen Modells
7 / 34
Einleitung und Motivation
Beispielszenario „ETL-Prozess“ – Teil 1
8 / 34
Gliederung
• Einleitung und Motivation
• Message Transformation Model (MTM)
• Integrationsplattform TransConnect®
• Zusammenfassung und Ausblick
9 / 34
Message Transformation Model (MTM)
Anforderungen
• Funktionale Anforderungen (Auswahl)– beliebig viele Quell- und Zielsysteme– synchrones und asynchrones Verarbeitungsmodell– Content Based Routing durch eine geeignete Anfragesprache– Abstraktion von konkreten Systemtypen
• Nicht-Funktionale Anforderungen (Auswahl)– Effiziente Verarbeitung
– Skalierbare Verarbeitung
– Transaktionales Verhalten
10 / 34
Message Transformation Model (MTM)
Einordnung des Modells in eine adaptierte 3-Schichten-Architektur
11 / 34
Message Transformation Model (MTM)
MTM Nachrichtenmodell
12 / 34
Message Transformation Model (MTM)
MTM Nachrichtenmodell
• Externe Ebene
13 / 34
Message Transformation Model (MTM)
MTM Nachrichtenmodell
• Konzeptuelle Ebene
Angelehnt an „Molekül-Atom-Datenmodell (MAD)“ [HMMS87]
14 / 34
Message Transformation Model (MTM)
MTM Nachrichtenmodell
• Interne Ebene: Attributorientierter, feingranularer Ansatz
15 / 34
Message Transformation Model (MTM)
MTM Nachrichtenmodell
• Interne Ebene: Attributorientierter, grobgranularer Ansatz
16 / 34
Message Transformation Model (MTM)
MTM Prozessmodell
17 / 34
Message Transformation Model (MTM)
MTM Prozessmodell
• Konzeptuelle Ebene
• Entwurfsdimensionen– Strukturelle Art– Funktionale Orientierung– Interne Repräsentation
18 / 34
Message Transformation Model (MTM)
MTM Prozessmodell
• Konzeptuelle Ebene – Strukturelle Art
19 / 34
Message Transformation Model (MTM)
MTM Prozessmodell
• Konzeptuelle Ebene – Funktionale Orientierung
20 / 34
Message Transformation Model (MTM)
MTM Prozessmodell
• Konzeptuelle Ebene – Interne Repräsentation
21 / 34
Message Transformation Model (MTM)
MTM Prozessmodell
• Konzeptuelle Ebene
Angelehnt an „JBoss Graph Oriented Programming“ [JGOP06]
22 / 34
Message Transformation Model (MTM)
MTM Prozessmodell
• Konzeptuelle Ebene – Anforderungsorientierte Operatoren
23 / 34
Message Transformation Model (MTM)
Beispielszenario „ETL-Prozess“ – Teil 2
• Differenzierung in Teilprozesse
24 / 34
Message Transformation Model (MTM)
Beispielszenario „ETL-Prozess“ – Teil 2
• Beispielprozess ‘es_process1‘ (WSBPEL Process)
<process xmlns="">
<!--declarations-->
<!– process description-->
</process>
Externe Ebene
25 / 34
Message Transformation Model (MTM)
Beispielszenario „ETL-Prozess“ – Teil 2
• Beispielprozess ‘es_process1‘ (MTM ProzessType)
KonzeptuelleEbene
26 / 34
Message Transformation Model (MTM)
Beispielszenario „ETL-Prozess“ – Teil 2
• Beispielprozess ‘es_process1‘ (Java ProcessPlan)
public class es_process1 extends ProcessPlan
{
private InternalMessage msg1 = null;
private InternalMessage msg2 = null;
@Override
protected InternalMessage executeNode(InternalMessage input) throws MTMException
{
try
{
Invoke node1 = new Invoke("sap_mq","DEQUEUE",AService.OTYPE_RECEIVE);
node1.setIDs(getPTID(), getPID(), getNID());
msg1 = node1.execute( msg3 );
}
catch( MTMSignalException mse )
{
/*signal handling*/
}
/*...*/
}
}
Interne Ebene
27 / 34
Gliederung
• Einleitung und Motivation
• Message Transformation Model (MTM)
• Integrationsplattform TransConnect®
• Zusammenfassung und Ausblick
28 / 34
Integrationsplattform TransConnect®
Architekturentwurf TransConnect
29 / 34
Integrationsplattform TransConnect®
Entwurf TransConnect Server
30 / 34
Integrationsplattform TransConnect®
WFPE - ProcessParser
31 / 34
Gliederung
• Einleitung und Motivation
• Message Transformation Model (MTM)
• Integrationsplattform TransConnect®
• Zusammenfassung und Ausblick
32 / 34
Zusammenfassung und Ausblick
Ausgangssituation• Kein Modell / Standard für Anwendungsintegration• Notwendigkeit der Kombination der Vorteilen von Workflow-Systemen
und ETL-Tools• Notwendigkeit der Beschreibung von Prozessen der
Anwendungsintegration– Kontrollfluss
– Datenfluss
– Interaktion mit externen Systemen
• Erzeugung effizient ausführbarer Prozesspläne
Lösungsansatz• Externe Ebene: Standardisierte Prozessbeschreibungssprachen• Konzeptuelle Ebene: Definition Message Transformation Model• Interne Ebene: Kompilierte Prozesspläne
33 / 34
Zusammenfassung und Ausblick
Ergebnisse• Definition des Message Transformation Model (MTM)
– Nachrichtenmodell– Prozessmodell
• Beschreibung des MTM mit WSBPEL– Einfaches Mapping der interaktionsorientierten Operatoren– Einfaches Mapping der kontrollflussorientierten Operatoren– Umfassende Erweiterung der datenflussorientierten Operatoren
(Einbettung in <extensionActivity>)
• Erweiterung von TransConnect– Nachweis der Praktikabilität
Ausblick• Optimierung von Integrationsprozessen
– Perspektive 1: Systeminterne Prozessoptimierung– Perspektive 2: Systemübergreifende Prozessoptimierung
BTW 2007, Aachen, 09.03.2007
Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in
datenzentrischen Anwendungsszenarien
Matthias Böhm, Jürgen Bittner
SQL GmbH DresdenFranklinstraße 25a
01069 Dresden
Dirk Habich, Wolfgang Lehner
TU DresdenNöthnitzer Str. 4601187 Dresden
Uwe Wloka
HTW Dresden (FH)Friedrich-List-Platz 1
01069 Dresden
Die Definition des Message Transformation Model (MTM) und dessen Realisierung in TransConnect®