Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration –...

Pentaho Data Integration –Klebstoff und Schweizer Taschenmesser

Jens Junker – IT Integration

26.03.2019

2 © VNG 2019

Gliederung

1. VNG Handel & Vertrieb

2. Gashandel

3. Pentaho DI bei VNG H&V

4. Regulatory Reporting

5. Valuation Archivierung

6. Ausblick

1. VNG Handel & Vertrieb

4 © VNG 2019

Geschichte

- 1. Juli 1958 Gründung Technische Leitung Ferngas (TLFG)

- 29. Juni 1990 Gründung VNG AG

- April 2016 EnBW Mehrheitseigner

- Q2/2017 VNG AG vollkonsolidiertes Unternehmen

- April 2018 Ausgliederung VNG Handel & Vertrieb GmbH

5 © VNG 2019

VNG Gruppe

2. Gashandel

7 © VNG 2019

VNG Handel & Vertrieb GmbH – Märkte Europa

Gaspool

NCG

NBP

ZEE

TTF

ZTP

TRF

PSV

CEGH

8 © VNG 2019

VNG Handel & Vertrieb GmbH – Deutschland

9 © VNG 2019

Produkte

10 © VNG 2019

Trading

11 © VNG 2019

Handelstag

Handel (08:30 - 18:00 Uhr)Nominierung(untertätig zur Handelszeit)

Export Forecast (21:00 -22:00 Uhr)

EH Valuation (12:00 und 16:00 Uhr)

Import Marktpreise (23:00 – 07:30 Uhr)

Valuations (03:00 – 05:30 Uhr)

3. Pentaho DI bei VNG H&V

15 © VNG 2019

Pentaho DI bei VNG H&V

- 2011 Auswahl ETL Tool(Pentaho, SAS, Talend und Informatica in Auswahl)

- 2012 Einsatz Pentaho DI

- löste OWB und PowerMart ab

- MicroStrategy BI Tool

- 2014 Einführung Inubit

Aktuell:

- Version 8.2.0.2-491 Enterprise

- Enterprise Repository auf Oracle DB

- Windows Server 2016

16 © VNG 2019

Integration Pentaho

- Integration von Pentaho über ClassEvents und Pentaho Webservices

17 © VNG 2019

Integration Pentaho

4. Regulatory Reporting

19 © VNG 2019

Regulatory Reporting

- EMIR - Regulierung des außerbörslichen Derivatehandels

- REMIT - Überwachung des Strom und Gas-Großhandels

- UTI Generierung (EMIR)

- Report Austausch Börse -> eTM (REMIT)

20 © VNG 2019

UTI Generator

- Generierung der UTI (Unique Transaction Identifier) aus Feldern eines Reports der Clearing Bank

- Automatischer Prozess (täglich) von Abruf des Reports, Generierung der UTI, schreiben ins ETRM System Allegro und Benachrichtigung des Fachbereichs

ECC MIC Code

UTI Type Indicator

Trade Date

Product ID

Transaction ID Number

Transaction ID Suffix Number Order ID Buy

CodeClearing Leg Indicator UTI

000XECC000 E 2016100

6 G3BQ 00000D54Z 0 000003IKU2EWY S T 000XECC000E20161006G3BQ00000D54Z0000003IKU2EWYST

21 © VNG 2019

UTI Generator

22 © VNG 2019

UTI Generator

23 © VNG 2019

UTI Generator

24 © VNG 2019

Schnittstelle Börse -> eTM

- Verschlüsselte XML von Börse (FTPS) laden

- XML entschlüsseln

- SOAP Request generieren

- Versand an Webservice

25 © VNG 2019

Schnittstelle Börse -> eTM

26 © VNG 2019

Schnittstelle Börse -> eTM

5. Valuation Archivierung

28 © VNG 2019

Valuation Archivierung

- 2014 Allegro Einführung

- Wachsende Daten durch Valuations

- Eine Valuation ca. 5,3 Millionen Rows

- Pro Tag 7,6 Mio Zeilen à 125 Spalten

- Vorgehen:

- 1. Archivierung via DB Link

- 2. Partitioning

- 3. Archivierung mit Komprimierung und Dateiablage

März AprilFebruar + 12 Jahre- 1 Jahr

monatlich täglich täglich täglich monatlich

Valuation Granularität

29 © VNG 2019

Valuation Archivierung

30 © VNG 2019

Valuation Archivierung

31 © VNG 2019

Valuation Archivierung

32 © VNG 2019

Valuation Archivierung

33 © VNG 2019

Valuation Archivierung

Produktion Demo

Zeilen (Mio) 5,25 0,4

DB Tabelle (MB) 3228 264

ZIP (MB) 282 50

XML (MB) 9319 712

Kompressionsrate (%) 91,26 81,06

6. Ausblick

35 © VNG 2019

Ausblick

- Integration von NTLM Authentifizierung

- Integration von Python Skripten

- Konsolidierung IT-Landschaft (Pentaho Instanzen)

- Azure Anbindung/Interaktion (MS Dynamics)

- Pentaho als Webservice Endpoint (PDI-17855)

36 © VNG 2019

37 © VNG 2019

38 © VNG 2019

Braunstraße 704347 Leipzigwww.vng-handel.de

VNG Handel & Vertrieb GmbH

Jens Junker

+49 341 443-1231

jens.junker@vng-handel.de

Ansprechpartner

Vielen Dank!