Agilität in der BI Praxis

5. März 2010

Peter Kühni

Lead Architect Business Intelligence

Swisscom AG

peter.kuehni@swisscom.com

Inhalt

• BI/DWH in der Swisscom

• Warum muss BI agil werden?

• Wie begegnet Swisscom den agilen Herausforderungen?

• Prüfstein: „Herztransplantation“ (neues konvergentes CRM System)

• Ausblick: Wohin geht die Reise?

BI/DWH in der Swisscom

BI / DWH in der Swisscom

• Klares Commitment zu einem zentralen Enterprise Data Warehouse

• Zentrale BI Organisation (1/3 in der Technik, 2/3 im Business verankert) erbringt BI Services für Marketing, Finance und ProductDevelopment

• BI ist für Swisscom essentiell, um im Massenmarkt dem Anspruch bestmöglicher Servicequalität zu entsprechen

• Swisscom steckt inmitten einer grossen IT Transformation: Folge des Swisscom internen Mergers und 2008 und der Ausrichtung auf neue Technlogien/Netze (Glasfaser, IP basierende Netze) èkontinuierlicher Änderungsbedarf an BI/DWH

Warum muss BI agil werden?

Warum muss BI agil werden?

Änderungsspirale dreht immer schneller• Änderungen werden immer häufiger

– Marktbewegungen in immer kürzen Zyklen– IT Transformation: ständig neue Hausaufgaben

• Time to market wird immer kürzer – Änderungen müssen in immer kürzerer Zeit umgesetzt werden

Folgende erschwerdende Faktoren müssen berücksichtigt werden:• Qualitätsansprüche steigen (geschäftskritische Anwendungen,

operative Aufgaben)• Bedarf nach Integration zur Überwindung der IT Heterogenität steigt• Geld/Personal für Anpassungen wird immer knapper

Wie begegnet Swisscom den agilen Herausforderungen?

BI Agilität durch Architektur und Organisation

Architektur auf Effizienz und Anpassungsfähigkeit ausrichten

• Weniger ist mehr– Architektur so schlank wie möglich werden– Redundanzen in Daten und Funktionen reduzieren

• Gleiches immer gleich machen– Standardisierung in allen Bereichen einführen und weitertreiben– Industrialisierung maximieren

Organisation optimieren• Motivierte, BI affine Menschen einsetzen (Inhaltswissen ständig

pushen)• Effizientes Deliverymodell optimiert auf regelmässige Rollouts und

minimalen Overhead

Slim BI Architecture

ArchitekturprinzipienBusiness Mehrwert ist der zentrale Fokus• Business Prozesse und Quellsysteme werden vor der DWH Integration systematisch

analysiert• Klassische Analytik und moderne BI Applikationen nutzen die integrierte Datenbasis• Hohe Datenintegrationsqualität

Enterprise Data Warehouse Vision• Zentraler DWH Ansatz (single source of truth) ermöglicht globale Analyse und Steuerung

von Swisscom für eine Vielzahl von Benutzer und Anwendungen• Eine Datenwahrheit für das ganze Unternehmen• Wahrheit aus den Quellen wird nicht verändert – DWH Nutzung für analytische und

operative Anwendung• Geringe Betriebskosten

Weniger ist mehr• So wenig Daten, wie möglich redundant halten • So wenig physische Data Marts wie möglich• So wenig Architekturschichten wird möglich• So wenig ETL Code wie möglich• So wenig unterschiedliche Tools wie möglich• Daten so fein granular wie möglich

Robust und betreibbar• Hoher Industrialisierungsgrad (normale und aussergewöhnliche Situationen werden

automatisch adressiert)• Datenqualitätsframework mit Feedbackloop (operative Systeme, Business)

Designziel „weniger ist mehr“Normalisiertes Datenmodell (3NF)• Normalisiertes Datenmodell schafft Flexibilität und minimiert Änderungen• Eingekauftes Telekommunikations BI Datenmodell reduziert als rasch

nutzbarer Baukasten die Einführungszeit

Direkte Nutzung der EDW Schicht• Nutzer greifen direkt auf das 3NF Modell zu• Single Source of the Truth lässt sich einfacher implementieren• Time to market wird optimiert

Usability durch Business View Layer• Ein weitgehend logischer Layer (Views) vereinfacht die Nutzung des DWH

Modells (Hierarchiedenormalisierung, Snapshot support, Join elimination)• Bei Performanceproblemen kann eine Materialisierung transparent für den

Enduser eingeführt werden

Data Marts minimieren• Data Marts werden nur dann materialisiert, wenn komplexe, häufig genutzte

Businesslogik erforderlich ist

Designziel „weniger ist mehr“

Aggregate minimieren, Maintenance reduzieren• Sowenig Aggregationen wie möglich bauen• Nur Datenbankmittel (AJI im Teradata Fall) einsetzen

Keine künstichen Schlüssel (surrogate keys)• Combined Keys (Source Key || Source System) einsetzen• Reduziert die Entwicklungszeit und die ETL Komplexität

DWH Semantik unabhängig von den Loads• Business Mapping kann jederzeit erfolgen, auch rückwirkend• Keine Patches aufgrund fehlender Business Mappings erforderlich

ETL Tool als Standard definieren und nutzen• ETL Tool standardisiert für alle Lade und Transformationsaufgaben

einsetzen• ELT (Pushdown) Funktionalität reduziert Komplexität und Laufzeit

SourceSystems Financial Intelligence

CustomerIntelligence

ProcessIntelligence Network & IT Intelligence

DataExtraction

Staging Area

Data Transformation

Enterprise DWH

Data Mart /Analytical Application

Data Mining & Advanced Analytics

AnalyticsPresentation

Data Analysis & Reporting

BI Architektur Anfang 2009

SAP INCA Portal (Sharepoint)

NeMo

Teradata

BW

DM

InformaticaPowerCenter

OraWB

Teradata

MSI

OracleSAS

Cognos SAS

SAS SPSS Clementine

SAS DI

BO

SAP

BI

FX

SAP

BI

MC

SAP

BI

SL

SAP SAP

FX

DW

PPM

DW

CUC

DW

Scripts

Fokus 2009

- Konsolidierung SAP BI

- Konvergenter Kunde, konvergente Call Center Analytics

Essbase

SourceSystems Financial Intelligence

CustomerIntelligence

ProcessIntelligence Network & IT Intelligence

DataExtraction

Staging Area

Data Transformation

Enterprise DWH

Data Mart /Analytical Application

Data Mining & Advanced Analytics

AnalyticsPresentation

Data Analysis & Reporting

BI Architektur Anfang 2010

SAPPortal

INCA Portal (Sharepoint)

SDWTeradata

FX-RetailerDWHOracle

BW CRM DM

OracleInformatica

PowerCenter Oracle WB

Teradata

MSI

OracleSAS

Cognos

SAS SPSS Clementine

SAS DI

SAP BI

Fokus 2010

- Konvergenz Fixnet/Mobile

- Konsolidierung Frontroom

Essbase SAS

SourceSystems Financial Intelligence

CustomerIntelligence

ProcessIntelligence Network & IT Intelligence

DataExtraction

Staging Area

Data Transformation

Enterprise DWH

Data Mart /Analytical Application

Data Mining & Advanced Analytics

AnalyticsPresentation

Data Analysis & Reporting

Zielarchitektur (2011)

SAP BI

Oracle Essbase

One BI Portal

SDWTeradata

Informatica PowerCenter

Teradata

Microstrategy

SAS oder SPSS

Effiziente BI Delivery Organisation

Starkes BI Anforderungsmgm• Starke Verzahnung im Business • Präzise Beschreibung der Business Anforderungen erstellen

Release- statt Projektorientierung• Fabrik kann unterschiedlich grosse Workitems bewältigen• Kontinuierliche, planbare Auslieferung von neuer Funktionalität

Minimierung der Overheadfunktionen• Führungsfunktionen mit Architektenprofilen besetzen• Steuerungsoverhead konsequent reduzieren• Externes Sourcing vereinfachen

BI als E2E Deliveryprozess leben• Grenzen Front/Backend, Solution Architekt/Entwickler aufheben• Übergreifende Funktionen wie Programm Mgt und E2E Architektur als

zentralen Service konzipieren

Agilität bewahren• Sprint Team schafft die nötige Agilität für kurzfristige hochprioritäre Aufgaben

Organisationsprinzipien

Delivery Modell – Übersicht

Release Team 2

Sprint Team 1

Releaseto Prod

Releaseto Prod

Releaseto Prod

Releaseto Prod

Releaseto Prod

Releaseto Prod

Ready for Business 

Acceptance

Ready for Business 

Acceptance

Ready for Business 

Acceptance

Ready for Business 

Acceptance

Ready for Business 

Acceptance

Ready for Business 

Acceptance

BI P

rogr

amm

BI G

over

nan

ce ﴾E

2E﴿

BI Operations &  2nd Level Support

3rd Level Support , Hotfixes &  Daily Business Topics ﴾assigned to topic owner based on component  list﴿

BI R

equ

irem

ents

 En

gin

eeri

ng

Support ing Processes ﴾Supplier Mgt, Environment  Mgt, Information﴿

4 Monate

4­6 Wochen

Release Team 1

Was Wie Wann

Vorbereitungsphase Umsetzungsphase

Herztransplantation

Ausgangslage/Anforderung• Neues CRM System wird eingeführt • BI/DWH soll ab Tag 1 funktionieren, alle bestehenden

Kundenanforderungen erfüllen und zusätzlich komplett neue, geschäftskritische Funktionen wahrnehmen

Prestudy fördert unangenehme Erkenntnisse zu Tage• Kundenmodell ändert radikal• Finales Datenmodell wird erst etwa 9 Monate vor Rollout erwartet• Rollout als Big Bang konzipiert• Testdaten mit sinnvollem Testset erst 6 Monate vor dem Start

Herztransplantation für kundenzentriertes DWH• BI muss auf unbekanntem Source System gebaut werden• Es gibt nur einen Versuch• Timeline muss exakt eingehalten werden

è High Risk Projekt

BI Herausforderung: Einführung CRM System

• Frühzeitig starten• Intensiv mit Source interagieren

– Hartnäckig bleiben– Ständig nachfragen– Key Ressourcen sichern

• Ausführliche Source Analyse betreiben– Daten der Quelle analysieren– Prozesse analysieren

• Datenmigration als Prio 1 Thema behandeln (erfahrenste Mitarbeiter einsetzen)• Nicht vorhandene Daten synthetisch erzeugen

– Kunstdaten für alle Rules erstellen– Hohe Testdisziplin mit professionellem toolgestütztem Testmgm

• Design for Quality– Hohe Dokstandards mit Reviews (mind. 6 Augen)– Strikte Arch/Dev Guidelines durchsetzen– Dokumentierte Unittests mit synthetischen Daten– 4 Environments mit professionellem Mgm– Lead Arch Position als Full Time Job etablieren– Key Positionen in interne Hände legen– Impactanalysen bei jedem Change machen– Data Model mit derselben Handschrift erstellen– Inhaltsknowhow ständig pushen

• Betrieb frühzeitig involvieren

Approach

SDW staging areadwh_pprd_stg

NeMo EDW areascm_pprd_edw

SDW EDW areadwh_pprd_edw

update keys copyCase 3

update keys copyreformatCase 4

update keys copyreformat splice &

cleanupCase 5

tables with minimal changes

copyCase 1

Imm

edia

tely

afte

rB

igB

ang

with

in10

day

saf

terB

igB

ang

Datenmigration als Source System konzipieren

Rollout war ein voller Erfolg

• DWH System war ab Tag 1 ladefähig

• Initial load konnte in 3 Tagen (inkl. Quality Assurance tests) beendet werden

• Migration erforderte <1 Tag

• Ein Reload des DWHs war nicht erforderlich

• System konnte ab Tag 1 vom Operations betrieben werden

• Businessauswertungen waren nach einer Woche möglich

Wurden die Ziele erreicht?

Ausblick

BI als Service leben• BI muss als attraktiver Service in die Organisation eingebracht werden• Inhalts/Business Wissen wird immer wichtiger

BI wird operativer• Asset der Datenintegration kann auch vermehrt für operative

Anwendung eingesetzt werden (Real-time/Active Warehousing)

BI Applikationen schaffen Mehrwert• Reporting/Analytics werden vom zentralen Inhalt zur Pflichtaufgabe• Fokus verschiebt sich auf analytische Applikationen, welche das

Wissen der integrierten Datenbasis neue Businessthemen zugänglich macht

Wohin geht die Reise?

Questions and Answers