Upload
trinhdat
View
212
Download
0
Embed Size (px)
Citation preview
Ein Spagat zwischen Innovation und Kosten – Geht das überhaupt ?
DOAG 2014
Hadoop & IT-Strategie –
©
Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT.
Reporting
� Standard & Adhoc � Reporting� Dashboarding� BI Office Integration� Mobile BI & In-memory� SAS Trainings for
Business Analysts
Analytics
� Predictive Models, Data Mining & Statistics
� Social Media Analytics
� Customer Intelligence� Scorecarding� Fraud & AML
Risk
� Solvency II (Standard & internal Model)
� Regulatory Reporting� Compliance � Risk Management
Enterprise DWH
� Data Modeling & Integration & ETL
� Architecture: DWH & Data Marts
� Hadoop & Columnar DBs
� Data Quality & Data Masking
Themenbereiche Über metafinanz
metafinanz gehört seit fast 25 Jahren zu den erfahrensten Software- und Beratungshäusern mit Fokus auf die Versicherungsbranche. Mit einem Jahresumsatz von 270 Mio. EUR und über 450 Mitarbeitern entwickeln wir für unsere Kunden intelligente zukunftsorientierte Lösungen für komplexe Herausforderungen
Manager IT-Consulting
� Projekt-/Programmleitung für Integrations-, Migrations- und Einführungsprojekte
� Schwerpunkt Finance/Risk, Data-warehousing, Business-Intelligence
Mail: [email protected]: +49 89 360531 5432
Business Intelligence
BI & RiskIhr Kontakt: Oliver Herzberg
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 2
©
Inhalt.
2
3
1 Herausforderungen für CIO’s im Kontext Datenmanagement
Anwendungsszenarien Hadoop
Zusammenfassung und Fazit
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 3
©
Herausforderungen für CIO’s im Kontext Datenmanagement
1.
©
Die effiziente und wirtschaftliche Versorgung der Unternehmen mit IT ist nicht nur ein Kostenfaktor …
Fokus Technologie Prozesse Business Modelle
Fähigkeiten Programmieren, System-Management
IT Management, Service Management
Digitale Führung
Mindset Kundenzentriert Serviceorientiert Partnerschaftlich
Auswirkung Sporadische Automatisierung und Innovationen
Dienstleistungen und Lösungen, Effizienz und Effektivität
Digital Business Innovation, neue Werte
DigitalisierungIT Manufaktur IT Industrialisierung
Wir
sind
hie
r
Quelle: Gartner Executive Program, Taming the Digital Dragon: The 2014 CIO Agenda
… sondern wird als elementarer Wettbewerbsfaktor erkannt und vom Business wahrgenommen
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 5
©
Herausforderungen für Unternehmen.
Chancen
Marktveränderungen
Digitalisierung
Kosten
Regulatorischer Druck
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 6
©
Der Markt befindet sich im Umbruch …
… die Kundenbedürfnisse verändern sich rasch, die Marktanforderungen werden immer komplexer.
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 7
©
Durch die Digitalisierung ganzer Lebensbereiche wird eine bislang unbekannte Datentiefe ermöglicht.
… Die Vielfalt, Herkunft, Verfügbarkeit, Qualität und letztlich die gewonnene Aussagekraft variieren signifikant.
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 8
©
Deutschland hat bei der Digitalisierung der Wirtschaft Nachholbedarf …
„Unternehmen wird eine Zukunftsaufgabe gestellt:
Sie müssen dem strategischen Management der internen und externen Daten und Informationen als auch deren Umsetzung in der Praxis einen höheren Stellenwert zumessen.“
Quelle: manager magazin 07/2014
… führende Politiker rufen dazu auf, die Digitalisierung mit größerer Entschlossenheit voranzutreiben
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 9
©
Eine spartenübergreifende Studie von Gartner zur Verteilung der IT-Kosten zeigt, …
… mehr als 40% der IT-Produktionskosten sind in Data-Centern gebunden
Quelle: Gartner Significanty Reducing I&O Costs, 7 May 2014
I&O: Wohin
fließt das Geld?
ServiceDesk13%
ClientCompu-
ting20%
Networking26%
Rechen-zentrum
41%
I&O56% IT-Budget53% IT-Personal
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 10
©
Die kontinuierlich steigenden regulatorischen Anforderungen haben wesentliche Auswirkungen auf den Informationsbedarf.
Abwicklungsmechanismus Anlegerschutz Bankenunion Basel III Beihilferecht Benchmarks CRD IV/CRR Compliance BCBS239 Comprehensive Assessement EBA EMIR ESMA EU-Bankenaufsicht
Eigenkapital interne Modelle Einlagensicherung Electronic
Banking Finanztransaktionssteuer VerbraucherschutzGeldwäschebekämpfung Solvency II Großkredite IFRS9 KartenKrisenmanagement LCR Lease Leverage Ratio MaRisk MASan MacroHedge Accounting MiFID OSCar/OSeC Rating Risikomanagement
SEPA Stresstest Transparenz von Bankentgelten EU-Vermittler Richtlinie
… Die damit verbundenen wachsenden Datenmengen wirken direkt auf den Speicherbedarf und die damit in Zusammenhang stehenden IT-Kosten.
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 11
©
In komplexen Projekten fallen bis zu 60% der Aufwände direkt oder indirekt auf Datenbeschaffung, -validierung und -transformation.
… Leistungsfähige, flexible und elastische DWH- und BI-Infrastrukturen wirken vor allem in künftigen Changekosten
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 12
©
Datenmanagement wird damit elementarer Bestandteil der IT-Strategie von Unternehmen.
CIOs stehen damit vor der Herausforderung,
� der Regulatorik genüge zu leisten was Kosten ohne Ertrag bedeutet.
� die Chancen aus der Digitalisierung zur Bindung und Erschließung neuer Märkte gewinnbringend zu nutzen.
� andererseits aber auch aktiv die Potentialezu erkennen und zu nutzen, die aus solchen Transformationsprozessen entstehen:
InnovationInnovationInnovation
Gewaltige Datenschätze, die es zu heben gilt!
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 13
©
Anwendungsszenarien Hadoop2.
©
Mit dem Opensource Framework Hadoop stehen neue und bisher nicht umsetzbare Analytics Möglichkeiten zur Verfügung.
Drill
Ambari
HCatalog
Cloudera Manager
Parquet
SequenceFiles
… Es gibt aber auch konkrete Usecases, die auf die Reduzierung von Infrastruktur-/Storagekosten abzielen.
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 15
©
� Optimierung z.B. von Speicherplatz � Ersatz bestehender ETL-Prozesse � Günstigere Datenspeicherung im Cluster, statt kostenintensive
RDBMS-Systeme
� Funktionale Erweiterung bestehender DWH-Lösungen � Operational Data Stores (ODS) als vorgeschalteter
Datensammler� Near-/Realtime – Streaming von Daten
� Daten aus unterschiedlichen Quellen� Verknüpfung mit unterschiedlichen Datentypen � Data Mining und Maschine Learning
Hadoop - Einsatzgebiete und Beispiele.
RDBMS Offload
DWH Extension
Big Data Exploration
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 16
©
Die fünf größten Herausforderungen im Kontext Big Data/Analytics.
12%
18%
15%
12%
12%
11%
13%
14%
14%
13%
11%
26%
8%
7%
7%
29%
33%
33%
Wie kann Mehrwert ausden Daten generiert werden
Integration unterschied-lichster Datenquellen
41%
Knowhow und verfügbare Ressourcen
Infrastruktur und Architektur
57%
Definition der Strategie
2nd 3rdTop challenge
Quelle: Gartner 2014 Q: What are your organizations's top 3 hurdles or challenges with big data? n=687
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 17
©
Unser iteratives Vorgehensmodell zur Einführung von Hadoop umfasst vier Kernphasen.
Phasenmodell
� Rollout und Einbindung weiterer Unternehmensbereiche (Prozesse, Organisation)
� Advanced Analytics = Potentiale voll ausschöpfen
Optimierung
� Aufbau Infrastruktur
� Prototyp
� Interdisziplinärer Teams (OpsDev)
� Agile Vorgehensweise
� Ergebnis: Projektreadynesshergestellt
Initiierung
� Ziele und Potentiale festlegen
� Umfeld und Machbarkeits-analyse
� Ergebnis: Roadmap und Business-Case
Orientierung
� Einfache Usecases
� Iterativer Anbindung weiterer Datenquellen/-typen
� Integration in bestehende BI-Lösungen
Umsetzung
Phase 0
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 18
©
Strategische Personalentwicklung
Zentrales FiBu - ArchivUmsetzung gesetzl.
Anforderungen
An folgenden Anwendungsszenarien soll veranschaulicht werden, …
� Volltextsuche nach Mitarbeiterskills
� Übersicht Skillverteilung
� Analyse Skillverteilung in Verbindung mit Auftragssystem
� Reduzierung Kosten bei der Archivierung geschäfts-relevanter Daten
� Einsatz klassischer Archivlösungen ist teuer
� Zugriff auf Informationen oft nur eingeschränkt möglich
� Überleitbarkeit und Erklär-barkeit von Steuerungs-informationen
� Stetig wachsende Datenmengen
� Knappe Ressourcen
� Kostenreduzierung
… wie durch die Einführung von Hadoop-Lösung nachhaltige, aber auch gleichzeitig innovative Assets geschaffen werden können.
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 19
©
… Die Mitarbeiter Profile sollen durchsuchbar sein. Zusätzlich soll die Verteilung und die Korrelationen zwischen den Skills analysiert werden können.
Zielsetzung: Transparenz über Skills und Potentiale der Mitarbeiter schaffen.
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 20
©
Lösungsansatz: Mit der Hadoop Search API kann der Personalstamm performant analysiert werden, …
Windows Fileserver
R:\Intern\ProfessionalServices\MA Profile
WinSCP hdfs dfs -put
CentOS
LinuxFilesystem
HDFSClouderaSearch
MapReduceIndexerTool
… durch den Einsatz von SolR Cloud wird dabei ein hohes Maß an Flexibilität und Stabilität erreicht, was sich in geringen TCO widerspiegelt.
HueSearch
SolrJ
SolrConsole
REST API
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 21
©
Zielsetzung: Reduzierung Kosten bei der zentrale Archivierung geschäftsrelevanter FiBu-Daten …
… zur Erfüllung gesetzlicher Anforderungen. Der Einsatz klassischer Archivlösungen ist teuer, der spätere Zugriff oft nur eingeschränkt möglich.
Datawarehouse
Klassische Speichermedien (SAN, Storage, Tape)
Archivsysteme und optische Medien
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 22
©
Lösungsansatz: Zentrale Archivierung mit Hadoop …
… durch Replikation der im Core-DWH gehaltenen Daten und sukzessiver Ausbau zur Big Data Integrations- und Analyticsplattform.
DWHQuickWin: � Reduzierung
Storage-Kosten
Mehrwert/Potentiale:� Investitionssicher-
heit bestehendes Core-DWH
� Ausbau zur BigData Inte-grations- und Analyseplattform
Analytics
In Memory
SAP
Marktdaten
DMS
Hadoop - Archiv
Je mehr Daten, desto höhere Analysemöglichkeiten ���� Mehrwert
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 23
©
Zielsetzung: Reduzierung Kosten bei gleichzeitiger Umsetzung gesetzlicher Anforderung.
Die Überleitbarkeit und Erklärbarkeit von Steuerungsinformationen stellt bei wachsenden Datenmengen und zur Verfügung stehenden Ressourcen Finanzinstitute heute vor immer größere Herausforderungen.
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 24
©
Lösungsansatz: Ergänzung DWH durch den Aufbau eines Hadoop ODS und damit ...
… Kostenreduzierung durch die Ablösung von Point-to-Point Verbindungen bei gleichzeitiger Erhöhung der Qualität im Reporting.
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 25
©
Zusammenfassung und Fazit3.
©
Um künftig als Unternehmen erfolgreich am Markt agieren zu können, …
� Der Spagat zwischen Innovation und Kostendruck, ist die Herausforderung und Hürde
� Mit dem Einsatz von Hadoop – werden klassische DWH‘s nicht überflüssig –sondern sinnvoll ergänzt
� Für Big Data gilt „Think Big, think out ofthe box – but start small“
… müssen wir bereit sein neue Wege durch unbekanntes Terrain zu gehen.
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 27
©
Metafinanz unterstützt Ihre Kunden bei Einführung von Hadoop end-to-end: Von Entscheidung und Konzeption bis hin zu Einführung und Optimierung.
metafinanz ist herstellerunabhängig, erfahren, kompetent, zuverlässig und lieferfähig
BUILDDECIDE PLAN OPTIMIZE
metafinanz Consulting Leistungen rund um Data Warehouse und Enterprise Information Management� Businessanalyse, Systemauswahl und Integrationskonzept� Gesamtheitliche IT Architektur Strategie und Designkonzeption (IT Strategie)� Customizing von Big Data Lösungen für Ihre besonderen Business Anforderungen (Zukunftsfähigkeit)� DWH Configuration & Optimierung für mehr Leistungsfähigkeit (Effizienzpotential)
VorstudieHadoop-Strategie
� Identifikation Use Cases� Tool-/Distributor-Auswahl & Architektur� Projekt- und Betriebs-Setup
DWH Cost Savings� Data Mart Offload (hist. Daten)� ETL-Offload: Staging� Calculation Offload
Dokumentenverarbeitung� Dokumentenarchivierung� Volltextsuche� Textanalyse
Log-File-Analysen� Click-Stream-Analyse Web-Anwendungen� Security Analytics (Server-Logs, Firewall-Logs, …)
18.11.2014DOAG 2014 - Hadoop & IT-Strategie Seite 28
©
Treffen Sie uns an unserem Stand… und gewinnen Sie ein iPad Mini!
Interesse? Fragen? Austausch?
Besuchen Sie uns auch auf:
metafinanz Informationssysteme GmbHLeopoldstraße 146D-80804 MünchenPhone: +49 89 360531 - 0Fax: +49 89 350531 - 5015Email: [email protected]
Vielen Dank für Ihre Aufmerksamkeit