EINFÜHRUNGS- VORTRAG „BIG DATA“ - hgnc.de¼hrungsvortrag... · Nutzen und Bedeutung von Big Data Definition und Strukturierung des Big Data Begriffes Für den Begriff Big Data

EINFÜHRUNGS-VORTRAGVORTRAG „BIG DATA“

„Datenanalyse als neuer Produktionsfaktor“neuer Produktionsfaktor

20. Mai 2014

Gigantische Datenmengen �

x10 90% 30 Milliarden

�die Menge der digitalen Infor-

mationen verzehnfacht sich alle

5 Jahre

�der weltweit verfügbaren Daten

sind in den vergangenen 2 Jahren

entstanden

�Einträge auf Facebook

jeden Monat

Um Erfolg im Markt zu haben ist es essentiell, nicht nur detaillierte Einblicke in die zukünftige Entwicklung

zu haben, sondern auch die Fähigkeit zu erarbeiten sich schnell einer bestimmten Entwicklung des Marktes

anpassen zu könnenanpassen zu können.

Agenda

Nutzen und Bedeutung von Big Data1

Einsatzmöglichkeiten von Big Data2

Implementierung und Architektur3

3© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent

member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved.

Agenda






Nutzen und Bedeutung von Big Data

Definition und Strukturierung des Big Data Begriffes

Für den Begriff Big Data findet sich in der Literatur und Presse keine einheitliche Definition.Grundsätzlich lässt sich der Begriff aber wie folgt strukturieren:

Zi l tZi l t

• Gewinnung und Nutzung entscheidungs-

18%Größere Bandbreiten an

I f ti

Definition von “Big Data” durch Unternehmen

ZielsetzungenZielsetzungen relevanter Erkenntnisse • Prozessoptimierung in

Echtzeit

15%

16%

18%

Echtzeitinformationen

Neue Arten von Daten und Analysen

Informationen

Art der Informationen

Art der Informationen

• qualitativ vielfältig• unterschiedlich

strukturiert 13%

13%

Zustrom von Daten aus neuen Technologien

Moderne Medienarten

InformationenInformationen • Integration aus verschiedenen Quellen

8%

10%

Das neueste Modewort

Große Datenmengen

neuen Technologien

Dynamik und Umfang

Dynamik und Umfang

• schneller Wandel der Daten

• bisher unbekannter und stetig wachsender D t f Quelle: IBM/Oxford University (Mitte 2012)

7%

0% 5% 10% 15% 20%

Daten aus sozialen Medien



Datenumfang Quelle: IBM/Oxford University (Mitte 2012)

n = 1.144 IT- und Business Experten

weltweite Befragung


Unser Verständnis von Big Data auf einen Blick

Big Data umfasst die

Bereitstellung von

K t M th d

Big Data bezeichnet die Hochgeschwindigkeits-Analyse großer Datenmengen aus

vielfältigen Quellen mit dem Ziel wirtschaftlichen Nutzen zu erzeugenKonzepten, Methoden,

Tools, Technologien

und IT-Architekturen,

um das exponentiell

h d A b t

vielfältigen Quellen mit dem Ziel, wirtschaftlichen Nutzen zu erzeugen.

Volume – Datenvolumen verdoppelt sich ca. alle 2 Jahre

Charakteristika von Big Data:

wachsende Angebot

an vielfältigen

Informationen für

schnelle und fundierte

pp

Variety – Vielfältige Datenquellen und -formate (Soziale Netzwerke, GPS-Signale, Youtube-Videos, �)

Velocity – Die Geschwindigkeit der Datenauswertung („Echtzeit“) ist ein bedeutender Faktor

KPMG betrachtet dabei zusätzlich die folgenden Charakteristika:Entscheidungen

aufzubereiten.

KPMG betrachtet dabei zusätzlich die folgenden Charakteristika:

Veracity – Adäquate Governance- und Kontrollmechanismen ermöglichen es, sogar aus einer Kombination aus strukturierten und verunreinigten Daten gute Einblicke zu gewinnen

Value – Datenverfügbarkeit Operative Prozessverbesserungen Entscheidungsunterstützung Inno-Value Datenverfügbarkeit, Operative Prozessverbesserungen, Entscheidungsunterstützung, Innovationen & Produktentwicklung, Marketing & Sales, Monetarisierung der Daten- und -analyse

• Verbessertes Verständnis durch die

Big Efficiency

Big Flexibility

Big Clarity

Big

Impact

Verarbeitung großer Datenmengen

• Flexible und schnelle Anpassung der Datenanalyse

• Zeitnahe Bereitstellung von entschei-



Big Efficiency Zeitnahe Bereitstellung von entscheidungsrelevanten Informationen


Kriterien zur Begriffscharakterisierung – „Das V5-Konzept“

• Entstehung immer größerer Datenmengen

• in oft unbekanntem Ausmaß für dieVolume

• Komplexität zahlreicher Datentypen steigt

(strukturiert semi-strukturiert unstrukturiert)

betreffenden Unternehmen

Variety

• neben dem klassischen Reporting werden

(strukturiert, semi strukturiert, unstrukturiert)

• Informationsquellen werden vielfältiger

Variety

Datenströme zunehmend in Geschäfts-

prozesse integriert (Echtzeitauswertungen)

• Self-Service Business Intelligence

Velocity

• Zuverlässigkeit von Informationen

(naturgemäße Unvorhersagbarkeit)Veracity

• Prozessverbesserungen

• EntscheidungsunterstützungValue



• Monetarisierung


IT-Trends und deren Zusammenwirken mit Big Data

Cloud Computing und SaaS

Zunehmende Entwicklung dezentraler

InformationsbereitstellungskonzepteInformationsbereitstellungskonzepte

Mobile Informationstechnologien

Entstehung stark wachsender

Datenmengen und Location BasedBi Neue Herausforderungen aber

auch Möglichkeiten für den

Umgang mit den Folgen dieser

IT-Trends

Datenmengen und Location Based

Services

Sensoren und M2M

Vernetzung von Produktionsgütern,

Big

Data

IT Trends g g

Maschinen und anderen Geräten

Social Web

Erzeugung und Distribution von Content durch

die Nutzer von Social Media Anwendungen

Verfügbare Daten und die geeignete Technik, diese auszuwerten sinddiese auszuwerten, sind

notwendige Voraussetzungen.

Aber wie kann die Nutzung dieser

I f ti f U t h h ?8© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent


Informationen für Unternehmen aussehen?


Mithilfe der klassischen Datenanalyse konnten bisher nur strukturgleiche und komplett strukturierte Daten verarbeitet werden

Big Data ermöglicht die integrative Analyse sowohl strukturierter, semistrukturierter als auch unstrukturierter Daten.

Big DataDatenwelt

Strukturiert(Länge und Format definiert)

Unstrukturiert(Länge und Format undefiniert)

Semistrukturiert(Länge und Format teils definiert)

Maschinell generiert vom Menschen generiert Maschinell generiert vom Menschen generiert

�Sensordaten (RFID, medizinische Geräte, GPS-

�Sensordaten (RFID, medizinische Geräte, GPS-

� Inputdaten (Dateneingabe auf Computern)

� Inputdaten (Dateneingabe auf Computern)

�Satellitenbilder

(Satellitenüberwachung, �Satellitenbilder

(Satellitenüberwachung, � Interne Textdaten

(Umfrageergebnisse, E-� Interne Textdaten

(Umfrageergebnisse, E-Daten)

�Web-Log-Daten (Aktivitäten auf Servern und Netzwerken)

Daten)

�Web-Log-Daten (Aktivitäten auf Servern und Netzwerken)

�Clickstream-Daten

(Websitelinks)

�Spieldaten (Aufzeichnung des Verhaltens bei Online-

�Clickstream-Daten

(Websitelinks)

�Spieldaten (Aufzeichnung des Verhaltens bei Online-

Wetterdaten)

�Wissenschaftliche Daten

(Seismische u. athmos-phärische Daten)

Wetterdaten)

�Wissenschaftliche Daten

(Seismische u. athmos-phärische Daten)

Mails)

�Social-Media-Daten

(Facebook, Youtube)

�Mobildaten (Standortinfor-

Mails)

�Social-Media-Daten

(Facebook, Youtube)

�Mobildaten (Standortinfor-�Point-of-Sale-Daten

(Kundendaten am POS)

�Finanzdaten (Aktienkurse)

��

�Point-of-Sale-Daten

(Kundendaten am POS)

�Finanzdaten (Aktienkurse)

��

Spielen etc.)

��

Spielen etc.)

��

�Fotos und Videos (Verkehr)

�Radar- und Sonardaten

(Ozeanographisch-seismische Profile)

�Fotos und Videos (Verkehr)

�Radar- und Sonardaten

(Ozeanographisch-seismische Profile)

(mationen, Messages)

�Websiteinhalte

(verschiedene Inhalte auf Websites)

(mationen, Messages)

�Websiteinhalte

(verschiedene Inhalte auf Websites)



��

��


Durch neue Methoden der Datenspeicherung und -verarbeitung können Marktteilnehmer Wert aus vielfältigen Daten generieren

Es reicht nicht aus, relevante Daten zu identifizieren und zugänglich zu machen.Entscheidend für den Erfolg ist die Kompetenz, diese Daten zu nutzen.

„Unternehmen, die die Bedeutung von Big Data und Business Analytics erkennen, weisen

eine doppelt so hohe Wahrscheinlichkeit auf zu den Top Performern in ihrer Industrie zu

zählen als andere Unternehmen.“ (MIT Sloan Management Review)

Big Data Value

&&Distribution &

Logistik

Distribution &

LogistikProduktionProduktion

Forschung &

Entwicklung /

Innovation

Forschung &

Entwicklung /

Innovation

Finanz- & Risiko-

Controlling

Finanz- & Risiko-

ControllingMarketing & SalesMarketing & Sales

Monetarisierung

von Daten und

deren -analyse

Monetarisierung

von Daten und

deren -analyse

�Echtzeit-Korrektur �Echtzeit-Korrektur �Echtzeit-Analyse �Echtzeit-Analyse �Besseres �Besseres �Neue Faktoren für �Neue Faktoren für �Detailliertere �Detailliertere �Verkauf �Verkauf von Routen auf Basis aktueller Verkehrsdaten

�Optimierung von Lieferketten

von Routen auf Basis aktueller Verkehrsdaten

�Optimierung von Lieferketten

von�

�Maschinendaten

Wartungskosten↓

Fehlerkosten↓

von�

�Maschinendaten

Wartungskosten↓

Fehlerkosten↓

Verständnis der Kunden-bedürfnisse

�Verkürzung der Time to Market

Verständnis der Kunden-bedürfnisse

�Verkürzung der Time to Market

die Bewertung des Kreditrisikos

�Betrugserkennung

�Prognosen/

die Bewertung des Kreditrisikos

�Betrugserkennung

�Prognosen/

Markt-segmentierung(Mikrosegmente)

�Flexible Personalisierung

Markt-segmentierung(Mikrosegmente)

�Flexible Personalisierung

generierter Daten (z.B. Kunden-, Verkaufs-, Produktionsdaten) an externe Nutzer

generierter Daten (z.B. Kunden-, Verkaufs-, Produktionsdaten) an externe NutzerLieferketten

�Auswertung der Machine-to-Machine-Kommunikation

Lieferketten

�Auswertung der Machine-to-Machine-Kommunikation

Fehlerkosten↓

Personalkosten↓

�Bestandsdaten

Lagerkosten↓

Fehlerkosten↓

Personalkosten↓

�Bestandsdaten

Lagerkosten↓

Time-to-Market

�Echtzeit-Analyse wissenschaftlicher Experimente (z B für neue

Time-to-Market

�Echtzeit-Analyse wissenschaftlicher Experimente (z B für neue

Simulationen/ Szenarien in Echtzeit

�Ständig aktuelle V l t Ri k

Simulationen/ Szenarien in Echtzeit

�Ständig aktuelle V l t Ri k

Personalisierung des Angebots (Customization)

�Reduktion der Streuverluste/

Personalisierung des Angebots (Customization)

�Reduktion der Streuverluste/

�Angebot von Big Data-Analysetools und -methoden

�Angebot von Big Data-Analysetools und -methoden



Kommunikation (M2M)Kommunikation (M2M) Fehlmengenkosten↓ Fehlmengenkosten↓

(z.B. für neue Medikamente)(z.B. für neue Medikamente)

Values-at-RiskValues-at-Risk Streuverluste/ MarketingkostenStreuverluste/ Marketingkosten


Evolution von einfacher Datenanalyse hin zu Big Data (technisch)

Nachverfolgung

In

Visualisierung

tegra

tion &

Nu

Manuell

Benachrichtigung

utz

en

Reifegrad

Z it t t A l A it d K ti i li h d it ti ■ Daten als Produktionsfaktor■ Zeitversetzte Analysen zur nachträglichen Betrachtung

■ Manuelle Aufbereitung und Interpretation der Analysen

■ Geringe Datengranularität d Q lität

■ Ausweitung der Datenerhebung

■ Vorhersagen basierend auf Datenauswertungen

■ Nutzung von Data W h /M t

■ Kontinuierliche und iterative Verarbeitung von Daten

■ Neue Erkenntnisse im Hinblick auf Business Performance

A d

■ Daten als Produktionsfaktor

■ Analyse großer Datenvolumina möglich

■ Verarbeitung strukturierter und unstrukturierter Daten

und Qualität

■ Manuelle Verarbeitung externer Informationen

Warehouse/Mart

■ Systeme zur Unterstützung von Entscheidungen

■ Anwendung von statistischen Methoden

■ Vollständig automatisierte Verarbeitung

■ Data Mining

■ Strukturunterschiede akzeptabel

■ Erkennen von komplexen Zusammenhängen und Mustern

■ Datenauswertung in Echtzeit

■ Analyse von „externen“ Daten



■ Strukturgleiche Daten notwendig

■ Analyse von „externen Daten


Evolution von einfacher Datenanalyse hin zu Big Data (fachlich)

Nachverfolgung

Nu

Visualisierung

utz

en

Manuell

Benachrichtigung

Komplexität

St d d R ti V t h K ti i li h d it ti ■ Daten als Produktionsfaktor■ Standard Reporting

■ Ad hoc Reporting

■ KPI Monitoring

■ Verstehen von Businessfaktoren

■ Visualisieren von Transaktionen

■ Anomalien erkennen

■ Kontinuierliche und iterative Verarbeitung von Daten

■ Neue Erkenntnisse im Hinblick auf Business Performance

A d

■ Daten als Produktionsfaktor

■ Analyse großer Datenvolumina möglich

■ Verarbeitung strukturierter und unstrukturierter Daten

■ Visualisieren von Beziehungen

■ Anwendung von statistischen Methoden

■ Vollständig automatisierte Verarbeitung

■ Data Mining

■ Strukturunterschiede akzeptabel

■ Erkennen von komplexen Zusammenhängen und Mustern

■ Datenauswertung in Echtzeit

■ Analyse von „externen“ Daten



■ Strukturgleiche Daten notwendig

■ Analyse von „externen Daten


Big Data – Der Markt in Zahlen

Kennzahlen belegen ein rasantes Wachstum des Big Data Marktes. Daraus ergeben sich sowohl für bestehende als auch für neue Unternehmen große Chancen, aber auch H f d

Ein starkes Wachstum im globalen Big Data Markt

Optimistische Erwartungen Vorreiter Neue Anbieter mit Big Data-Lösungen

Herausforderungen.

globalen Big Data Markt

Ø36% jährlich

15 7 Mrd €

43% der Unternehmen

erwarten einen

E-Business-

Unternehmen sind prädestiniert für Big Data

Anwendungen

Lösungen

Parstream, Exasol, Empolis & Mellmo

gesellen sich zu15,7 Mrd. € in 2016ROI > 25%

Anwendungen gesellen sich zu

Microsoft, SAP & Co.

Ein neues Geschäftsmodell

270 Mi €

Ein wachsendes Angebot

80Kompatibilität

Schnittstellenwachsenden Marktanteile

Die Umsatzanteile von270 Mio. €

globaler Umsatz durch „reine“

Big Data Companies

80 weltweit nennenswerte

Unternehmen bieten bereits Big Data Lösungen an

Schnittstellenermöglichen den graduellen

Übergang von konventionellen Systemen und neuen

Technologien zu Big DataLösungen

Die Umsatzanteile von

Europa (27% ) und den USA (42%) im globalen

Big Data-Markt gleichen sich an*Lösungen sich an

Quelle: BITKOM , Experton Group 2012

*Größere anfängliche Bedenken hinsichtlich des Datenschutzes und der Datensicherheit (vor allem in

Deutschland) haben den USA gegenüber Europa einen Vorsprung in der Entwicklung verschafft. Es wird



) g g p p g g

erwartet, dass sich diese Marktanteile durch die Anpassung der europäischen Richtlinien auf einander

zubewegen.

Agenda






Einsatzmöglichkeiten von Big Data

Big Data ermöglicht Performanceverbesserungen und das Aufdecken neuer Potentiale auf allen Stufen der Wertschöpfungskette

Infrastructure

Präventivanalyse zur Verhinderung des A f ll i hti

1HR Management

Schnelle und bedarfs-gerechte Reaktion auf

i l S h

2Tech. Development

Verbesserte Informationsverar-

b it d l

3Procurement

Kombinierte Auswertung von

O li b tt b t

4

Ausfalls wichtiger Unternehmensysteme

saisonale Schwan-kungen, kurzfristige

Änderungen etc. durch Big Data-Analysen

beitung und –analyse sowie Erweiterung des Unternehmens-Know-

how

Onlinerabattangeboten und eigenen Lager-

beständen

Infrastructure

Human Resource Management

Technology Development

1

2

3

Procurement

Serv

ice

nbound

ogis

tics

era

tions

utb

ound

ogis

tics

ark

eting

& S

ale

s

4

5 6 7 8 9

Marketing & SalesOutbound LogisticsOperationsInbound Logistics Service5

SIn Lo

Op

Ou

Lo

Ma &

6 7 8 9

Zielgenaue Kunden-ansprache durch

Auswertung von SocialMedia-Profilen und

sonstigen Kundendaten

Predictive Analytics zur zielgenauen Prognose von Absatzmengen –

Vermeidung des Aufbaus von unnötigen

Verhinderungmachineller

Produktionsausfälle durch Realtime-Auswertung der

Nutzung von Realtime-POS-Daten zur

Identifizierung von Out-of-Stock-Situationen

und Benachrichtigung

Auswertung von Kundenfeedback aus externen Kanälen zur

Verbesserung der Serviceaktivitäten



sonstigen KundendatenAufbaus von unnötigen Lagerbeständen

Auswertung der Maschinendaten

und Benachrichtigung der Lieferanten

Serviceaktivitäten


Nutzung von Informationen – Was bedeutet Big Data für Unternehmen?

Wo kommen Big Data Analysen heute schon zum Einsatz? – einige Beispiele

Fraport AG� Auswertung von Sensor-Daten zur Vorhersage der Fluggast-Ströme um so Warteschlangen an den

Daten

� Auswertung von Sensor-Daten zur Vorhersage der Fluggast-Ströme, um so Warteschlangen an den Abfertigungspunkten weitestgehend zu vermeiden

Sears Corp. (US-amerikanischer Handelskonzern)� Kombination von Daten über Kunden, Produkte und Werbung zur Entwicklung kundenindividueller Werbung

(heute auch von vielen anderen Handelsunternehmen, wie Amazon, genutzt)

Anwendungen

Nutzung

( g )

VISA Inc.� Kann über Kreditkartentransaktionen vorhersagen, welches Ehepaar sich in absehbarer Zeit scheiden lässt,

woraus auf die Kreditwürdigkeit geschlossen werden kann

Weitere Beispiele fürEinsatzszenarien

Branche Einsatzmöglichkeiten

Energiewirtschaft Steuerung des Energieverbrauches(über Speicherung und Auswertung von Messwerten)(über Speicherung und Auswertung von Messwerten)

Finanzwirtschaft Zahlungsstromanalysen zur Betrugserkennung

Handel Click-Stream-Analysen im Online Handel(Echtzeit-)Kundenanalysen / Kaufverhaltensanalysen(Echtzeit-)Kundenanalysen / Kaufverhaltensanalysen

Telekommunikation Location-Tracking � Händler können diese Daten in Echtzeit verwenden, um Verbraucher, die in der Nähe von Shops sind, über Angebote zu informieren

S i l W b I di id li i t W b



Social Web Individualisierte WerbungEchtzeitanalysen des Nutzerverhaltens


Big Data Aktivitäten von Unternehmen weltweit und in Deutschland

Was sagen empirische Studien über den Planungsstand von Unternehmen zum Thema Big Data?

Anteil an Unternehmen mit Big Data Initiativen in 2012Big Data Aktivitäten - internationaler Querschnitt

34% 66%Deutschland

g

28%

Big Data Aktivitäten internationaler Querschnitt

Pilotprojekte begonnen und erste Big Data Lösungen implementiert

53% 47%Total

24%

48%

Lösungen implementiert

Noch keinerlei Big Data-Aktivitäten gestartet

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

mit Big Data Initiative 2012 ohne Big Data Initiative 2012

Quelle: TATA Consultancy Services / n = 1.217 / weltweite Studie

24%Big Data Aktivitäten geplant

Quelle: IBM/Oxford University (Mitte 2012) / n = 1061 / weltweite Studie

Bereits implementiert

8%

Heute noch kein Thema, auch nicht

in Planung25%

Big Data Aktivitäten in deutschen UnternehmenKey Findings zum Planungsstand

� alle Studien bestätigen, dass sich der Großteil der

U t h it d Th tik b f t

Mit der Thematik beschäftigt, aber

noch nicht umgesetzt

%

Heute noch kein Thema, aber

geplant

25% Unternehmen mit der Thematik befasst

� Jedoch nur wenige Unternehmen konnten ihre Big Data

Projekte bereits umsetzen

� fast 50% der deutschen Unternehmen befassten sich 2012

noch nicht mit Big Data, nur wenige haben Projekte bereits



43%24%

Quelle: Experton Group(Mrz./Apr. 2012) / n = 63 / deutschlandweite Studie

noch nicht mit Big Data, nur wenige haben Projekte bereits

umgesetzt


Welche Ziele verfolgen Unternehmen mit der Auswertung der Big Data?

Mitarbeiterzusammenarbeit4%

Die wichtigsten Zielsetzungen von Big Data Projekten für Unternehmen

HRAndere

7%

In welchen Bereichen fokussierten Unternehmen branchenübergreifend ihre Big Data Investitionen in 2012

Neues Geschäftsmodell14%

Finance/Accounting8%

Distribution/Logistik7%

5%7%

Vertrieb15%

Kundenorientierte Ergebnisse

49%

Risiko-/Finanzmanagement15%

Herstellung/Produktion8%

Marketing15%

Kundenservice13%

kundennaher Einsatz43%

Betriebliche Optimierung18%

Quelle: IBM/Oxford University (Mitte 2012) / n = 1067 / weltweite Studie

Produktentwicklung11%

IT11%

Quelle: TATA Consultancy Services / n = 1.217 / weltweite Studie

Key Findings zum Einsatzgebiet und den Zielen

� Insgesamt stehen vor allem vertriebsnahe Beweggründe im

Z h it Bi D t P j kt i V d dZusammenhang mit Big Data Projekten im Vordergrund

� Auch die deutschlandweite Studie der EXPERTON Group sowie

eine Studie des Fraunhofer Institutes führen zu einem ähnlichen

Resümee



� Viel Potential wird zudem im Logistik-Bereich gesehen

Agenda






Implementierung und Architektur

Anforderungen an Technologien zur Nutzung der Big Data

Daten

Anwendungen

Nutzung

Welche Folgen haben dieseDimensionen von Big Data

für die IT?Big

Data

Big

Data

Big

Data Nutzungfür die IT?DataDataData

Folgen für Software-LösungenFolgen für Software-Lösungen

� Insbesondere im Software-Bereich vollziehen sich

signifikante Veränderungen, um den

Anforderungen an die Big Data gerecht zu werden

� Es ergeben sich deutliche Veränderungen für

� Insbesondere im Software-Bereich vollziehen sich

signifikante Veränderungen, um den

Anforderungen an die Big Data gerecht zu werden

� Es ergeben sich deutliche Veränderungen für

Folgen für Hardware-Lösungen

� Ausbau der Bandbreiten zur Datenübermittlung

� Speichermöglichkeiten der wachsenden Daten

�

Folgen für Hardware-Lösungen

� Ausbau der Bandbreiten zur Datenübermittlung

� Speichermöglichkeiten der wachsenden Daten

�Datenbank-Technologien und Schwerpunkte

bestehender Datenbanken verändern sich

Datenbank-Technologien und Schwerpunkte

bestehender Datenbanken verändern sich

33% 0% 67%Sonstige

Bereiche, in denen mit den größten Wirkungen auf die IT-Infrastruktur gerechnet wird

� ��

76%

64%

64%

33%

23%

26%

26%

0%

1%

10%

10%

67%

Storage / Datenbanken

Netzwerk-Infrastruktur(Switching, Router, Loadbalancing)

Kapazität Bandbreite

Sonstige

55%

64%

76%

32%

30%

23%

13%

6%

1%

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Analyse- & Reportingsysteme

Server / CPU-Last

Storage / Datenbanken



0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

hohe Zustimmung mittlere Zustimmung niedrige ZustimmungQuelle: Experton Group(Mrz./Apr. 2012) / n = 85 / deutschlandweite Studie


Analytische versus Big Data Systeme und die Auswirkungen auf den Analyseprozess

Vergleich der SchwerpunkteProzess der Big Data Analyse

(explorative Analyse)

Analytische

Systeme (DW / BI)

Big Data

Systeme

Zentrale Datenhaltung,ll D t ü kt

Daten existieren an mehreren

St ll U i k it

Business und IT identifizieren Datenquellen

alle Daten müssen exakt zueinander passen

Stellen, Ungenauigkeitensind akzeptabel

Qualitativ hochwertigeDaten

Einfachheit der Nutzung

IT stellt Plattform zur

Strukturierte, bereinigteund aggregierte Daten

Verarbeitung der Rohdatenmit vielen unterschiedlichen

Formaten

IT stellt Plattform zur Verfügung

Wiederkehrende Berichte Interaktion in Echtzeit

Periodische Erstellung Optimiert für Flexibilität

Business bewertet Daten

(Basis für kreatives Erkunden der Daten)

ZentralistischeOrganisation

Heterogene, dezentrale

Organisation

Ergebnisse werden mit klassischen Quellen zusammengeführt



zusammengeführt


Überwindung der Herausforderungen bei der operativen Umsetzung der Big Data-Lösung

Datenaufzeichnung /

� Identifikation relevanter Datenquellen

Filt “ d üt li h D t

� Identifikation relevanter Datenquellen

Filt “ d üt li h D t

�Definition geeigneter Filter

D fi iti d i hti “ M t d t

�Definition geeigneter Filter

D fi iti d i hti “ M t d t

UmsetzungUmsetzung HerausforderungenHerausforderungenStufeStufe

�Datenextraktion aus Originalquelle�Datenextraktion aus Originalquelle �Schwierigkeiten bei der Überführung der�Schwierigkeiten bei der Überführung der

Datenaufzeichnung / -

sammlung

� „Filterung“ der nützlichen Daten

�Generierung von Metadaten zur Beschreibung und Aufzeichnung der Daten

� „Filterung“ der nützlichen Daten

�Generierung von Metadaten zur Beschreibung und Aufzeichnung der Daten

�Definition der „richtigen“ Metadaten

�Datenbanksysteme, die den Ursprung der Daten nachvollziehen (Provenance)

�Definition der „richtigen“ Metadaten

�Datenbanksysteme, die den Ursprung der Daten nachvollziehen (Provenance)

Extraktion / Bereinigung

g q

�Überführung in analysefähige Formate

� Bereinigung der Daten zur Validierung (Fehlermodelle)

g q

�Überführung in analysefähige Formate

� Bereinigung der Daten zur Validierung (Fehlermodelle)

Schwierigkeiten bei der Überführung der Formate (applikationsabhängig)

�Fehlermodelle und Datenbereinigungs-methoden existieren oft noch nicht

Schwierigkeiten bei der Überführung der Formate (applikationsabhängig)

�Fehlermodelle und Datenbereinigungs-methoden existieren oft noch nicht

Integration / Bereinigung

�Datenintegration zur Ermöglichung automatisierter Computeranalyse

�Datenbankdesign und -struktur

�Datenintegration zur Ermöglichung automatisierter Computeranalyse

�Datenbankdesign und -struktur

�Heterogenität der Daten

�Frühe Entwicklungsstufe der Big Data Integration

�Vor- und Nachteile einzelner Designs

�Heterogenität der Daten

�Frühe Entwicklungsstufe der Big Data Integration

�Vor- und Nachteile einzelner Designs

Analyse / Modellierung

�Datenabfrage und Data Mining

� Interaktive Datenanalyse / Realtimeabfrage

�Verbindung von Datenbanken und Analytics-Software

�Datenabfrage und Data Mining

� Interaktive Datenanalyse / Realtimeabfrage

�Verbindung von Datenbanken und Analytics-Software

�Heterogenität, Dynamik, Interaktion und geringe Vertrauenswürdigkeit von Big Data

�Koordination zwischen Datenbanken und Analytics-Software

�Heterogenität, Dynamik, Interaktion und geringe Vertrauenswürdigkeit von Big Data

�Koordination zwischen Datenbanken und Analytics-SoftwareSoftwareSoftware Analytics-SoftwareAnalytics-Software

Interpretation

�Applikationen, welche Nachvollziehbarkeit der Analyseergebnisse und ihrer Annahmen (Provenance) gewährleisten

�Applikationen, welche Nachvollziehbarkeit der Analyseergebnisse und ihrer Annahmen (Provenance) gewährleisten

� In bestimmten Fällen geringe Vertrauens-würdigkeit und Fehleranfälligkeit von Big Data

� In bestimmten Fällen geringe Vertrauens-würdigkeit und Fehleranfälligkeit von Big Data



�Visualisierung der Ergebnisse�Visualisierung der Ergebnisse �Komplexität erschwert die Visualisierung�Komplexität erschwert die Visualisierung


Auswirkungen auf die IT-Architektur der transaktionalen und analytischen Systeme

Durch die veränderten Schwerpunkte, die sich durch Big Data Systeme ergeben, entstehen auch veränderte technische Anforderungen. Folgende Techniken spielen besonders

� Verteilung von Daten auf Knoten� (Skalierbarkeit durch Parallelisierung

der Auswertung)� “

wichtige Rollen.

)

� Verarbeitung mit „Map-Reduce“ Technik� (Datenanalyse, die Informationen

strukturiert, shuffelt und anschließend reduziert) Die bestehende IT-

Infrastruktur vielerIn-Memory

A li ti

� Ablage von Daten im Arbeitsspeicher� Ermöglicht deutlich schnellere

Datenbank-Abfragen� Vor allem für analytische Anwendungen

i t

Infrastruktur vieler

Unternehmen erlaubt einen graduellen Übergang auf Big Data Lösungen bzw dieApplication

� Steht für „Not only SQL“� Datenbanken die einen nicht

geeignet Big Data Lösungen bzw. die

Integration mit Big Data

Konzepten

� Datenbanken, die einen nicht-relationalen Ansatz verfolgen

� Verzicht auf starre Schemata, Daten werden ohne feste Struktur gespeichert




Maßgeschneiderte Big Data-Architektur für Ihren Anwendungsfall

Um das große Datenvolumen schnell verarbeiten zu können, ist der Aufbau einer maß-geschneiderten Big Data-Architektur notwendig.

Big Data Applikationen

Au

tom

aA

uto

ma

VisualisierungVisualisierung

Reports

Alerts

Beliebige Reporting

-Tools

Dashboards BI Suite

Cockpits Modelle

Analytische Data Warehouses & Data Marts

Reporting & Visualisierung

AnalyseAnalyse

SQL In Memory DB Stream Engine

ODS KI“ I di DW

Beliebige Analytics

atis

ierte

Ab

atis

ierte

Ab

Analytics (Traditionell & Advanced)

Toolsp

Datenbanken & Tools

ODS „KI“ Indizes DW -Tools

bla

ufs

teu

er

bla

ufs

teu

er

InformationsbeschaffungInformationsbeschaffung

Sicherheitsinfrastruktur

Operative Datenbanken

ru

ng

ru

ngDaten Verfeinerung

(Hadoop)

Trans-

formation

Laden SQL, No SQL

New SQL, Files



Physische Infrastruktur


Technologien & Informationsaustausch

Regelmäßiger Informationsaustausch

Regelmäßiger Informationsaustausch

Big Data – Technologien (Auswahl)Big Data – Technologien (Auswahl)

� Verteilung von Daten auf Knoten(Skalierbarkeit durch Parallelisieren der Auswertung)

� Verarbeitung mit „Map-Reduce“ Technik(Datenanalyse, die Informationen strukturiert, verteilt und anschließend reduziert)

In-Memory

Application

� Ablage von Daten im Arbeitsspeicher� Ermöglicht deutlich schnellere

Datenbank-Abfragen� Vor allem für analytische Anwendungen

Applicationgeeignet

� St ht fü N t l SQL“

HANA� Steht für „Not only SQL“� Datenbanken, die einen nicht-relationalen

Ansatz verfolgen� Verzicht auf starre Schemata, Daten

werden ohne feste Struktur gespeichert



g p


Funktionsweise von Hadoop

Der Einsatz hat Folgen für:

� Volume� Variety� Velocity


� Volume� Variety� Velocity

en

de

zip

ien

en

de

zip

ien • Cluster-Datei-System verteilt die

Daten auf verschiedene Systeme in einem Rechnerverbund

HDFS*

• Ablage der Daten in zerlegter Form (die Größe der

Datenblöcke ist vom System definiert)

• Replikation der Blöcke beugt Datenverlust bei

� Velocity� Velocityi g

run

dle

ge

isch

e P

rin

z

i g

run

dle

ge

isch

e P

rin

z einem Rechnerverbund

• Datenverarbeitung im Ablageort

• Replikation der Blöcke beugt Datenverlust bei

Knotenausfall vor („Sicherheits-Blöcke“)

Zw

ei

tech

n

Zw

ei

tech

n

Datenverarbeitung im Ablageort durch die Aufteilung der Daten-verarbeitung in kleine Portionen und ihre parallele Abwicklung

MapReduce

Systemvoraussetzungen für den Hadoop-Einsatz

� Grundsätzlich mit Hilfe von Standardrechnern durchführbar� Dateisystem muss auf Fehlertoleranz ausgelegt sein, da in einem solchen Rechnerverbund von Hardwareausfällen

auszugehen ist (funktioniert mit beschriebener Replikation der Blöcke)� Java Developer Kit ab V 1.6� Linux als Betriebssystem wird empfohlen



� Linux als Betriebssystem wird empfohlen

*HDFS = Hadoop Distributed File System


Funktionsweise von in Memory-Datenbanken

In-MemoryDer Einsatz hat Folgen für:

�VelocityDer Einsatz hat Folgen für:

�Velocity

Application

Warum ist das Speichern pvon Informationen im Arbeitsspeicher

für Big Data Analysen so interessant?

Wenn Daten im Arbeitsspeicher und nicht auf anderen Speichermedien abgelegt werden, wird

die Geschwindigkeit erhöht, mit der Datenbanken auf diese Daten zugreifen können.

Daten können schnell ausgewertet und damit

beispielsweise sogar in Echtzeit in Prozesse

eingebunden werden!



eingebunden werden!


Funktionsweise von NoSQL


�Variety


�Variety

Was macht den Einsatz einer Datenbanksprache, die nicht nur relationale Datenstrukturen verarbeiten können,

yy

die nicht nur relationale Datenstrukturen verarbeiten können, notwendig?

Unstrukturierte Datenmengen können nicht

mit Datenbanken ausgewertet werden, die

auf Relationen und Tabellen aufbauen.

W i t d U t hi d N SQL h kö li h SQL D t b k t kt ?Was ist der Unterschied von NoSQL zu herkömmlichen SQL-Datenbankstrukturen?

� NoSQL benutzt eine festen Tabellenschemata als Datenspeicher � SQL kann schlecht mit häufig ändernden Datenstrukturen umgehen, die aber zunehmend wichtiger werden� NoSQL hat nur geringe Sicherheit bezüglich der Datenkonsistenz, deren Problematik sich jedoch aufgrund der häufig



extrem hohen Datenmenge relativiert


Big Data Security – Exemplarische Risiken entlang der Prozesskette

Risiken für die Datensicherheit und den Datenschutz existieren entlang der gesamten Prozesskette von der Erfassung bis zur Bereitstellung der Berichte. Die Sicherheits-anforder ngen steigen mit Z nahme der Datenmenge der Daten ielfalt nd der

Exemplarische

Darstellung Risiken:N t k i ht fü b

Risiken:• Verlust der Vertraulichkeit im

Datentransfer

anforderungen steigen mit Zunahme der Datenmenge, der Datenvielfalt und der Geschwindigkeit der Verarbeitung.

Analyse BerichtswesenErfassung / Extraktion

g• Netzwerk nicht verfügbar• Fehler während der Übertragung

Datentransfer• Nicht-autorisierte Änderung von Daten

im Transfer

Non-

SAP

SAP Analytics

AnalyseErfassung / Extraktion

!!

!!

!Quellsysteme

! !

Risiken:• Datensynchronisation nicht möglich, da

Quellsysteme nicht verfügbar• Nichteinhaltung von Gesetzen bei der

Erfassung und Speicherung von Daten

Risiken:• Nicht-authorisierte Änderungen

von Daten• Gefahr von Datenschutzverstössen

durch Anreicherung von Daten• Mangelnde Zugriffskontrolle auf

Risiken:• Mangelnder Zugriffsschutz• (Nachträgliche) Manipulation der

Berichte?



g p g• Unsichere Rechtslage bei der

Verarbeitung (z.B. bzgl. Datenschutz)

Mangelnde Zugriffskontrolle auf Daten


Big Data Security – Risikobewertung

NonSAP A l ti

Analyse BerichtswesenErfassung / Extraktion

1 2 1 2Non-

SAP

SAP Analytics

Quellsysteme

1

1 2

33 4

4

3

4 1

Exemplarisch

1 2

IT Risiko Matrix (exemplarisch)Top Risiken (Auszug)

Gefährdung der Aussagequalität der Berichte aufgrund von nicht autorisierten Änderungen der Daten oder dem Verlust der Verfügbarkeit einzelner Komponenten

1

Sehr

Hoch

IT Risiko Matrix (exemplarisch) Top Risiken (Auszug)

Verlust der Vertraulichkeit /Integrität während der Datenübertragung durch unzureichende Sicherheitsmaßnahmen (Keine digitalen Signaturen, keine Verschlüsselung)

2

Mittel

2

3

1

ein

lich

keit

g)

Verlust der Zugriffskontrolle von Daten durch unzureichende Berechtigungskonzepte

3

4 Nichteinhaltung von Gesetzen und Unternehmensrichtlinien

Mittel

4

5Wah

rsch

e

Unternehmensrichtlinien

5Unsichere Rechtslage z.B. hinsichtlich des Datenschutzes kann zu unbewussten rechtlichen Verstößen führen

Sehr

Gering

Sehr Mittel Kritisch



Schadenshöhe

Sehr

niedrig

Mittel Kritisch

Ansprechpartner

Michael Brenner

Senior Manager

Consulting

Alfredstraße 277 Tel. +49 (201) 455-8569

Moritz Schneider

Manager

Consulting

Tersteegenstraße 19-31 Tel. +49 (211) 475-8679

D 45133 Essen Mobil +49 (174) 3277231

[email protected]

D40474 Düsseldorf Mobil +49 (174) 3904722

[email protected]



© 2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a

subsidiary of KPMG Europe LLP and a member firm of the

KPMG network of independent member firms affiliated withKPMG network of independent member firms affiliated with

KPMG International Cooperative ("KPMG International"), a

Swiss entity. All rights reserved.

Der Name KPMG, das Logo und „cutting through

complexity“ sind eingetragene Markenzeichen von KPMG

International Cooperative ( KPMG International“)International Cooperative („KPMG International ).

Documents

EINFÜHRUNGS- VORTRAG „BIG DATA“ - hgnc.de¼hrungsvortrag... · Nutzen und Bedeutung von Big Data Definition und Strukturierung des Big Data Begriffes Für den Begriff Big Data