Big Data Chancen und Anwendungsbeispiele...• mangelnde Bekanntheit von Big Data Anwendungen und Technologien (35%). • Um die bestehenden Defizite zu ändern, wünschen sich 95%

© Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Big Data – Chancen und Anwendungsbeispiele

Dr. Michael May

Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

www.iais.fraunhofer.de

GI Regionalgruppe Köln, 5.6.2013

http://www.iais.fraunhofer.de/


Alle Reden über Big Data …

2


Big Data Das Themenfeld laut BITKOM

3

Quelle: BITKOM Big Data Leitfaden, 2012. BITKOM AK Big Data.


Open-Source Technologien im Kontext von Big Data (Auswahl)


Kommerzielle Anbieter im Kontext von Big Data (Auswahl)


Über das Projekt

Fördergeber

Bundesministerium für Wirtschaft und Technologie, Laufzeit Juli 2012 bis Dezember 2012

Erstellung einer Markt- und Potentialanalyse für Big Data

Aufzeigen konkreter Handlungsoptionen für Wirtschaft, Politik und Forschung

Zielgruppe: Führungskräfte und Entscheider aus Wirtschaft und Politik

Vorgehen:

6

Recherche (Bestandsaufnahme)

Branchenspezifische Zukunftsworkshops (Qualitative Untersuchung)

Online-Umfrage (Quantitative Untersuchung)


Jede Branche hat charakteristische Unternehmensbereiche für Big Data Anwendungen

7

Recherche

Wir haben international Big Data Use Cases recherchiert und 50 Fälle systematisch aufbereitet


Ausgewählte Ergebnisse der Online-Umfrage

• 69% aller Befragten in unserer Online-Umfrage wollen strategische Wettbewerbsvorteile durch Big Data erzielen.

• 78% teilen mit, dass sie Ihre personellen Ressourcen im Bereich Big Data verbessern müssen.

• 67% der Befragten teilen mit, dass das Budget für Big Data Themen (Technologien, Analysen, Datenquellen exkl. Personal) steigen sollte.

• Nur 8% der Befragten geben an, dass keine Umsetzungsbarrieren existieren.

8


Ausgewählte Ergebnisse der Online-Umfrage

• Die Hauptprobleme in der Umsetzung liegen in den Bereichen

• Datenschutz und -sicherheit (49%)

• Budget/Prioritätensetzung (45%)

• technische Herausforderungen des Datenmanagements (38%)

• Expertise (36%)

• mangelnde Bekanntheit von Big Data Anwendungen und Technologien (35%).

• Um die bestehenden Defizite zu ändern, wünschen sich 95% der Befragten Förderung in Form von

• Best Practices, Trainings, gefolgt von Anbieter- und Lösungsübersichten sowie überarbeiteten Datenschutzvorgaben

9


BEISPIELE FÜR BIG DATA ANWENDUNGEN


Living Lab Big Data

me

ssa

ge

pa

ssin

g

message passing

Batch Layer

Real-time

Layer

Data Storage

Input Stream

Batch View

Real-time

View

Architektur Emotionen für Technik Analysen in Echtzeit

Optik

Sound

Verbrauch

Freude

Getriebe

Motor

Ärger

Elektronik

me

ssa

ge

pa

ssin

g

message passing

Batch Layer

Real-time

Layer

Data Storage

Input Stream

Batch View

Real-time

View

Visuelle Datenexploration

Über 3,5 Mio. Emotionen


Monitor ing verteilter Prozesse

Grundidee: Intelligenz und Lernen in die Sensoren und dezentralen Prozesse (an die Quelle) verlagern

Kommunikationseffizienz: Vermeidung der Zentralisierung

Global System Health Monitoring großer, verteilter Netzwerke, Systeme menschlicher Mobilität, Kommunikationssysteme etc.

flexible, skalierbare Lernverfahren mit statistischen Fehlergarantien

Tausende

- Knoten

- Links

- kritische Ereignisse bzw. Phänomene

FP7-ICT-2009-C

Local Inference in Massively Distributed Systems – EU 2010-2013


frühzeitige Detektion von S törungen/ Aus fä l len in Datenzentren

Bis 100k Geräte

>250 Terabytes

Health & Prozess Logs

Signifikante Ausfallraten

Fragen aus der Praxis:

Welche Prozesse verhalten sich auffällig?

Welche Maschine steht kurz vor einem Ausfall?

Welche Nutzungsmuster lassen sich identifizieren?


Cloud-Dienste operieren auf großen, verteilten Rechenzentren

Monitoring aller Systemprozesse und Hardware: HD Schreibrate, °C, CPU-Auslastung, Prozessanzahl, Transaktionen, Reaktionszeit etc.

Latente Ausfälle in der Cloud

Big Data Ansatz:

Datenintegration möglichst heterogener Sensordaten

Komplexe Verhaltensänderungen berücksichtigen

Gesichertes, frühzeitiges Erkennen von Ausfällen

nicht-parametrische, nicht-überwachte Verfahren

Klass isch:

statische, regelbasierte Verfahren sind limitiert

überwachte maschinelle Lernverfahren sind inflexibel

reaktives Monitoring


1 4 Ta g e – Ausfälle von Maschinen bis zu 2 Wochen im vorhinein prognostizieren

7 0 % - Grad der Präzision (=70% der detektierten Maschinen fallen innerhalb der nächsten 14 Tage aus)

2 % False-Positives-Rate

neue Fehlertypen identifiziert

Empirische Ergebnisse

Datengrundlage

Cloud mit 4.500 Knoten

Monitoring Daten über 60 Tage / 12TB pro Tag

2%Ausfallrate täglich healthy machines

faulty machine

Work done by LIFT partner Technion: Gabel, Schuster et al, Latent Fault Detection in Large-Scale Services, DSN‘12

Wie erkennt man abnormales

Verhalten ohne gleichzeitig viele False Positives zu

generieren?



Worin liegen die Ursachen für schlechte Gesprächsqualität und

häufige Abbrüche?

Wie beeinflusst dies meine Kundenzufriedenheit und -treue?

Funknetzplanung und Optimierung

50.000 Zellen

100+ Terabytes

>50 Parameter

Hardwarevielfalt


Sichere Detektion von Ri s iko lagen im Katastrophenschutz


Wie können Sensornetze und Informationen aus der Bevölkerung

(Social Media, Crowd-Sourced Knowledge) für die Früherkennung und

Folgebeobachtung von Risikolagen genutzt werden?

1 Mrd. Tweets

100 Mio. Handys

Reaktion in weniger als 15 Min.


INSIGHT Intelligent Synthesis and Real-time Response using Massive Streaming of Heterogeneous Data (EU 2012-2015)

INSIGHT

Früherkennung von potentiellen

Katastrophenereignissen

Analyse von Social Media,

Mobilifunk, Sensordaten

Big Data Architektur

Crowd-Sourcing Ansätze zum

Aktiven Lernen

Neue Methoden zum Monitoring,

Verarbeiten, Analysieren massiver

Datenströme


Big Data Infrastructure

Machine Learning

Visual Analytics

Technolog ien als neue Werkzeuge

Technologies Entity Recognition Temporal Analysis

Spatial Analysis Clustering

Topic Recognition Relation Detection

Graph Analysis Mobility Analysis

Fraud and Anomaly Detection

Stream Mining

Data

Prozessdaten Mobile Phone Data

Movement Data Social Media

Enterprise Data Geodata

Web Presences (WWW) Sensor Networks

Counter

Results

Persons, Places, Dates, Organizations, Events,

Product Names Temporal Patterns

Spatial Patterns Topics + Sentiments

Relations Graphs

Mobility Patterns Fraud Patterns + Occurences


Nutzen aus Big Data

W ISSEN AUS PROZESSEN

Erkennen von kritischen Zuständen, Verstehen der Ursachen

von Ereignissen, Früherkennung von Ausfällen

Optimierung der Konfigurationen und Steuerungen

Mehr Agilität in den Prozessen bei Erhaltung der Stabilität

Neue Verfahren zum Benchmarking, zur Qualitätssicherung

und zur Entwicklung adaptiver Systeme


„Werden Sie Data Scientist!“ - Data Scientist Schulungen von Fraunhofer IAIS

Big Data Architektur

Data Scientist Natural

Language Processing

(NLP)

Data Scientist Big Data Analytics

Basics

2 Tage 2 Tage 2 Tage

Ab Mai 2013 Ab Oktober 2012 Ab Mai 2013

Data Scientist Visual

Analytics

2 Tage

Ab Mai 2013

Details: www.iais.fraunhofer.de/data-scientist.html

Documents

Big Data Chancen und Anwendungsbeispiele...• mangelnde Bekanntheit von Big Data Anwendungen und Technologien (35%). • Um die bestehenden Defizite zu ändern, wünschen sich 95%