31
Big Data und Predictive Analytics - der Nutzen von Daten für präzise Prognosen und Entscheidungen in der Zukunft Prof. Dr. Michael Feindt, Karlsruhe Institute of Technology KIT Chief Scientific Advisor, Blue Yonder GmbH & Co KG Big Data Frankfurt 20. November 2012

Big Data und Predictive Analytics - der Nutzen von Daten für präzise

Embed Size (px)

Citation preview

Big Data und Predictive Analytics -

der Nutzen von Daten für präzise Prognosen und Entscheidungen

in der Zukunft Prof. Dr. Michael Feindt, Karlsruhe Institute of Technology KIT Chief Scientific Advisor, Blue Yonder GmbH & Co KG Big Data Frankfurt 20. November 2012

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

Big Data: Google, Facebook: Unstrukturierte Daten Map Reduce Für sehr viele Anwender bedeutet es aber auch etwas ganz anderes: Technologie am CERN und anderen Teilchenbeschleunigern Grid Computing Predictive Analytics, NeuroBayes® Datengetriebene Entscheidungsfindung in Unternehmen

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

Predictive Analytics - das IT-Thema der kommenden Jahre gigantischer Wert der in Data Warehouses gesammelten Daten Optimierung und Automatisierung von strategischen, aber vor allem regelmäßig wiederkehrenden operativen Entscheidungen Predicitve Analytics Software nutzt Informationen in Unternehmensdatenbanken, und kombiniert sie ggf. mit externen Datenquellen, und verarbeitet sie mit modernsten mathematischen Methoden, um mittels Wahrscheinlichkeiten Prognosen über die Zukunft zu machen und ggf. optimale Entscheidungen zu treffen

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012 4

Big Data am CERN: 40 Millionen mal pro Sekunde eine Kollision. 1 PByte= 1015 Byte= 1.000.000.000.000.000 Byte Daten/ Sekunde

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

Trigger:

Daten-

reduktion

1/10 Mio.

1 PB pro Jahr müssen gespeichert und tausenden Physikern weltweit zur Verfügung gestellt werden à GRID

Datenraten

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

1 PetaByte = 1015 Byte

Wenn 1 Bit

einem Blatt

entspricht

entspricht 1 PByte

allen Blättern auf der Erde

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

NeuroBayes® Ein High-Tech-Algorithmus aus der experimentellen Elementarteilchenphysik kann komplexe Zusammenhänge aus historischen Datenbanken von Firmen lernen und zur Prognose für die Zukunft nutzen.

Basiert auf einem künstlichen neuronalen Netzwerk. Ist aber viel mehr.

Äußerst hohe Generalisierungsfähigkeit (d.h. die Vorhersagen treffen innerhalb ihrer angegebenen Unsicherheiten auch ein.)

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

Wissen aus der Spitzenforschung in der Hochenergiephysik

Seite 8

Riesige Datenmengen Von hunderten von Tera-Byte bis zu Peta-Bytes Rohdaten

CERN, Fermilab, KEK die größten Teilchenbeschleuniger der Welt

Teilchenkollisionen 40.000.000 Kollisionen pro Sekunde.

Ein interessantes Ereignis pro 10 Mio. Kollisionen

Angewendet auf Problemstellungen in der Wirtschaft

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

Predictive Analytics vs. Business Intelligence

Seite 9

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

Positionierung von Blue Yonder im Analytics Space ( )

Seite 10

Source: September 20, 2011, “Understanding The Business Intelligence Growth Opportunity” Forrester report

Positionierung Big Data/Analytics Stack

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012 Page 11

Was wäre wenn ein großer Händler genau wissen würde wie viel Obst von welcher Sorte an welchem Tag verkauft wird?

Was wäre, wenn ein Betreiber von Windkraftanlagen wüsste, welche Anlage aus welchem Grund demnächst ausfällt?

Mehr als 40.000 installierte Anlagen Milliarden von Sensordaten Planung von präventiven Wartungsmaßnahmen zur Reduktion von Ausfallzeiten

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012 Page 12

Was wäre, wenn Onlinehändler wüssten, wie hoch die Retourenquoten pro Artikel sind?

Mehr als 300.000 Artikel im Angebot Millionen von Benutzerinteraktionen Reduktion von Lager- und Restbeständen durch Prognose von Absatz- und Retourenquoten auf Artikelebene

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012 Page 13

Was wäre, wenn Energieversorger den Energieverbrauch Ihrer Kunden Tage im voraus wissen würden?

6 Mio. Kunden mit Lastprofilen Millionen Datensätze von Smart-Metern Optimierte Abdeckung von Lastspitzen durch günstige Zukäufe am Strommarkt

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012 Page 14

Was wäre, wenn ein Versicherer kundenindividuelle Risiken über Monate und Jahre in die Zukunft kennen würde?

Millionen von Kunden, hunderte Millionen von historischen Transaktionen Faire, risikoadjustierte Tarife Präziser Überblick über das Risiko der Versicherung

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012 Page 15

Was wäre, wenn Mode in der richtigen Farbe und Größe nie ausverkauft wäre?

Stationär-, Versand-, Onlinehandel Bessere Absatzprognosen und optimierte Disposition für 100.000 Artikel, um Lagerhaltung und Lieferbarkeit zu verbessern

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

1000 Filialen, 5000 Frischeartikel Bis zu 5 Mio. Bewegungen pro Tag Bis zu 1,5 Mrd. Bewegungen pro Jahr Bestimmung der optimalen Bestellmenge für Filiale/Artikel/Tag

Page 16

Was wäre, wenn ein großer Händler genau wissen würde, wie viel Obst von welcher Sorte an welchem Tag verkauft wird?

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

Ein Unternehmen mit klugen Köpfen

Gegründet 2008, gehört Blue Yonder mit der NeuroBayes Suite zu den führenden Anbietern im Bereich Prognosen und Mustererkennung von Daten – kurz: Predictive Analytics.

Seite 17

»  Einzigartige Predictive Analytics Suite mit einer Kombination aus statistischen Algorithmen und neuronalen Netzen

»  Ausgezeichnete sowie erfahrene Physiker und Informatiker von renommierten Instituten wie dem CERN bilden das Entwicklungsteam

»  NeuroBayes hat seinen Ursprung in der experimentellen Teilchenphysik und wurde in über 400 Mannjahren entwickelt.

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

Differenzierung: die besseren Algorithmen / Mitarbeiter / Ergebnisse

Seite 18

Data Mining Cup Top Produkt Handel

Gewinner 2006 ,,Auktionspreise“ (,,ebay“) Gewinner 2009 „Verkaufsprognose“ („Libri“) Gewinner 2010 „Intelligentes Couponing“ („Amazon“)

Nach Bronze in 2011 zeichneten die Leser von der Fachzeitschrift „handelsjournal“ NeuroBayes in 2012 in der Rubrik Wirtschaftlichkeit mit Silber aus.

Cyberchampion Award

Gewinner „High Potentials“

Die CyberChampions wendet sich an junge und expandierende Unternehmen aus der erweiterten Technologieregion Karlsruhe.

Retail technology award: Best Enterprise Solution für Blue-Yonder-Kunden OTTO

Retail Technology Award

Bwcon:CyberOne Award

2012: Blue Yonder innovativstes Mittelstands-/Wachstums-unternehmen Baden-Württembergs

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

Neuronale Netzwerke Die Information (das Wissen, die Expertise) steckt in den Verbindungen zwischen den Nervenzellen. Jedes Neuron trifft unscharfe Entscheidungen (Fuzzy-Logik)

NeuroBayes®

> lernt extrem schnell aus historischen Daten (WochenàMinuten) > ist extrem robust > unterdrückt statistisches Rauschen (hohe Generalisierungsfähigkeit) > kann binäre Entscheidungen treffen (klassifizieren) > kann komplette Wahrscheinlichkeitsdichten berechnen > macht zuverlässige Prognosen für die Zukunft

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

Vorhersage der kompletten Wahrscheinlichkeitsdichte- Verteilung

Modus Erwartungswert

Standardabweichung

(Volatilität)

Abweichung von Normalverteilung

(heavy tails)

Prof. Dr. Michael Feindt, Blue Yonder, Karlsruhe 29.Sept. 2011

z.B.

Individuelle Risikoprognosen

für Kfz-Versicherungen:

Schadenwahrscheinlichkeit

Verteilung der Schadenhöhe

Großschaden-Prognose

Kündigungs-Prognose

sehr erfolgreich

eingesetzt bei

Prof. Dr. Michael Feindt, Blue Yonder, Karlsruhe 29.Sept. 2011

Korrelationen zur Zielvariablen im „Ramler II-Plot“

Prof. Dr. Michael Feindt, Blue Yonder, Karlsruhe 29.Sept. 2011

Test

VDI-Nachrichten, 9.3.2007

Test

Börsenzeitung, 6.2.2008

Prognose von Finanzmärkten

2007-2012: NeuroBayes®-basierter risikoarmer marktneutraler Fonds für institutionelle Anleger: Lupus Alpha NeuroBayes® Short Term Trading Fonds Vollautomatisches System: Umsatz 87 Mrd ¤€.

Prof. Dr. Michael Feindt, Blue Yonder, Karlsruhe 29.Sept. 2011

Prof. Dr. Michael Feindt, Blue Yonder, Karlsruhe 29.Sept. 2011

Prof. Dr. Michael Feindt, Blue Yonder, Karlsruhe 29.Sept. 2011

Aktuelle Situation

Print Online Print-induziert

Katalogstart

Optimierung bisheriger Ausstattungspolitik durch <<NeuroBayes® driven Reinforcement Learning>>

Katalogstart

Print Online Historische

Situation bei Nicht-

ausstattung

Katalogstart (Katalogstart) Katalogstart

Katalogstart Katalogstart Katalogstart Print Online

Historische Situation bei Ausstattung

Komplexe NeuroBayes®-Analysen: Printinduzierter Onlineumsatz

Prof. Dr. Michael Feindt, Blue Yonder, Karlsruhe 29.Sept. 2011

NeuroBayes®- Beispiel: Prognose des Deckungsbeitrags einer Katalogversendung

optimale Ausstattungstiefe

Prof. Dr. Michael Feindt, Blue Yonder, Karlsruhe 29.Sept. 2011

Das <phi-t> Mausspiel: oder: sogar Ihr ``freier Wille´´ ist vorhersagbar

//www.phi-t.de/mousegame

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

Technologieübersicht: NeuroBayes »  Systemintegration auf Basis von

Standardprotokollen und Schnittstellen »  Hoch performante, skalierbare

Datenprozess-Architektur

Seite 29

»  Verarbeitet Daten sowohl in Batch als auch Real-time

»  Training zur Laufzeit ohne Leistungseinbußen möglich

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

Automatisierte Warenbeschaffung …

»  Mengengerüst •  1000 Filialen, 5000 Artikel im Frischesortiment

5 Mio. Entscheidungspunkte pro Tag •  30 Tage Prognosehoziront

150 Mio. Prognosen pro Tag •  2000 Wetterprognosen pro Tag, 5 Tage Horizont

10000 Wetterprognosen pro Tag •  Datenvolumen einfach: 2-4 GB pro Tag, 0.7-1.4 TB pro Jahr •  Datenvolumen Vollsortiment & Bondaten: ca. 100 TB – 500 TB pro Jahr

Seite 30

Velocity

Volume

Variety

Prof. Dr. Michael Feindt, KIT und Blue Yonder, Big Data Frankfurt , November 2012

Blue yonders NeuroBayes®-Technologie erlaubt:

»  Verarbeitung von extrem viel Daten »  Extreme Prognosegüte und Generalisierbarkeit »  Extreme Geschwindigkeit im Anwendungsmodus »  Extreme Robustheit und Zuverlässigkeit »  Extreme Automatisierung »  Big Data- und Predictive Analytics-Erfahrung aus der internationaler

Spitzenforschung (nicht nur Theorie, sondern PRAXIS) »  + langjähriges breites Branchen Know-How = “Rocket Science” für Ihr Unternehmen