StartIdee NeuroBayes Idee HintergrundZiele NeuroBayesf(t|x ...feindt/Wuppertal.pdf · Historie B Vorhersehbar Bei einfachen klassischen physikalischen Prozessen ist das Ergebnis exakt

Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung SpielIdee NeuroBayes A BHintergrund Anwendung Beispiel Projekt l Projekt llHistorie AblaufStart Idee Summary ANeuroBayes

Prof. Dr. M. Feindt KIT / Phi-T NeuroBayes Univ. Wuppertal 15.11.2010

Prof. Dr. Michael Feindt

KCETA, KIT

Wissenschaftlicher Beirat Phi-T Physics Information Technologies GmbH

NeuroBayes- ein Prognose-Algorithmus aus der Teilchenphysik erobert die Wirtschaft

15. November 2010Univ. Wuppertal

1


Prof. Dr. M. Feindt KIT / Phi-T NeuroBayes Univ. Wuppertal 15.11.2010 35


35

Vorhersehbar

Bei einfachen klassischen physikalischen Prozessen ist das Ergebnisexakt vorhersagbar(eine Ursache erzeugt eineeindeutige Wirkung, Determinismus)

Beispiele hierfür sind:

Pendel, Planetenbahnen,Billard, Elektromagnetismus…





36

Zufall

Rein zufällige Ereignisse sind prinzipiell nicht vorhersagbar(auch bei genauer Kenntnis der Ausgangssituation!)

Beispiele hierfür sind:

Lottozahlen(Zu viele Einflussgrößen,deterministisches Chaos)

radioaktiver Zerfall(Quantenmechanik)

Elektronisches Rauschen





37

Wahrscheinlichkeit

Viele Systeme: Mischung aus vorhersagbarer Komponenteund Zufallskomponente. Wahrscheinlichkeitsaussage, Statistik

Worauf es bei Zukunftsprognosen ankommt: Extraktion der vorhersagbaren Komponente aus multi- dimensionalen historischen Daten, Anwendung des Modells auf aktuelle Daten Statistische Aussagen über die Zukunft im Mittel (leicht)Statistische Aussagen über die Zukunft im Einzelfall (schwierig)

mittlere Kosten

Kosten durch Kunden X

Kosten

Wah

rsch

einl

ichk

eit



Prof. Dr. M. Feindt KIT / Phi-T NeuroBayes Univ. Wuppertal 15.11.2010 4NeuroBayes® Short Term Trading Fund powered by4

LHC - Collider am CERN


Prof. Dr. M. Feindt KIT / Phi-T NeuroBayes Univ. Wuppertal 15.11.2010 5NeuroBayes® Short Term Trading Fund powered by5

Aktuellstes Projekt LHC am CERN:Riesige Energien …. riesige Detektoren….



OPA

L Ex

perim

ent

am L

EP

Quantenmechanik: Jedes Mal passiert etwas anderes!


Prof. Dr. M. Feindt KIT / Phi-T NeuroBayes Univ. Wuppertal 15.11.2010 24 Prof. Dr. M. Feindt KIT / Phi-T NeuroBayes Univ. Wuppertal 15.11.2010




38

Aufgabe:

Aus bekannten Beispielen lernen, ob und wie eine Zielvariable von vielen Eingabevariablen abhängt, die beliebig kompliziert und korreliert sein können. Dabei nur relevante Zusammenhänge lernen, keine Kaffeesatzleserei (d.h. Unterdrückung statistischer Schwankungen). Mit Hilfe dieser Expertise für neue Fälle, bei denen die Eingabewerte bekannt sind, nicht aber die Zielvariable(z.B weil sie erst in der Zukunft bestimmt wird),den Wert der Zielvariablen prognostizieren und die Unsicherheit der Prognose quantifizieren.

Lösungsansatz: NeuroBayes®




39

<phi-t> NeuroBayes®

Neuronale Netzwerke:Selbstlernende Verfahren, der Natur nachempfunden

Parietal CortexFrontal Lobe

Motor Cortex

Temporal Lobe

Brain Stem

Occipital Lobe

Cerebellum

Prof. Dr. M. Feindt KIT / Phi-T NeuroBayes Wuppertal 15.11.2010




40

Neuronale Netzwerke

Die Information (das Wissen, die Expertise)steckt in den Verbindungen zwischen den Nervenzellen.Jedes Neuron trifft unscharfeEntscheidungen (Fuzzy-Logik)

<phi-t> NeuroBayes®> lernt extrem schnell aus historischen Daten (WochenMinuten)> ist extrem robust > unterdrückt statistisches Rauschen (hohe Generalisierungsfähigkeit)> kann binäre Entscheidungen treffen (klassifizieren)> kann komplette Wahrscheinlichkeitsdichten berechnen> macht zuverlässige Prognosen für die Zukunft




Binaräres Target: Das Ergebnis jedes einzelnen Ereignisses wird entweder „ja“ oder „nein“ sein.

Beispiele:> Dieses Elementarteilchen ist ein K-Meson. > Deutschland wird 2010 Weltmeister. jetzt P=0> Kunde Schmidt wird im nächsten Jahr Liquiditätsprobleme haben.> Kunde Müller wird dieses Produkt kaufen.> Der Aktienkurs von Borussia Dortmund wird Ende 2007 höher sein als heute.

Resultat: Bayes‘sche a posteriori-Wahrscheinlichkeit, dass die Antwort ,,ja“ sein wird.

NeuroBayes® Aufgabe 1:Klassifikation



Naïve neuronale Netzwerke und KritikWir haben das probiert, aber es gab keine guten Resultate… …und das Trainieren dauert ewig…. - In lokalem Minimum stecken geblieben - Trainieren nicht robust, zu naiver AlgorithmusWir haben das probiert aber es war schlechter als unser 100 Mannjahre-High-Tech-Algorithmus… - Zu naive Input-Variablen gewählt - Benutze den fancy Algorithmus-Output als INPUT ! Wir haben das probiert aber die Prognosen waren falsch - Übertraining: das Netz hat statistische Schwankungen gelerntJa, aber wie kann man systematische Unsicherheiten abschätzen? - Wie kann man das sonst bei korrelierten Input-Variablen? - Tests auf Daten und Monte Carlo möglich



NeuroBayes® Aufgabe 2:Bedingte WahrscheinlichkeitsdichtenWahrscheinlichkeitsdichte für reellwertige Zielfunktionen: Für jeden möglichen reellen Wert wird eine Wahrscheinlichkeit(-sdichte) prognostiziert. Daraus können alle statistischen Größen wie Erwartungswert, Median, Modus, Standardabweichung, Percentile etc. abgeleitet werden und für beliebige Nutzenfunktionen optimale Entscheidungen getroffen werden.

Beispiele:> Energie eines Elementarteilchens (z.B. semilept. B-Zerfall)> Preisänderung einer Aktie oder Option > Umsatz eines Artikels> Kosten, die ein einzelner Versicherter verursacht




41

Vorhersage der kompletten Wahrscheinlichkeitsdichte- Verteilung

ModusErwartungswert

Standardabweichung(Volatilität)

Abweichung vonNormalverteilung





42

NeuroBayes®- Prinzip

NeuroBayes® Teacher:Lernen von komplizierten Zusammenhängen aus bestehenden Datenbanken

NeuroBayes® Expert:Prognosen für unbekannte Daten

Output

Input

Sign

ifik

anzk

ontr

olle

Postprocessing

Preprocessing





43

Wahrscheinlichkeit, dassHypothese stimmt

(bei Klassifikation) oderWahrscheinlichkeitsdichte für die gesuchte Größe t

Funktionsweise von NeuroBayes®:

lernen… …und p rog prognostizieren

Historische Daten

Datensatza = ...b = ...c = .......t = …!

NeuroBayes®Teacher

NeuroBayes®Expert

Aktuelle Daten

Datensatza = ...b = ...c = .......t = ?

Expertise

Expertensystem




Training eines neuronalen NetzwerksSchwierigkeit: finde globales Minimum einer nicht-linearen Funktion in einem hochdimensionalen (~ >100) Raum.Anschaulich: finde tiefstes Tal in den Alpen (nur 2 Dimensionen)

Das nächste lokale Minimum ist leicht zu finden.....

aber das globale.......unmöglich!

Ziele f(t|x) Beispiele Prinzip Funktion Konkurrenz Forschung SpielIdee NeuroBayes A BHintergrund Anwendung Beispiel Projekt l Projekt llHistorie AblaufStart Idee Summary A

Michael Feindt NeuroBayes for Hadron Collider Flavour Physics LHCb Collaboration Meeting 12.11. 2010

NeuroBayes

19

Bayes‘sche RegularierungBayes‘sche Argumente werden innerhalb von NeuroBayes an vielen Stellen genutzt.

Posterior Evidenz

Likelihood Prior

Lerne nur statistisch relevante Information, unterdrücke statistisches Rauschen (optimiere VC-Dimension).



<phi-t> NeuroBayes®> beruht auf neuronalen Algorithmen der 2. Generation, Bayes‘scher Regularisierung, optimiertem Preprocessing mit Transformation und Dekorrelation der Input-Variablen und (nichtlinearer) Korrelation zum Output. > lernt extrem schnell durch Methoden 2. Ordnung und 0-Iteration-Modus> ist extrem robust gegen Ausreißer > ist quasi immun gegen Auswendiglernen statistischen Rauschens, kann wahre Dynamik von Zufall unterscheiden, hat hervorragende Generalisierungsfähigkeit> selektiert automatisch relevante Variablen> liefert schon bei wenig Statistik sinnvolle Prognosen > hat Boost- und Kreuzvalidierungsfeatures> kann mit Gewichten und Untergrtundsubtraktion trainiert werden.> Kann klassifizieren und komplette (neuerdings sogar n-dimensionale) Wahrscheinlichkeitsdichten berechnen




44

Mehr als 50 Diplom- und Doktorarbeiten…

... und viele Veröffentlichungen der Experimente DELPHI, CDF II, AMS, Belle und CMS benutzen NeuroBayes® oder Vorgänger sehr erfolgreich.

Jetzt auch massiv in LHCb und vereinzelt in ATLAS.

Mehrere neue Elementarteilchen, Reaktionen und Effekte entdeckt mit Hilfe von NeuroBayes®, u.a.

Angeregte B**+ und B_s**-MesonenTeilchen-Antiteilchen-Oszillationen des B_s- Mesons Eigenschaften des X(3872) (exotisch, kein normales Meson) Erzeugung einzelner Top-QuarksAusschluss eines 160-170 GeV Standard-Modell-Higgs-Bosons




Einige Anwendungen in der TeilchenphysikDELPHI (hauptsächlich Vorgänger von NeuroBayes)Kaon, proton, electron idInklusive Rekonstruktion von B-Mesonen: E, φ, θ, Q-WertB**, Bs** Anreicherung B FragmentationsfunktionLimit auf Bs-OszillationB0-MischungB- F/B-Asymmetrie B-> wrong sign Charm

CDF II:Elektronen-ID, Myon-ID, Kaon/Proton-IDOptimierung von Resonanz-Rekonstruktion (X, Y, B, Bs, Bs**) Spin-Paritäts-Analyse, Likelihood AnalysenB-Tagging für top, single top, Higgs, usw. B-Flavour-Tagging für Oszillationsanalyse (Bs Oszillationen, CP-Verletzung)



CMS: B-taggingtop and single top physics

Belle: Kontinuums-Unterdrückung Vollständige Rekonstruktion von B-Zerfällen B Flavour-TaggingSelektionen von Eichreaktionen Optimierung der Luminosität des KEKB-Beschleunigers

LHCb: ist dabei, komplette Rekonstruktionskette mit NeuroBayes zu optimieren

Einige Anwendungen in der Teilchenphysik




30

NeuroBayes




Physik- BeispieI 1 (DELPHI, CERN)

Klassifikation: Hadronenidentification(DELPHI am CERN):

Signalhöhe verdoppelt bei konstantem Untergrundleveldurch eine der ersten NeuroBayes-Klassifikationen

Original-Methode : einige Millionen CHFKonkurrierende Gruppen!



Vergleich mit konventionellem neuronalen Netz

Quelle: Doktorarbeit Ulrich Kerzel, 2005, Univ. Karlsruhe. Elektronenidentifikation für das CDF-Experiment

am Fermi National Laboratory, Chicago

(von Experten optimiert)

Optimalmögliche Prognose

(immer alles richtig)

Gleiche Input-Variablen!



Physik- Beispiel 2 (DELPHI, CERN)

Optimierte Rekonstruktion von reellwertigen Größen: erweiterte Regression

Auflösung massiv verbessertund Bias korrigiert durch NeuroBayes-Technologie

(schmaler Peak um +-0)



Physik- Beispiel 3 (DELPHI, CERN)

Keine Selektion:Verbesserte Auflösung

NeuroBayes phi-Richtung

Bester ”klassischer" chi**2- Fit(BSAURUS)

Auflösung des inklusiv rekonstruierten Azimuthalwinkels von B-Hadrons

im DELPHI- Detektor

erste neuronale Rekonstruktion einer Richtung

Nach Selektion auf NeuroBayes Fehler-Schätzer:Auflösung massiv verbessert, keine Schwänze

==> erlaubt zuverlässige Selektion guter Ereignisse



Hadron-Collider: Monte Carlo Simulation für Resonanzproduktion mit unterschiedlichen JPC-Annahmen (durch Gewichtung). Aber keine guten Monte Carlo-Simulationen für Untergrund verfügbar. Idee: nimm Untergrund aus Seitenbändern der Daten, achte darauf,dass Masse nicht gelernt werden kann! Teste dies!



Untergrundartigkaum Signalverlust

Signalartig

X

softe NeuroBayes Selektion

X(3872) Analyse:



Harter NeuroBayes Schnitt:Sehr sauberes X(3872) Signal



Training mit Gewichten:Neuronale Netwerk- Spin Paritäts-Analyse

Benutze Seitenbänder als Untergrund-Sample

Benutze Phasenraum- Monte Carlo als Signal-Sample Berechne quadrierte Übergangsmatrixelemente für spezifische Spin-Paritäts-Annahmen und benutze diese als Gewicht im Training

Harter Schnitt auf NeuroBayes-Output sollte bei Training mitkorrekter Hypothese das Signal besonders gut anreichern



Sehr harter NeuroBayes Schnitt:

nicht so gute Hypothese für X

JPC=1—(ππ)s Hypothese



Sehr harter NeuroBayes Schnitt:

Eine gute Hypothese für X JPC=1—(ππ)s Hypothese

CDF II (auch ohne NN): X(3872) kann nur durch 1++ (präferiert) or 2-+

beschrieben werden. Zerfall in J/ψ ρ Isospin-verletzend, wenneinfaches Charmonium. Guter Kandidat für ein D^*D Molekül.



Entdeckung orbital angeregter Bs in B+ K- (with B+ J/ψ K)

NeuroBayes hilft, bisher unentdeckte Hadronen zu finden.

Klare Evidenz für zwei Peaks.



Hadronen-Collider: Resonanz- S/B-Optimierung ohne MC:

Idee: Training mit Untergrundsubtraktion Signal: Peakregion mit Gewicht 1 Seitenbandregion mit Gewicht -1 Untergrund: Seitenbandregion mit Gewicht 1

funktioniert sehrgut!

auch für Y(2S)und Y(3S) !Obwohl nur auf Y(1S) trainiert.



Flexible Wahl des Arbeitspunktes (Scan durch Schnitt auf Netzwerkausgabe)



NeuroBayes Bs --> J/ψ Φ Selektion ohne MC (CDF II)

leichte Preselektion, Input in erstes NeuroBayes-Training

Leichter Schnitt auf Netz 1, Input in zweites NeuroBayes-Training

Schnitt auf Netzwerk 2

alle Daten



Effizienteste S/B- Informationsextraktion: Die sPlot-Methode

Fitte Daten an Signal- und Untergrund-PDF in einer Verteilung (z.B. Masse).Berechne sPlot-Gewichte ws für Signal (kann <0 oder >1 sein) as als Funktion der Masse.

Trainiere NeuroBayes-Netzwerkmit jedem Ereignis sowohl als Signal mit Signalgewicht wS und als Untergrund mit Gewicht 1-wS.

Softer Schnitt auf Ausgabe reichert S/B an!Sicherstellen, das Netzwerk nicht die Masse lernen kann) (Veröffentlichung in Vorbereitung)




31

Belle-Experiment am japanische Forschungszentrum KEK:Sehr erfolgreiches Experiment, >400 Physiker aus aller Welt.>400 Veröffentlichungen. Beschleuniger hält Weltrekord an Luminosität.Ca. 1 Milliarde Ereignisse mit 2 B-Mesonen über 10 Jahre vermessen. KIT Mitglied seit 2008





32

Daten jetzt (2010) mit einer neuen vollautomatischen hierarchischen NeuroBayes-Fabrik für die vollständige Rekonstruktion von B0 und B+ Mesonen (1042 Zerfallskanäle, 71 NeuroBayes-Netzwerke) reanalysiert:

Effizienzsteigerung um +130% bei gleichem Untergrundlevel(entspricht ca. weiteren 10 Jahren Datennahme)

Untergrund

Signal (klassischesVerfahren)

Signal mit NeuroBayes





33

Flexibilität: Arbeiten mit NeuroBayes erlaubt stufenlose Einstellung von Signalreinheit oder –Effizienz.

z.B. auch gleiche Signal-Effizienz: Unterdrückung des Untergrundes um ca. Faktor 10!

Untergrund (klassisches Verfahren)

Untergrund mit NeuroBayes

Signal



82


82

Flexibilität: NeuroBayes erlaubt kontinuierliche Wahl des Arbeitspunktes auf der Reinheit/Effizienz-Kurve.



Erkenntnis

Diese Methoden sind nicht nur in der Physik anwendbar

<phi-t>: Ausgründung aus der Universität Karlsruhe, gefördert durch das exist-seed-Programm des Bundesministeriums für Bildung und Forschung




45

Nach sehr vielen erfolgreichen Anwendungen in der Elementarteilchenphysik- Grundlagenforschung Potenzial von NeuroBayes® für die Wirtschaft erkannt.

High-Tech-Ausgründung aus Elite-Universität Karlsruhe nutzt und optimiert NeuroBayes® für die Wirtschaft.

2000-2002 NeuroBayes®-Spezialisierung für die Wirtschaft in Universität Karlsruhe2002: Phi-T GmbH gegründet2008: Gemeinsame Gründung der 50-50 Projekt- und Vertriebstochter Phi-T products&services mit dem OTTO-Konzern.

Exklusivrechte an und Weiterentwicklung und Anwendungen von NeuroBayes®.>35 Mitarbeiter, hauptsächlich promovierte Physiker.

Historie




46

Erfolgreichim Wettbewerbmit anderen Data-Mining-Methoden



und 2010....

und 2009…

Ab 2009: neue Regeln: nur noch 2 Teams pro Universität

Aufgabe: Prognosen über den Buchumsatz von 8 Buchtiteln in 2500 Buchhandlungen. (Libri)Siegerteam : Uni Karlsruhe II (Studenten von Prof. Dr. M. Feindt, u.a. 2 Phi-T-Praktikanten) mit NeuroBayes®-Unterstützung

Aufgabe: Optimierung von individuellen Kundenbindungs- maßnahmen in Online-Shop. (Libri)Siegerteam : KIT II (Studenten von Prof. Dr. M. Feindt, u.a. 2 Phi-T-Praktikanten) mit NeuroBayes®-Unterstützung




48

Sehr erfolgreiche Referenzprojekte u.a. mit




49

z.B.

Individuelle Risikoprognosen

für Kfz-Versicherungen:

Schadenwahrscheinlichkeit

Verteilung der Schadenhöhe

Großschaden-Prognose

Kündigungs-Prognose

sehr erfolgreich

eingesetzt bei




50

Korrelationen zur Zielvariablen im „Ramler II-Plot“




51

Test

VDI-Nachrichten, 9.3.2007

Test

Börsenzeitung, 6.2.2008

Prognose von FinanzmärktenNeuroBayes®-basierter risikoarmer marktneutraler Fonds für institutionelle Anleger: Lupus Alpha NeuroBayes® Short Term Trading Fonds



Keine Korrelation zu anderen AnlageformenErwartungswert (Rendite) wie beim Aktienfonds

Risiko (Volatilität) wie beim Rentenfonds

Euro Stoxx 50 Index

Test

Test

Wenig Risiko,

(

Lupus alpha NeuroBayes® Fonds:

Long-Short Index HFRX

REX Index

hohe Rendite, keine Korrelation...







Umsatzprognose für den Versandhandel, Dispositionsoptimierung

55



Trainings-Saisons

Test-Saisons

Farbcodierung: NeuroBayes® besser – gleich - schlechter

als bisherige Methoden

56





Kündiger-Identifikation mit NeuroBayes® (Beispiel Tageszeitung)

Mit NeuroBayes® konnten kündigungs-gefährdete Abonnenten einer großen Tageszeitung erfolgreich identifiziert werden:

Das NeuroBayes®-Scoring ermöglicht die Identifikation von 67% aller Kündiger in nur 10% aller Abonnenten!

Der Einsatz von NeuroBayes® in der Kündiger-Identifikation und Kundenbindung

•ermöglicht spürbare Einsparungen in der Akquisition und

•ist die perfekte Basis für ein effizientes Kundenbeziehungsmanagement!

NeuroBayes® Kündigungswahrscheinlichkeit.

58



NeuroBayes®- Bonität für Kreditkauf Typische Verbesserungen der Ausfallwahrscheinlichkeitsprognose(gegenüber schon sehr gut entwickelten Methoden):

59



Aktuelle Situation

PrintOnlinePrint-induziert

Katalogstart

Optimierung bisheriger Ausstattungspolitik durch <<NeuroBayes® driven Reinforcement Learning>>

Katalogstart

PrintOnlineHistorische

Situation bei Nicht-

ausstattung

Katalogstart (Katalogstart) Katalogstart

KatalogstartKatalogstart KatalogstartPrintOnline

Historische Situation bei Ausstattung

Komplexe NeuroBayes®-Analysen: Printinduzierter Onlineumsatz

60



NeuroBayes®- Beispiel: Prognose des Deckungsbeitrags einer Katalogversendung

optimale Ausstattungstiefe

61



Kosten im Krankenversicherungsbereich

Großteil der Versicherten beanspruchen in einem Tarif keine Leistungen im Folgejahr

Klassifikation: Wahrscheinlichkeit, dass irgendeine Leistung beansprucht wird. Dichteverteilung: Wahrscheinlichkeitsverteilung der Kosten, wenn überhaupt Kosten entstehen.

Komplexe Wahrscheinlichkeitsverteilungen, mit klassischen Methoden nicht behandelbar.



Prognose von Krankheitskosten

Kunde N. 00000

Mann, 44

Tarif XYZ123 seit ca. 17 Jahre

Pilotprojekt für private Krankenversicherung

Prognose der Kosten im Folgejahr für jeden Versicherten mit Konfidenzintervallen

(volle Wahrscheinlcihkeitsdichte)

4 JahreTrainingsdaten, Test auf Folgejahr

Sehr gute Testresultate!

Hat Potential für eine wirkliche und objektive Kostenreduktion im Gesundheitswesen



Das <phi-t> Mausspiel:oder: sogar Ihr ``freier Wille´´ ist vorhersagbar

//www.phi-t.de/mousegame

64



Neuro-Netzer

65



DokumentationBasics:M. Feindt, A Neural Bayesian Estimator for Conditional Probability Densities, E-preprint-archive physics 0402093

M. Feindt, U. Kerzel, The NeuroBayes Neural Network Package,Nuclear Instruments and Methods A 559(2006) 190

Web Sites:www.phi-t.de (deutsch & englisch)www-ekp.physik.uni-karlsruhe.de/~feindt (einige NeuroBayes- Vorträge können hier gefunden werden) www.neurobayes.de (Dokumentation, Physik- Resultate mit NeuroBayes, Tutorials, FAQ, Diskussionsforum)

http://www.neurobayes.de

http://www.neurobayes.de

Documents

StartIdee NeuroBayes Idee HintergrundZiele NeuroBayesf(t|x ...feindt/Wuppertal.pdf · Historie B Vorhersehbar Bei einfachen klassischen physikalischen Prozessen ist das Ergebnis exakt