Fakultät für PhysikInstitut für Experimentelle Kernphysik

www.kit.eduKIT – Die Forschungsuniversität in der Helmholtz-Gemeinschaft

Günter Quast

SS '19

Vorlesung:

Computergestützte Datenauswertung Wahrscheinlichkeit,

diskrete und kontinuierliche Verteilungen

Datenauswertung und Statistik

Auswertung von Messreihen:

Schätzung von Parametern aus endlicher Stichprobe (z.B. Mittelwert)

Verteilung der Messwerte um den Mittelwert

Anpassung von Funktionen (z.B. „Ausgleichsgerade”)

Kombination von Messungen

Bestimmung der Unsicherheit von Messgrößen:

Einfluss zufälliger Effekte (oft: „Messfehler”, besser: „Messunsicherheit”) werden mit Methoden der Statistik behandelt (z. B. Ablesegenauigkeit, Rauschen, Eichfehler ...)

Die Angabe von Ergebnissen ohne Unsicherheit ist sinnlos!

dabei „statistische“ und „systematische“ Unsicherheiten trennen: z.B. Masse des Higgs-Bosons: mH = 125,5 ± 0.2 (stat.) ± 0.6 (syst.) GeV/c2 (ATLAS Exp.)

mH = 125,7 ± 0.3 (stat.) ± 0.3 (syst.) GeV/c2 (CMS Exp.)

Summer '13

Das Aufgabenspektrum:

Statistische Methoden anderswo

Als Naturwissenschaftler sollten Sie die angewandten Methoden verstehen und die Ergebnisse bewerten können!

Sammlung und Analyse von Daten

– Forschung in Naturwissenschaften, Medizin z.B. Evidenz für die Existenz eines Higgs-Bosons, Evidenz für Klimawandel, Wirksamkeit von Therapien und Medikamenten, ...

– Finanzwelt und Handel: Börsendaten, Wechselkurse, Risikobewertungen, Angebotsplanung, ...

– Data-Mining in der Wirtschaft: Google, Payback-Karten, Umfragen ...

Test von Hypothesen, Klassifizierung von Daten, Bewertung von Risiken – Ist diese E-Mail Spam? – Gibt es eine globale Erwärmung? – Ist dieser Online-Kunde ein potenzieller Betrüger ? – Ist dieser Versicherungskunde ein „Raser“ ?

und viele, viele weitere Beispiele ….

Statistische und systematische Messunsicherheiten

m = w + zsys + zstat

Messwert wahrer Wert

zufällige systematische Abweichung

zufällige statistische Abweichung

● systematische Unsicherheit betrifft alle Messwerte in gleicher Weise

● statistische Unsicherheit ist beijeder Messung anders

Daten einer Messreihe

Statistische Unsicherheiten können durch Mehrfachmessung und Mittelwertbildung

reduziert werden → Zusammengefasst als Messpunkt mit „Fehlerbalken“

simulierte Messdaten Zahl der Messungen: 9 wahrer Wert: 0.95 syst. Abweichung: 0.3 stat. Unsicherheit: 0.3

Grafik mit Script messpunkt.py

Beispiel einer Messung

Beispiel: Die Lichtgeschwindigkeit ist bereits sehr genau bekannt, „Literaturwert“ : c = 2.99792458 ·108 m/s

Eine Messung c = (3.09 ± 0.15)·108 m/s ist in Übereinstimmung

Eine Messung c= (3.09 ± 0.01) ·108 m/s wäre dagegen im Widerspruch

Entscheidend für Bewertung eines Ergebnisses ist die Messunsicherheit !

Angabe eines Ergebnisses ohne „Vertrauensbereich“ („Konfidenzbereich“), in diesem Fall ohne die Messunsicherheit, ist wertlos!

grafische Darstellung mit erzeugendem Script in der Sprache python

import numpy as np, matplotlib.pyplot as plt

# die Messdatenc_m=[3.09e8, 3.09e8]c_e=[0.15e8, 0.01e8]c_w=2.99792458e8

# grafische Darstellungplt.errorbar([1, 2], c_m, yerr=c_e, fmt='bo')plt.axhline(c_w, color='darkred', linewidth=3)plt.text(0.55, 3.005e8, 'wahrer Wert', color='darkred') plt.ylabel("c (m/s$^2$)", size='x-large')plt.xlabel("Nr. der Messung")plt.title("Messungen der Lichtgeschwindigkeit")

# (… + einige Verschoenerungen ...)plt.show()

Beschreibung des Zufalls

Die Stochastik (von altgriechisch στοχαστικὴW τέχνὴ stochastikē technē, lateinisch ars conjectandi, also ‚Kunst des Vermutens‘, ‚Ratekunst‘) ist ein Teilgebiet der Mathematik und fasst als Oberbegriff die Gebiete Wahrscheinlichkeitstheorie und Statistik zusammen. (aus Wikipedia)

Teilgebiet der Mathematik, das sich mit der Beschreibung des Zufalls beschäftigt:

Der Zufall folgt genauen Regeln, deren Verständnis die Grundlage zur Behandlung der statistischen Komponente in empirischen Daten unerlässlich ist.

Zentral dabei ist das Konzept der Wahrscheinlichkeit

An dieser Stelle ausreichend ist die „Häufigkeitsdefinition“

Mathematische Grundlage: die Kolmogorov-Axiome

Literaturempfehlung: Erdmann, Hebbeker, “Moderne Methoden der Datenanalyse“

Zufallsereignis

(Zufalls-)Ereignis im Sinne der Statistik: durch spezifische Eigenschaften definiertes Ergebnis eines Prozesses

Beispiele: - eine „3“ würfeln - ein Tor fällt in den ersten fünf Minuten eines Fußballspiels - beim Angeln einen Hecht fangen - eine „2“ und dann eine „5“ würfeln - eine Zahl größer als „3“ würfeln - Messung eines Werts für e zwischen 1.60•10-19 C und 1.61•10-19C

Kompatible Ereignisse: - eine gewürfelte Zahl ist „>3“ und „5“ („>3“ ∩ „5“) - eine Karte aus einem Kartenspiel ist rot und ein As („rot“ ∩ „As“) - eine Karte ist ein As oder eine Dame („As“ U „Dame“) - Karte ist As oder kein As (gilt für beliebige, d.h. alle Karten!)

Exklusive Ereignisse: - „3“ und gleichzeitig „5“ würfeln - eine Karte ist ein As und eine Dame (gilt für keine Karte)

Häufigkeitsdefinition der Wahrscheinlichkeit

Eine Beobachtung wird unter identischen Bedingungen unabhängig vonein-

ander n mal wiederholt. Wenn die Eigenschaft A dabei k mal beobachtet wird,

ist das Verhältnis k/n die

(empirische) Wahrscheinlichkeit für das Auftreten von A:

Bsp.: Wahrscheinlichkeit, eine Zahl 1, …, 6 zu Würfeln: 1/6

Wahrscheinlichkeit für Kopf oder Zahl 0.5

Wahrscheinlichkeit, ein As beim Skat zu ziehen: 4 / 32 = 1 / 8

Wahrscheinlichkeit, eine Karo-Karte zu ziehen (Spiel ohne Joker): 1/4

Beim Festlegen der Wahrscheinlichkeit helfen bei diesen Beispielen Symmetrien oder „Kombinatorik“, d.h. Abzählen der günstigen Ausgänge bezogen auf alle möglichen Ergebnisse.

Wahrscheinlichkeit: Kopf oder Zahl ?

Beispiel Münzwurf:

Wahrscheinlichkeit für Kopf: pK = 0.5 Wahrscheinlichkeit für Zahl: pZ = 1 – pK = 0.5

Führe N=1, .., N Computer-Experimnte durch, berechne jeweils die Häufigkeit hn= NK(n) / n

# throw a coin N timesimport numpy as npN=500f=[ ]Nh=0for n in range(N): if np.random.rand()>0.5: Nh+=1 f.append(float(Nh)/(n+1.))

throwCoin.py

Häufigkeit nähert sich der Wahrscheinlichkeit an:

hn → pK(n)

Anm.: Berechnung des Unsicherheitsbands später n

hn

[** Die Kolmogorov-Axiome ]Für mathematisch Interessierte: Formale Definition der Wahrscheinlichkeit:

positiv

additiv

normiert

seien

ei : Elementarereignisse , die sich gegenseitig ausschließen

Ω : die Menge aller Elementarereignisse

P(ei): die Warhscheinlichkeit für ei

Kolmogorov-Axiome (1931):

ei

ej

[** Laplace Bedingungen ] Für mathematisch Interessierte: Zusammenhang mit der Häufigkeit

Laplace-Bedingungen:

Ereignismenge endlich

alle Wahrscheinlichkeiten gleich

Die Wahrscheinlichkeit eines Ereignisses A berechnet sich als Quotient aus der Anzahl g der günstigen Fälle und der Anzahl n aller möglichen Ergebnisse

– erfüllt die Kolmogorov-Axiome

– als Definition der Wahrscheinlichkeit unbefriedigend, weil der Begriff in L2 vorkommt!

Kombination von Wahrscheinlichkeiten

“Bedingte Wahrscheinlichkeit“ für A wenn B wahr ist.

Veranschaulichung Bedingte Wahrscheinlichkeit

P(A und B) =

Folgerungen aus Kolmogorov-Axiomen (ohne Beweis):

A = nicht A (A, A schließen sich aus)

A oder B allg.

wenn sich A und B ausschließenA und B allg.

wenn A und B unabhängig

wenn sich A und B ausschließen

Denkschulen

Bayes’sche Statistik: „subjektive“ Wahrscheinlichkeit

Angabe einer Bayes-Wahrscheinlichkeit für wahren Wert einer Größe, P(A) = Grad der Sicherheit (“degree of belief”), dass Ereignis A eintritt

Typisches Resultat: Fehlerintervall → „Mittelwert liegt mit 68% Wahrscheinlichkeit in Intervall [a,b]”

Benutzung von Vorwissen („Prior”) erlaubt: P(Theorie|Daten) ~ P(Daten|Theorie) x P(Theorie)

(klassische) frequentistische Statistik, ,,objektive” Definition

Wahrer Wert einer Größe existiert (ist aber unbekannt), wird im Limes unendliche vieler Messungen erreicht: P(A) = lim …

Typisches Resultat: Fehlerintervall → „68% aller aus Daten gebildeten Intervalle [a,b] erhalten den wahren Wert μ”

In der unmittelbaren Praxis werden wir uns zunächst nicht darumkümmern müssen, bei der „professionellen“ Interpretation vonErgebnissen wird der Unterschied aber bedeutsam.

Häufigkeitsverteilung,Wahrscheinlichkeitsverteilungund Wahrscheinlichkeitsdichte

Häufigkeitsverteilung: diskret

Beispiel Würfeln: Häufigkeit der Augenzahlen 1, 2, …, 6 bei 30 Würfen

# example to produce random numbers# as obtained by throwing diceimport numpy as np

ndice=1 # number of dicenthrow=30 # how often to throw

numbers=[ ]for i in range(nthrow): r=0 for j in range(ndice): r += int(6*np.random.rand())+1 numbers.append(r)

throwDice.py

Erwartete Verteilung

Häufigkeitsverteilung: kontinuierlich in BinsBeispiel Messen: Häufigkeit von N Messergebnissen in bestimmten Intervallen („Bins“)

Erwartungswert der Verteilung

Intervallgrenzen („bin edges“)

Erwartete Verteilung

Für eine große Anzahl vonMessungen nähert sich dieHäufigkeitsverteilung dererwarteten Verteilungimmer mehr an

Häufigkeitsdefinition der Wahrscheinlichkeit:

hi

bin i

Beispiel: Münzwurf

N=1000 Münzspiele (= „Experimente“) mit je 10 Würfen; Bestimmung der der Anzahl ki der Ergebnisse „Kopf“

(nun ja, die „Münze“ im Beispiel fällt etwas zu oft zu einer Seite … )

Häufigkeitsverteilung konvergiert

gegen die „Binomial-Verteilung“

Häufigkeitsverteilung

s. python-Script animated_BinomialDistribution.py

Histogramm Verteilungsdichte↔

Wahrscheinlichkeitsdichte f(x): angenähert durch Histogramm mit

- unendlicher Statistik, - Bin-Breite 0, - normiert auf Fläche 1

Histogramm veranschaulicht Verteilungsdichte, nähert sich ihr für sehr kleine Bin-Breite an.

script animated_Gauss.py

Achtung: aus der Wahrscheinlichkeitsdichte erhält man eine Wahrscheinlichkeit erst durch Integration:

Wahrscheinlichkeit, einen Wert zwischen x und x+Δx zu finden

Charakterisierung von Verteilungen

– Lage- oder Lokalisations- Parameter Mittelwert μ, Modus = Maximum der Verteilung Median m: 50% der Wahrscheinlichkeit < m

– Streuung („Skalierungsparameter“) Varianz V=σ² Standardabweichung σ („Breite“)

– Form: Schiefe und Kurtosis (=Wölbung)

Quelle: Bohm-Zech

drei Verteilungen mit Erwartungswert =0 und Varianz =1

Gaußverteilung mit Erwartungswert =0 und Varianz =1

Parameter γ1 und γ2

(beide 0 für Gaußverteilung)

γ1 und γ2 sind invariant bei Verschiebung und Dehnung / Stauchung der Verteilung

V ist invariant bei Verschiebung der Verteilung, bei Variation von V „dehnt“ bzw. „staucht“ sich die Verteilung um den Mittelwert.

68%

x0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5

p(x)

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1Modus

Median

Erwartungswert

Nachtrag: Lokalisationsparameter

● Modus:Maximum der Verteilung (= wahrscheinlichster Wert)

→ einfach.● Median ( ):

Gleich viele Werte größer als auch kleiner als

→ robust( z.B. Maß für die Verteilung der Studiendauer).

● Erwartungswert ( ):Abgeschätzt durch das arithmetische Mittel Standard in der Datenanalyse

Diese drei Maße müssen nicht gleich sein !

Charakterisierung v. Verteilungen: Formeln

Stichprobe diskrete Verteilung kontinuierliche Vert.

Erwartungswert

Varianz

* „Bessel-Korrektur“: N → N-1 vermeidet Verzerrung Plausibilitätsargument: für N=1 ist V nicht definiert !

*

Schiefe

Kurtosis

γ2 = 0 für Gauß-Vert.

+ höhere ...

nennt man das n-te Moment der Verteilung

Eine Verteilung ist über ihre Momente vollständig charakterisiert

Einschub: Rechenregeln für Erwartungswerte

Die Berechnung von Erwartungswerten ist eine lineare Prozedur:

seien a,b Konstanten und x, x1, x2 Zufallszahlen;

es gilt (mit E[x] = <x>):

<a>=a d.h. auch <<x>>=<x> <ax> = a <x>

<x1+x2>= <x1> + <x2>

und damit <ax1 + bx2> = a <x1> +b <x2>

insb. gilt i. A.: <x1 x2> ≠ <x1><x2>

( „=“ nur, wenn x1, x2 unabhängige Zufallszahlen sind)

diese Regeln ersparen u. U. viel Rechnerei!

[** Kleine Nebenrechnung: Varianz ]

Umformung der Formel für die Varianz (als Beispiel für das Rechnen mit Erwartungswerten) :

Die umgeformte, äquivalente Formulierung ist numerisch effizienter, weil nur ein Durchlauf durch die Zufallszahlen (=Daten) notwendig ist, wenn man dabei sowohl E[x] als auch E[x2] bestimmt.

Verteilungsfunktion und Quantile

Verteilungsdichte p(x)

Verteilungs- funktion P(x)

Verteilungsfunktion (oder kumulative Verteilung) erlaubt einfache Berechnung von Wahrschein- lichkeiten α=P(x>xα), sog. „Quantile“

Quantil der Ordnung α :Umkehrfunktion von P(x)

P-1(α)

Beispiele: ● Median = xα=½ ● Ranking von Abschlussnoten● Hypothesentests (s. später)● Qualitätskontrolle

übliche Darstellungsformen

Quelle: Wikipedia

in der deskriptiven Statistik: Quantile als „Kastengrafik“

IQR: Inter- Quartile Range

matplotlib.pyplot.boxplot() matplotlib.pyplot.ploterrorbar()

üblich in der Physik zur Darstellung von Messergebnissen:

Zentral-Wert und 1σ-Bereich als „Punkt mit Fehlerbalken“

insb. bei asymmetrischen Balken als ±34%-Quantil um Erwartungswert zu verstehen

Fehlerfortpflanzung

Mittelwert und Varianz für lineare Funktionen von Zufallszahlen

Linearkombination von Zufallszahlen x1 und x2 :

der dritte Term verschwindet für unabhängige Variable; man nennt ihn (analog zur Definition der Varianz für eine Variable), die Kovarianz von

mit den Regeln von eben ergibt sich:

Mit Hilfe der Kovarianz geschrieben

nicht–lineare Funktionen von Zufallszahlen

im Falle von nicht-linearen Funkionen linearisieren wir durch

Taylor-Entwicklung um den Erwartungswert:

wir erhalten:

lineares Fehlerfortpflanzungsgesetzzusammenfassend kann man die Ergebnisse für unabhängige Variablen xi kompakt so schreiben:

Fehlerfortpflanzungsgesetz

Quadrierter absoluter Fehler auf Summe dieoder Differenz zweier Messungen ist die quadratische Summe ihrer absoluten Fehler

Quadrierter relativer Fehler auf das Produktoder Verhältnis zweier Messungen ist die quadratische Summe ihrer relativen Fehler

Anwendung: Fehler auf den Mittelwert

Der Mittelwert einer Anzahl von N Messungen der gleichen Größe,

, ist eine lineare Funktion der Messwerte und damit

selbst eine Zufallsgröße.

weil alle Messungen aus der gleichen Verteilung stammen, sind alle Unsicherheiten gleich

Die Unsicherheit auf den Mittelwert aus N (identischen, unabhängigen) Messungen ist um den Faktor √N kleiner als die Unsicherheit auf eine Einzelmessung

Wir erhalten das sehr wichtige Ergebnis

Mit dem Fehlerfortpflanzungsgesetz können wir die Unsicherheit berechnen:

Illustration: Fehler des Mittelwerts

normalverteilteZufallszahlen

Summe von je 9 normalverteiltenZufallszahlen

sigma=1.002

sigma=0.336

Die Breite der Verteilung der Mittelwerte ist exakt um √n=3 kleiner.

Beispiel: Messung der Tischhöhen aus VL02

Mittelwert: 75.75 cmStandardabweichung: 0.47 cmUnsicherheit d. Mittlelwerts: 0.13 cm

⇒ H=75.75 ± 0.13 cm

# Messung der Tischhöhen# im Gerthsen-HS# 28.Apr.2016 75.0 76.0 75.8 75.1 75.5 75.6 76.6 75.6 75.5 76.0 76.0 75.5 76.6# -----------------# N=13 Messungen

H / cm

[** Beispiel: Unsicherheit einer Effizienzbestimmung]

Bei der Untersuchung eines Sensors oder eines medizinischen Tests wird bestimmt, wie häufig er auf ein Signal anspricht:

N Versuche, davon p positiv und n=N-p mit negativem Ausgang; (Schätzung der) Effizienz über die Häufigkeit:

Die statistischen Unsicherheiten auf die beobachteten Häufigkeiten p und n sind √p und √n (Poisson-Verteilung, s. später) Was ist die Unsicherheit auf die so bestimmte Effizienz ?

Lösung:

Anm.: 1.) diese Lösung gilt für „große“ Zahlen n, p anschaulich: wenn man nur eine Messung macht, ist die Unsicherheit natürlich nicht Null! 2.) Die Wahrscheinlichkeit, in N Versuchen p Ergebnisse eines Typs zu sehen, folgt einer Binomialverteilung Pb(p ; N, ε) (s. später).

Unser Ergebnis stimmt mit den aus deren Eigenschaften abgeleiteten überein.