Inhaltsverzeichnis · Gefälschte M unzen¨ Seien X1,X2 die Ergebnisse von zwei unabhängi-gen Wurfen einer eventuell gef¨ älschten M ünze. Die beiden Ereignisse X1 = 1, X1

Inhaltsverzeichnis

1 Wahrscheinlichkeitstheorie 31.1 Unabhangigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.1.1 Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . 71.2 Ungleichungen . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.2.1 Tschebyscheff-Markoff . . . . . . . . . . . . . . . . . . 111.2.2 Jensen Ungleichung . . . . . . . . . . . . . . . . . . . . 131.2.3 Exponentielle oder Hoeffding Ungleichung . . . . . . . 19

2 Konvergenz, Topologie und Metrik 212.1 Konvergenz von W-maßen . . . . . . . . . . . . . . . . . . . . 232.2 Konvergenz von Zufallsgroßen . . . . . . . . . . . . . . . . . . 26

2.2.1 Gleichgradige Integrierbarkeit* . . . . . . . . . . . . . 312.2.2 Weitere Metriken . . . . . . . . . . . . . . . . . . . . . 35

3 0-1 Gesetze 433.1 Borel-Cantelli . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

3.1.1 Kolmogoroff 0-1 Gesetz * . . . . . . . . . . . . . . . . . 453.1.2 Symmetrische Mengen * . . . . . . . . . . . . . . . . . 47

4 Summen unabhangiger Zufallsgroßen 494.1 Satz von Levy . . . . . . . . . . . . . . . . . . . . . . . . . . . 494.2 Drei-Reihen-Satz von Kolmogoroff . . . . . . . . . . . . . . . . 52

5 Gesetze der Großen Zahl 555.0.1 Schwache Gesetz der Großen Zahl . . . . . . . . . . . . 55

5.1 Starkes Gesetz der Großen Zahl . . . . . . . . . . . . . . . . . 565.2 Starkes Gesetz der Großen Zahl 2 . . . . . . . . . . . . . . . . 60

5.2.1 Konvergenzgeschwindigkeit . . . . . . . . . . . . . . . . 63

1

2 INHALTSVERZEICHNIS

6 Poissonapproximation 676.1 Poissonapproximation der Binomialverteilung . . . . . . . . . 686.2 Erzeugende Funktionen . . . . . . . . . . . . . . . . . . . . . . 71

6.2.1 Verzweigungsprozesse . . . . . . . . . . . . . . . . . . . 746.2.2 Poissonprozess . . . . . . . . . . . . . . . . . . . . . . . 77

7 Zentraler Grenzwertsatz 817.1 Moivre-Laplace . . . . . . . . . . . . . . . . . . . . . . . . . . 837.2 Beweis des ZGS nach Trotter . . . . . . . . . . . . . . . . . . 87

7.2.1 Andere Beweise des ZGS . . . . . . . . . . . . . . . . . 907.3 Allgemeiner Zentraler Grenzwertsatz . . . . . . . . . . . . . . 91

7.3.1 Dreireihensatz von Kolmogoroff . . . . . . . . . . . . . 97

8 Fouriertransformierte 998.1 Injektivitat der Fouriertransformation . . . . . . . . . . . . . . 1018.2 Stetigkeitssatz von Levy . . . . . . . . . . . . . . . . . . . . . 104

8.2.1 Differenzierbarkeit und Momente . . . . . . . . . . . . 1078.3 Charakterisierung der Fouriertransformierten . . . . . . . . . . 1098.4 Unbegrenzt teilbare Verteilungen . . . . . . . . . . . . . . . . 112

8.4.1 Unbegrenzt teilbare Verteilungen . . . . . . . . . . . . 1128.4.2 Tschebyscheff-Markoff . . . . . . . . . . . . . . . . . . 120

9 Große Abweichungen 121

10 diverses 12510.0.3 m-abhangige Zufallsgroßen . . . . . . . . . . . . . . . . 125

10.1 Stationare Prozesse . . . . . . . . . . . . . . . . . . . . . . . . 12710.1.1 Integrale bzgl. stationaren Prozessen . . . . . . . . . . 127

Kapitel 1

Wahrscheinlichkeitstheorie

Die Objekte der Wahrscheinlichkeitstheorie sind Wahrscheinlichkeitsraume(Ω,A, P ). Die Morphismen sind Zufallsgroßen.

Maßtheorie ist die Lehre von Maßen. Wahrscheinlichkeitstheorie ist dieLehre von Zufallsgroßen und deren Verteilung. Wahrscheinlichkeitstheorie imengeren Sinne ist die pfadweise Betrachtung von stochastischen Prozessen.

Ein stochastischer Prozeß ist eine Familie Xt, t ∈ T, von Zufallsgrosen.Die Abbildung t 7→ Xt(ω) heißt Pfad von ω ∈ Ω.

Philosophie der Wahrscheinlichkeitsheorie (Ω,A, P ) sei stets einWahrscheinlichkeitsraum. Hierbei ist Ω eine nichtleere Menge, A eine σ-Algebra und P ein Wahrscheinlihckeitsmaß.

Der Raum Ω heißt Stichprobenraum, die Elemente Stichprobe. Die σ-Algebra heißt Ereignisraum, die Elemente Ereignisse.

Zufallsgroßen oder Zufallsvariablen sind meßbare Abbildungen von Ω ineinen Raum E versehen mit einer σ-Algebra E . Die Verwendung des NamensZufallsvariable fur eine Funktion ist unglucklich. An dieser Abbildung Xist nichts zufallig oder variabel. Zufallig erscheinen die konkret beobachtetenRealisierungen X(ω). Diese variieren mit der Realisierung und sind in diesemSinne zufallig. Besser ist der altere deutsche Begriff Zufallsgroße.

Fur Zufallsgroßen verwenden wir stets einen großen Buchstaben, z.B.X. Der Regelfall (=default setting) sind reellwertige Zufallsgroßen. Die σ-Algebra auf den reellen Zahlen ist die Borel σ-Algebra.

Die Beobachtung X(ω) = x ∈ E heißt Realisation oder auch Stichpro-be. Fur die Auspragung einer Zg, d.h. fur das beobachtete Ergebnis einestatsachlichen Experiments, verwenden wir stets kleine Buchstaben, z.B. x.Eine strikte Einhaltung dieser Unterscheidung vereinfacht das Denken. E

3

4 KAPITEL 1. WAHRSCHEINLICHKEITSTHEORIE

heißt Raum der Realisierungen. Die σ-Algebra E daruber heißt ebenfalls Er-eignisraum, die Elemente Ereignisse. Ereignissse ω ∈ Ω | X(ω) ∈ A, A ∈ Eschreiben wir kurzer als X ∈ A.

Ahnlich wie in der Quantenphysik konnen wir nur Realisierungen beob-achten, d.h. Werte von Zgn (=Operatoren) beobachten, aber nie das tatsachli-che ω. In der Tat konnen wir nie den ’wahren’ Menschen, so es diesen gibt,erfahren, sondern nur mit unseren Sinnen erfaßbare Großen. Dies sind Tei-laspekte der Person, wie Augenfarbe, Religion, Alter, Reaktionen, Situati-onsverhalten, usw. Dies geht so weit, daß wir (der Staat) eine Person (=ω)nur noch durch qualitative und quantitative Werte X(ω) wahrnehmen. DieReichhaltigkeit der σ-Algebra A beschreibt, wieviel wahrnehmbar bzw. un-terscheidbar ist.

Der zugrundeliegende W-raum (Ω,A, P ) spielt daher inhaltlich nur eineuntergeordnete Rolle und kann (mathematisch) frei gewahlt werden. Wichtigist der Bildraum unter der erfahrbaren Abbildung X und die σ-Algebra.Ublicherweise laßt sich durch Produktbildung, siehe Satz von Kolmogoroff 46,stets ein geeigneter W-raum angeben. Wir ubergehen weitestgehend diesenAspekt.

Erwartungswert Die Verteilung einer Zg XΩ 7→ E ist das transportierteMaß XP = PX−1 = PX .

Das Integral∫X(ω)dP (ω) heißt Erwartung oder Erwartungswert. Die

Standardnotation ist E(X) = EX. Die Transformationsformel besagt

EX =∫X(ω)P (dω) =

∫xPX(dx).

E(Xp) heißt p-te Moment, E(|X|) heißt absolutes Moment, E(X − E(X))heißt zentriertes Moment, E exp(X) heißt exponentielles Moment. Analogspricht man von logarithmischem Moment, usw.. Sinnvolle Zusammenset-zungen dieser Begriffe sind ebenfalls ublich.

Die Kovarianz CovR wird definiert, falls moglich, durch

Cov(X, Y ) := E((X − EX)(Y − EY )) = E(XY )− E(X)E(Y ).

Das zweite zentrierte Moment heißt Varianz

Var(X) = Cov(X,X) = E(X − EX)2 = E(X2)− E2(X).

Der Korrelationskoeffizient ist

ρ = ρX,Y =Cov(X, Y )√Var(X)Var(Y )

1.1. UNABHANGIGKEIT 5

und spielt eine besondere Rolle in der Statistik. Die Cauchy-Schwarz Unglei-chung ergibt

−1 ≤ ρX,Y =Cov(X, Y )√Var(X)Var(Y )

≤ 1.

Gleichheit gilt fur X und Y sind Vielfache voneinander.Klammern werden nach Moglichkeit weggelassen. Wir schreiben E2X :=

(E(X))2 und EX2 fur E(X2).

Der Erwartungswert E ist ein linearer, positiver und σ-stetiger Operatorauf dem Vektorraum und Verband L1 mit E1 = 1. (E1 = 1 impliziert Be-schranktheit und damit Stetigkeit.) Umgekehrt, jeder Operator mit obigerEigenschaft ist ein Integral, Satz von Stone (siehe Bauer [2]). Ebenso ist Eein σ-stetiger Operator auf dem Vektorraum und Verband Lp, 1 ≤ p ≤ ∞,mit E1 = 1.

Wichtige Konvergenzsatze sind die Satze von der monotonen Konvergenz,der dominierten Konvergenz und der Satz von Fatou. Wichtige Ungleichun-gen sind diejenigen von Markoff, von Tschebycheff, von Jensen, von Holderund Minkowski und exponentielle Ungleichungen.

Einer der wesentlichen Begriffe, vielleicht der wesentliche Kernbegriff, inder Wahrscheinlichkeitstheorie ist der Begriff der Unabhangigkeit.

1.1 Unabhangigkeit

Stochastische Unabhangigkeit ist ein ganz wesentliches Konzept der Wahr-scheinlichkeitstheorie. Dieser Begriff ermoglicht erst in seinen Konsequen-zen den Aufbau einer Wahrscheinlichkeitstheorie mit nichttrivialen Aussagen.Geschichtlich gesehen wurde eine prazise Formulierung der Unabhangigkeitrecht spat gegeben, erst im 20-ten Jahrhundert.

Definition 1 Sei (Ω,A, P ) ein W-raum. Eine Familie von MengensystemenAi ⊂ A, i ∈ I, I eine beliebige Indexmenge, heißt (stochastisch) unabhangig,falls fur jede endliche Auswahl von Ereignissen aus verschiedenen Mengen-systemen die W-keit des Durchschnitts der Ereignisse gleich dem Produkt derEinzelwahrscheinlichkeiten ist,

∀J ⊂ I, |J | <∞ : P (⋂

j∈JAj) =

∏

j∈JP (Aj).


Eine Familie von Ereignissen Ai, i ∈ I, heißt unabhangig, falls die Men-gensysteme Ai unabhangig sind.

Eine Familie von Zgn Xi : Ω → Ωi, i ∈ I, (Ωi,Ai) meßbare Raume,heißt unabhangig, falls die Mengensysteme X−1

i (Ai) unabhangig sind.

Sei D(B) das kleinste Mengesystem abgeschlossen bzgl. Komplement undabzahlbarer disjunkter Vereinigung. Wir benutzen σ(B) fur die von B erzeug-te (= kleinste, B enthaltende) σ-Algebra.

Lemma 2 Seien die Mengensysteme Ai ⊂ A, i ∈ I, unabhangig. Dann gilti) Die Familie D(Ai), i ∈ I ist unabhangig.ii) Sind die Mengensysteme Ai durchschnittstabil, so sind σ(Ai), i ∈ I

unabhangig.iii) Fur jede Partition (Ik)k∈K von I sind die Mengensysteme Bk :=

∩j∈JAj | J ⊂ Ik, |J | <∞, Aj ∈ Aj, k ∈ K, unabhangig.iv) Seien Xi : Ω → Ωi unabhangig und Yi : Ωi → Ω′

i, i ∈ I Zgn. Dannsind Yi Xi, i ∈ I unabhangig.

v) Fur unabhangige Zgn X1, . . . , Xn gilt E∏iXi =

∏iEXi falls wohlde-

finiert.

Beweis: i) Fur die erste Aussage reicht es nur endlich viele Mengensystem zubetrachten. Sei oEdA I = 1, 2, . . . , n. Sei M die Menge der A ∈ D(A1) ,sodass fur jede Auswahl Aj ∈ Aj, j ∈ J ⊂ 2, . . . , n gilt P (A ∩ ∩nj∈JAj) =P (A)

∏nj∈J P (Aj).

• D(A1) =M.Das Mengensystem M ist abgeschlossen bzgl. dem Komplement und

abzahlbarer disjunkter Vereinigung. Es enthalt den Erzeuger A1 und denGrundraum Ω. Die Aussage folgt aus der Sandwichposition A1 ⊂ M ⊂D(A1) durch Anwendung des D-Operators.

Durch sukzessivve Anwendung der Teilbehauptung erhalten wir die Un-abhangigkeit der D(Ai), i ∈ I.

Die zweite Aussage ist einfach, da ein Dynkinsystem mit durchschnittsta-bilem Erzeuger bereits eine σ-Algebra ist.

Die Aussagen iii) und iv) sind einfach und nur Schreibarbeit.Die Aussage v) gilt fur eine Treppe, dann fuer eine Treppenfunktionen

und schließlich fur den Grenzwert. q.e.d.Als Folgerung reicht es fur die Unabhangigkeit von ZgnXi die Unabhangigkeit

der Mengensysteme XE′i

i von einem durchschnittstabilen Erzeugender E′i der

σ-Algebren A′i nachzuweisen.


Paarweise Unabhangigkeit Ereignisse Ai, i ∈ I, heißen n-unabhangig ,falls je n Ereignisse Aj, j ∈ J ⊂ I, |J | ≤ n unabhangig sind. Unabhangigkeitimpliziert n-Unabhangigkeit.

Warnung: Die Umkehrung gilt nicht.Zum Beispiel paarweise Unabhangigkeit impliziert nicht Unabhangigkeit.

Dies zeigt folgendes Beispiel.Bsp: Paarweise unabhangig. Bei zweimaligem Munzwurf einer fai-

ren Munze seien X1, X2 die Ergebnisse mit Werten 0 oder 1. X1, X2 sindunabhangig. Die drei Ereignisse X1 = 1, X2 = 1 und X1+X2 = 1 sind paar-weise unabhangig, aber nicht unabhangig bzw. 3-unabhangig. Nachrechnen(A ∩ B ∩ C = ∅).

Philosophie Stochastische Unabhangigkeit ist mathematisch wohldefi-niert. In der Erfahrungswelt verwenden wir den heuristischen Begriff von‘keinen Einfluß haben‘. Das Standardbeispiel ist das zweimalige Wurfeln. Daserste Ergebnis hat keinen Einfluß auf die Realisierung in dem zweiten Wurf.(Es sei denn Sie schummeln.) Unabhangigkeit wird hier gebraucht in dem Sin-ne wechselseitiger Informationslosigkeit. Wechselseitige Informationslosigkeitist ein starkerer Begriff als Unabhangigkeit. Dazu ein Beispiel:

Gefalschte Munzen Seien X1, X2 die Ergebnisse von zwei unabhangi-gen Wurfen einer eventuell gefalschten Munze. Die beiden Ereignisse X1 =1, X1 +X2 = 1 sind unabhangig genau dann, wenn p = 1/2 gilt.

Das Ereignis, der erste Wurf ist 1, scheint Information uber die Gesamtau-genzahl zu beinhalten. Dieser Einfluß hat in der Regel Auswirkungen auf dieWahrscheinlichkeiten und konnte in Spielsituationen ausgenutzt werden, z.B.durch eine bessere Vorhersage von Y = X1+X2 bei Kenntnis von X1. Im Fallp = 1/2 ist die erhaltene Information nicht ausnutzbar. Im Fall p bekanntund nicht 1/2 liese sich der Wert von X1 +X2 bei bekanntem X1 mit einerW-keit von strikt groser als 1/2 vorhersagen.

Warnung: Die mathematische stochastische Unabhangigkeit kann nichtals einflusslos oder die Verneinung kausaler Zusammenhange interpretiertwerden.

1.1.1 Verteilungen

Sei (Ω,A, P ) ein W-raum.Verteilungen Die Verteilung µ einer ZgX : Ω 7→ E ist das transportierte

W-Maßµ = XP = PX−1 = PX .


Wir betrachten im folgenden nur Verteilungen auf E = IR mit der Borelσ-Algebra calB.

Eine Verteilungsfunktion ist eine rechtsstetige, isotone Funktion F : IR 7→IR mit limx→−∞ F (x) = 0, limx→∞ F (x) = 1. Die Verteilungsfunktion einerZg X ist die Verteilungsfunktion F mit F (x) := P (X ≤ x).

Proposition 3 Es gibt eine eindeutige Abbildung zwischen Verteilungsfunk-tionen F und W-Maßen µ auf den reellen Zahlen. Diese Bijektion kann ge-geben werden durch

F (x) = µ((−∞, x]) x ∈ IR.

Beweis: Dieser Satz ist analog zum Satz der Bijektion zwischen Maßen undmonotonen Funktionen. q.e.d.

Eine Familie Xi, i ∈ I, heißt identisch verteilt, falls alle Xi dieselbe Ver-teilung haben.

W-maße auf den reellen Zahlen.

BernoulliverteilungDie Bernoulliverteilung Ber(p) zum Parameter p ∈ [0, 1] ist ein W-maß P(auf einem 0, 1 enthaltenden Grundraum) mit P (1) = p, P (0) = q undp+ q = 1. Das Standardbeispiel ist der Munzwurf. Die Zg X nimmt nur dieWerte 1 fur Kopf und 0 fur Zahl an.

BinomialverteilungDie Binomialverteilung Bin(n, p) zum Parameter (n, p) ∈ ZZ+× [0, 1], ist einW-Maß P mit

P (k) =

(n

k

)pk(1− p)n−k,

k = 0, . . . , n. Werfen wir n mal eine gefalschte Munze, p sei die Wahrsch.fur Kopf (1), so ist die Gesamtanzahl Sn der Kopfwurfe P (Sn = k) = P (k)binomialverteilt Bin(n, p).SeienX1, X2, . . . , Xn unabhangig Ber(p) verteilte Zgn. Dann ist Sn =

∑ni=1Xi

Bin(n, p) verteilt. Ubung.

Geometrische VerteilungDie geometrische Verteilung Geo(p) zum Parameter p ∈ [0, 1) ist ein W-MaßP auf einem ZZ+ enthaltenden Grundraum mit

P (n) = (1− p)pn.


Wir werfen eine gefalschte Munze, p sei die Wahrsch. fur Kopf (1). Die AnzahlX der Kopfwurfe vor dem ersten Zahlwurf ist eine Zufallsgroße mit einergeometrischen Verteilung P (X = n) = (1− p)pn zum Parameter p.

Poissonverteilung Die Poissonverteilung Poi(λ) zum Parameter λ ∈(0,∞) ist ein W-Maß P auf einem ZZ+ enthaltenden Grundraum mit

P (n) = P (n) = exp(−λ)λn/n!.

Beachte∑n P (n) = 1 wegen der Taylor Entwicklung exp(λ) =

∑∞n=0 λ

n/n!.Negative Binomialverteilung Die negative Binomialverteilung zum

Parameter (n, p), n ∈ IN, 0 ≤ p ≤ 1, ist ein W-Maß P mit

P (k) =

(k + n− 1

k

)pn(1− p)k,

k ∈ ZZ+.Hypergeometrische VerteilungDie hypergeometrische Verteilung zum

Parameter (W,S, n) ∈ ZZ+ × ZZ+ × ZZ+ ist ein W-maß P mit

P ((s, w)) =

(Ss

)(Ww

)

(S+Ws+w

)

mit s, w ∈ ZZ+, s+w = n. Das Standardbeispiel ist das Ziehen ohne Zuruck-legen aus einerUrne mit S schwarzen und W weißen Kugeln.

MultinomialverteilungDie Multinomialverteilung zum Parameter (n, p,m) ∈IN×[0, 1]n×IN mit

∑ni=1 pi = 1 ist ein W-maß P auf einem i = (i1, . . . , in) ∈

(ZZ+)n | ∑nj=1 ij = m enthaltenden Grundraum mit

P (i) =m!

i1! . . . in!pi11 . . . p

inn .

Das Standardbeispiel ist m Kugeln auf n Urnen zu verteilen, pi die Wahrsch.die Kugel in die i−te Urne zu legen.

Eine Dichtefunktion ist eine positive meßbare Funktion f : IR 7→ IR+ mit∫∞−∞ f(x)dx = 1. Die Dichte einer Verteilungsfunktion F ist eine Dichtefunk-

tion f mit∫ ba f(x)dx = F (a) − F (b), a < bIR. Wir benutzen Dichte bzw.

Dichtefunktion analog fur W-maße und fur Zgn. zur Verteilungfunktion F.Bemerkung Die Dichtefunktion ist die Radon-Nikodym Ableitung des

W-maßes bezuglich des Lebesguemaßes.


Gleichmaßige Verteilung Die gleichmaßige Verteilung oder Rechteck-verteilung Uni[0, 1] ist charakterisiert durch die Dichtefunktion f = 11[0,1].

Exponentielle Verteilung Die exponentielle Verteilungs exp(λ), λ >0 ist charakterisiert durch die Dichtefunktion f(x) = 11x≥0λ exp−λx. DieVerteilungsfunktion ist F (x) = e−λx, x ≥ 0.

Normalverteilung Die Normalverteilung N(m,σ2),m ∈ IR, σ2 ∈ (0,∞)ist charakterisiert durch die Dichte

ϕm,σ2(x) :=1√2πσ2

exp−(x−m)2

σ2,

x ∈ IR. Die Verteilungsfunktion wird mit Φ beueichnet,

Φm,σ2(x) :=∫ x

−∞ϕm,σ2(y)dy.

Der Standardfall ist m = 0, σ2 = 1. Dann werden die Indizes weggelassen.

1.2. UNGLEICHUNGEN 11

1.2 Ungleichungen

Es gibt zwei große Gruppen von Ungleichungen, welche die auf Monotonieberuhen und welche auf Konvexitat.

1.2.1 Tschebyscheff-Markoff

Satz 4 (Tschebyscheff-Markoff Ungleichung) Fur jede Zg X, jede po-sitive, monoton steigende Funktion ϕ auf den reellen Zahlen und jede reelleZahl a mit ϕ(a) > 0 gilt

P (X ≥ a) ≤ E(ϕ(X))

ϕ(a)

Beweis: Es gilt

P (X ≥ a) = E11X≥a ≤ Eϕ(X)

ϕ(a)≤ Eϕ(X)

ϕ(a)

q.e.d.Spezialfalle sind die Markoff Ungleichung, a > 0

P (X ≥ a) ≤ P (|X| ≥ a) ≤ E|X|a

und hohere Momente

P (X ≥ a) ≤ P (|X| ≥ a) ≤ E|X|nan

Ferner wird gerne das exponentielle Moment benutzt, ϕ(x) = exp(tx), t >0, a ∈ IR

P (X ≥ a) ≤ E exp(tX)

exp(ta).

Der positive Parameter t, der nur auf der rechten Seite erscheint, wird even-tuell geeignet (Minimum) gewahlt.

Die Ungleichungen verbessern sich in der Regel durch vorheriges Zentrie-ren der Zgn. Die Tschebyscheff Ungleichung besagt fur a > 0

P (X − E(X) ≥ a) ≤ Var(X)

a2(1.1)


Diese Ungleichungen haben zahlreiche Anwendungen.Wurfeln: Wie groß ist die Wahrsch. bei tausendmaligem Wurfeln eine

Gesamtaugensumme von mindestens 4000 zu erreichen. Sei Xi die Augenzahldes i-ten Wurfs. Diese Zgn sind unabhangig identisch verteilt. Wir schatzendie Summe S :=

∑1000i=1 Xi auf verschiedene Weisen ab.

Die Tschebycheff-Markoff Ungleichung ergibt

P (S ≥ 4000) ≤ P (S − E ≥ 500) ≤ VarS

5002=

VarX

250=

7

600.

Beachte Var(X) = 35/12.Mit dem vierten zentrierten Moment, ϕ(x) = x4,

P (S ≥ 4000) ≤ E(S − ES)45004

≤ 18

62500≈ 0, 0003.

Beachte

E(S − ES)4 = E∑

i

∑

j

∑

k

∑

l

(Xi − EXi)(Xj − EXj)(Xk − EXk)(Xl − EXl)

=∑

i

E(Xi − EXi)4 +

(4

2

)∑

i 6=jE2(Xi − EXi)

2 ≤ 18 · 106.

Noch hohere Momente bringen etwas bessere Abschatzungen. Eine wesentlichbessere Abschatzung liefert (spater) die exponentielle Ungleichung, richtigangewendet.

Bsp: Bernsteinpolynome:

Satz 5 (Satz von Weierstraß) Jede stetige Funktion laßt sich auf Kom-pakta gleichmaßig durch Polynome approxieren.

Beweis: OEdA nehmen wie [0, 1] als das Kompaktum. Das Bernsteinpolynomeiner stetigen Funktion f auf [0, 1] ist das Polynom Bn(f) : [0, 1] 7→ IR

Bn(f)(x) :=n∑

i=0

f(i

n)

(n

i

)xi(1− x)n−i.

Diese tun’s. Wir werden zeigen ‖Bn(f)− f‖∞ →n 0.Fur festes x sei Sn die n-te Partialsumme von unabhangigen Zufallsgroßen

mit einer Bernoulliverteilung mit Parameter x. Beachte Ef(Snn) = Bn(f)(x).

|Ef(Snn)− f(x)| ≤ E(|f(Sn

n)− f(x)|(11|Sn/n−x|<ǫ + 11|Sn/n−x|≥ǫ)) = I + II.


Der erste Term ist klein in ǫ, da f als stetige Funktion auf einem Kompaktumgleichmaßig stetig ist

I ≤ sup|f(y)− f(z)| | y, z ∈ [0, 1], |y − z| < ǫ →ǫ 0.

Der zweite Term ist klein in n bei gegebenem ǫ wegen stochastischer Kon-vergenz

II ≤ 2‖f‖∞P (|Sn/n− x| ≥ ǫ) ≤ 2‖f‖∞VarX1

nǫ2≤≤ 2‖f‖∞

nǫ2→n 0.

Die gegebene Abschatzung ist gleichmasig in x. q.e.d.Quicksort: Per Induktion lassen sich die exponentiellen Momente von

Qn fur Quicksort abschatzen,

E exp((t(Qn − EQn)/n) ≤ exp(t2K)

fur alle |t| ≤ L und K = K(L) ∈ IR [18]. Die exponentielle Abschatzungliefert

P (Qn − EQn ≥ E|Qn|) ≤const(t)

n2t

fur jedes t und n. Daher ist Quicksort zuverlassig, mit hoher Wahrscheinlich-keit ist die Laufzeit von Quicksort in der Großenordnung des Erwartungs-wertes.

1.2.2 Jensen Ungleichung

Eine reellwertige Funktion ϕ heißt konvex, falls fur alle x 6= y und allet ∈ (0, 1) gilt

ϕ(tx+ (1− t)y) ≤ tϕ(x) + (1− t)ϕ(y).ϕ heißt strikt konvex, falls in obiger Ungleichung stets strikt kleiner gilt. DieseDefinition wird auch entsprechend verwendet fur andere Definitionsbereichevon f sofern alles wohldefiniert ist.

Satz 6 (Jensen Ungleichung) Fur jede konvexe reellwertige Funktion ϕ :IR 7→ IR und jede reellwertige Zg X gilt

E(ϕ(X)) ≥ ϕ(E(X)),

vorausgesetzt die Erwartungen sind wohldefiniert. Ist ϕ strikt konvex, X kei-ne Konstante mit Wahrscheinlichkeit 1 und E|ϕ(X)| endlich, so gilt striktgroßer in der Ungleichung.


Bew: Sei l eine lineare Funktion mit l ≤ ϕ und l(x0) = ϕ(x0) fur x0 = EX.(Fur eine differenzierbare Funktion ϕ nehme l(x) = ϕ′(x0)(x−x0)+ϕ(x0) ≤ϕ(x).) Argumentiere

E(ϕ(X)) ≥ E(l(X)) = l(E(X)) = E(ϕ(X)).

Ist ϕ strikt konvex, so gilt l(x) < ϕ(x) fur alle x 6= x0. q.e.d.

Merkregel: Falscher Effee.

Entropie: Sei Ω eine n− elementige Menge. Die Entropie eines W-maßesist definiert durch

H(P ) :=∑

ω

P (ω) ln1

P (ω).

Die gleichmaßige Verteilung Q hat die großte Entropie H(Q) = lnn unterallen W-maßen auf Ω.

H(Q)−H(P ) = −∑

ω

P (ω) ln1

nP (ω)≥ − ln(

∑

ω

P (ω)1

nP (ω)) = − ln 1 = 0.

Momentenabschatzung: Die Funktion ϕ(x) = |x|p ist konvex fur p ≥ 1.Die Jensen Ungleichung ergibt E|X|p ≥ (E|X|)p.

Lottospiel In einem Lottospiel, z.B. 6 aus 49, wird der gesamte Gewinnzu gleichen Teilen auf alle Gewinner, die 6 richtige haben, aufgeteilt. Fallskeiner gewinnt, bekommt der Staat alles. Mit folgender Strategie konnen Siehier Geld gewinnen, zumindest im Erwartungswert. Tippen Sie jeden Tippgenau einmal.

Die Menge Ω aller moglichen Tipps habe die Machtigkeit m, hier(496

).

Seien t1, t2, . . . , tn die Tipps der anderen Mitspieler. Sie selbst geben jedenmoglichen Tipp genau einmal ab. Da jeder Tipp eine Geldeinheit kostet,erhalt der Lottoveranstalter m+n Einheiten. Sei T eine Zg auf Ω mit Gleich-verteilung. T (ω) entspricht dem Gewinntipp, der offentlich und zufallig (auseiner Urne) gezogen wird. Die Person i gewinnt, falls T (ω) = ti gilt (fur diegegebene Realisierung ω ∈ Ω).

Die Auszahlung an einen Gewinntip ist die Zg n+mS+1

mit S(ω) + 1 =∑ni1 11T (ω)=ti +1 die Anzahl der Gewinner. Ihre durchschnittliche Auszahlung

wird nach unten abgeschatzt, verwende die konvexe Funktion x 7→ 11+|x| ,

En+m

S + 1≥ n+m

ES + 1=n+mnm+ 1

= m


Gleichheit gilt genau fur S eine Konstante (=alle Tipps werden gleichhaufiggetippt). Ansonsten ist Ihr durchschnittlicher Gesamtgewinn strikt positiv.

Warnung: Die Jensen Ungleichung gilt nur fur W-maße, aber nicht all-gemein fur Maße.

Mehrere interessante Ungleichungen wie die Holder und Minkowskiunglei-chung fur beliebige Maße folgen aber aus der Jensen Ungleichung mit Hilfeeiner Maßtransformation.

Lemma 7 Sei ϕ eine konvexe Funktion und X, Y Zg. mit Y ≥ 0, EY <∞.Dann gilt

ϕ(EX

EY) ≤ E(Y ϕ(X

Y))

EY

Bew: Definiere das W-maß Q durch∫fdQ =

∫f YEP (Y )

dP fur alle positivenmeßbaren Funktionen f .

r.S. = EQϕ(X

Y) ≥ ϕ(EQ(

X

Y)) = ϕ(

EP (X)

EP (Y )

q.e.d.Ungleichungen via Maßwechsel: Sei X ≥ 0 eine positive Zg mit Er-

wartungswert 1 und dritten Moment a. Dann gilt E(X2) ≤ √a. Verwendeobiges Lemma direkt oder eine Maßtransformation mit neuem Maß Q = XPund der konvexen Funktion x→ x2.

Lp Ungleichung

Definiere fur 1 ≤ p <∞ die Abbildung ‖.‖p auf meßbaren erweiterten Funk-tionen durch

‖f‖p := (∫|f |pdµ)1/p

und fur p =∞ durch

‖f‖∞ := esssup|f | := infα ∈ IR | µ(|f | < α) = 0.Die Abbildung ist wohldefiniert.

Satz 8 (Holder Ungleichung) Sei 1 ≤ p ≤ ∞ und q definiert durch 1/p+1/q = 1. Fur meßbare Funktionen f, g gilt

‖fg‖1 ≤ ‖f‖p‖g‖q. (1.2)

Sind obige Ausdrucke endlich, so gilt Gleichheit genau fur |f |p und |g|q sindVielfache voneinander f.s.


Beweis: Seien f und g stets positiv. Wir behandeln zuerst p = ∞ und kon-ventionell q = 1 oder umgekehrt. Die Abschatzung ist einfach,

∫fg ≤

∫fesssupg.

Der Fall 1 < p <∞ und ‖f‖p =∞ oder ‖g‖q =∞ wird gesondert behandelt.Im verbleibenden Fall verwende die Jensenungleichung Lemma (7) mit

ϕ(x) = −x1/p und X, Y dort ersetzt durch |X|p, |Y |q. Der Rest ist rechnen.q.e.d.

Klassischer Beweis der Holderungleichung fur 1 < p <∞ und ‖f‖p oder‖g‖q endlich.• ∀a, b > 0 ab ≤ ap/p+ bq/q Gleichheit gilt genau fur ap = bq.

Die Funktion h(a, b) = ap/p+ bq/q−ab als Funktion in a ≥ 0 fur festes b hatgenau ein Minimum in ap−1 − b = 0. Dort gilt h(a, ap−1) = 0.• Holder Ungleichung (1.2)

Sei ‖f‖p, ‖g‖q <∞. Mit a = f‖f‖p und b = g

‖g‖q folgt

∫ f

‖f‖pg

‖g‖q≤

∫f p

p‖f‖pp

∫gq

q‖g‖qq ≤ 1/p+ 1/q = 1.

Gleichheit gilt genau fur h(f, g) = 0 fast sicher. q.e.d.

Corollary 9 (Cauchy-Schwarz Ungleichung)

∫|fg|dµ ≤

√∫f 2dµ

∫g2dµ.

Alternativer Beweis (via Bilinearformen): Das Minimum von E(f − tg)2 int ∈ IR wird angenommen in t = Efg/Eg2. Dies eingesetzt ergibt die Unglei-chung.

Corollary 10 Sei 1 ≤ p, q, r und 1/p+ 1/q = 1/r. Dann gilt

‖fg‖r ≤ ‖f‖p‖g‖q.

Beweis: Einfach aus Holder.

Satz 11 (Minkowski) Fur 1 ≤ p ≤ ∞ gilt

‖f + g‖p ≤ ‖f‖p + ‖g‖p.

Gleichheit gilt genau fur f und g sind Vielfache voneinander f.s..


Beweis: Verwende die Jensenungleichung aus Lemma (7) fur die konvexeFunktion IR+ ∋ x 7→ (1 + x1/p)p und die Zgn |X|p, |Y |p.

Nun der klassische Beweis. Seien f, g positiv. Die Holder Ungleichungimpliziert∫(f+g)p =

∫f(f+g)p−1+

∫g(f+g)p−1 ≤ ‖f‖p‖(f+g)p−1‖q+‖g‖p‖(f+g)p−1‖q.

Hieraus folgt nach kurzer Rechnung die Behauptung. q.e.d.Bemerkung: Die Holder Ungleichung und die Minkowski Ungleichung

(als Folgerung) gelten allgemein fur Maße.Cauchy-Schwarz: Die Cauchy-Schwarz Ungleichung ist ein Spezialfall

der Holder Ungleichung mit r = 1, p = 2 = q.

Vektoraume von Zgn∗

Der Raum Lp(Ω) = Lp, 1 ≤ p ≤ ∞ aller Zufallsvariablen X : Ω 7→ IRmit ‖X‖p <∞ ist ein Vektorraum. (Beachte: Lp ist abgeschlossen bezuglichder Addition von Funktionen aufgrund der Minkowski Ungleichung.) DieAbbildung ‖ · ‖p : Lp 7→ IR ist eine Pseudonorm auf dem Raum Lp. (EinePseudonorm ‖.‖ ist eine Norm bis auf die Eigenschaft ‖v‖ = 0 ⇒ v = 0.)Die Abbildung ‖ · ‖p ist eine Norm genau dann, wenn P (ω) > 0 gilt fur alleω ∈ Ω. (Nachrechnen).

Durch Aquivalenzbildung erhalten wir einen normierten Vektorraum. De-finiere die Aquivalenzrelation X ∼ Y ⇔ ‖X − Y ‖p = 0 fur X, Y ∈ Lp, 1 ≤p ≤ ∞. Der Raum

Lp := [X] | X ∈ Lpder Aquivalenzklassen [X] := Y ∈ Lp | X ∼ Y mit den Verknupfungen +und · definiert durch [X] + [Y ] := [X + Y ], a · [X] := [aX], a ∈ IR, ist einVektorraum. Die Abbildung ‖ · ‖p : Lp 7→ IR definiert durch ‖[X]‖p := ‖X‖pist eine Norm auf Lp. (Zu zeigen ist die Wohldefiniertheit, d.h. die getroffenenDefinitionen sind unabhangig von der Auswahl der Representanten bzw. derDarstellung [X] = [Y ].)

Notation: Wir unterscheiden in Zukunft nur im Falle moglicher Miß-verstandnisse zwischen Zgn und den zugehorigen Aquivalenzklassen. In un-serem Setup diskreter W-raume gibt es einen anschaulicheren VektorraumLp(Ω′) isomorph zu Lp. Betrachte den Teilraum Ω′ ⊂ ω aller ω mit striktpositiver Wahrsch. Dann ist (Lp(Ω′), ‖ · ‖p) ein normierter Vektorraum iso-morph zu (Lp, ‖ · ‖p). Beachte X ∼ Y genau dann, falls X und Y auf Ω′


ubereinstimmen. Einer Aquivalenzklasse [X] ordnen wir bijektiv die Abbil-dung X : Ω′ 7→ IR zu.

Lemma 12 Fur 1 ≤ p ≤ q gilt Lp ⊃ Lq und die Normabschatzung

‖X‖p ≤ ‖X‖q.

Beweis. Aus der Jensen Ungleichung folgt E|X‖q = E|X|q/pp ≥ (E|X|q/p)p.

Ein vollstandiger normierter Vektorraum (V, ‖ · ‖) heißt Banachraum.Aquivalent ist, daß jedeCauchyfolge (vn ∈ V, n ∈ IN,mit ∀ǫ > 0∃n0∀m,n >0 : ‖vn − xm‖ < ǫ) konvergiert (∃v ∈ V ∀ǫ > 0∃n0∀n > n0 : ‖vn − v‖ < ǫ).

Satz 13 (Fischer-Riesz) Der Raum (Lp, ‖ · ‖p), 1 ≤ p ≤ ∞, ist ein Ba-nachraum.

Beweis: Sei Xn eine Cauchyfolge in dem normierten Vektorraum (Lp, ‖ ·‖p), 1 ≤ p ≤ ∞. Wahle eine Teilfolge Xni mit ni րi ∞ aufsteigend und∑i ‖Xni+1

−Xni‖p <∞. Damit gilt auch

∑

i

‖Xni+1−Xni‖1 ≤

∑

i

‖Xni+1−Xni‖p <∞.

Fur fast jede Realisation ω ist die Folge Xni(ω) eine Cauchyfolge in denreellen Zahlen. Diese haben einen Grenzwert, genannt X(ω). Diese Zg Xtuts.• ∑i |Xni+1

(ω)−Xni(ω)| <∞ P-f.s.Sei YN :=

∑i≤N |Xni+1

(ω)−Xni(ω)|, N ∈ IN ∪ ∞. Es gilt

‖Y∞‖p ↑N ‖YN‖p ≤∑

i≤N‖Xni+1

−Xni‖p ↑N∑

i∈IN‖Xni+1

−Xni‖p <∞.

• X(ω) := Xni+∑j≥i(Xnj+1

(ω)−Xnj(ω)) wohldefiniert fur ω mit P (ω) >0. Klar• Xni

Lp→i X.‖Xni −X‖p ≤ ‖

∑j≥i |Xnj+1

−Xnj |‖p ≤∑j≥i ‖Xnj+1

−Xnj‖p →i 0.

• XnLp→i X.

‖Xn −X‖p ≤ ‖Xn −Xni‖p + ‖Xni −X‖p →n,ni 0.• X ∈ Lp

‖X‖p ≤ ‖X −Xn‖p + ‖Xn‖p <∞. q.e.d.


Satz 14 Der Raum (L2, ‖·‖2) ist ein Hilbertraum. Die Bilinearform < ., . >:L2×L2 7→ IR, < X, Y >= EXY erzeugt die Norm ‖X‖2 :=

√< X,X >. Der

Covarianzoperator Cov : L2 ×L2 7→ IR ist eine positiv definite Bilinearform.

Beweis: Der Vektorraum L2 der Aquivalenzklassen ist ein Banachraum Theo-rem 13. Der Rest ist einfach.

Beachte Unabhangigkeit von zwei Zgn ist starker als Unkorreliertheit.

Unkorreliertheit von zentrierten Zgn entspricht der Orthogonalitat als Hilbertraumelement.

Allgemeinwissen:Hilbertraume mit gleicher Kardinalitat einer Basis sind isomorph.Die L2-Raume diskreter W-raume haben endliche oder abzahlbare Basis.Dann ist die Dimension des Hilbertraumes L2(Ω,A, P ) ist die Anzahl derω ∈ Ω mit P (ω) > 0.

1.2.3 Exponentielle oder Hoeffding Ungleichung

Proposition 15 Sei X eine zentrierte Zg mit a ≤ X ≤ b. Dann gilt fur allereellen Zahlen t ∈ IR

E exp(tX) ≤ exp(t2(b− a)2/8) (1.3)

Beweis: Beachte a ≤ 0 ≤ b.• EetX ≤ petb + qeta mit p := −a

b−a , q := 1− p = bb−a .

Sei a ≤ x ≤ b. Aus der Konvexitat der exponentiellen Funktion folgt

etx ≤ x− ab− a e

tb +b− xb− ae

ta.

Setze fur x die Zg X ein und integriere.

• petb + qeta = (q + peu)e−pu ≤ eu2

8 mit u := t(b− a).Die erste Gleichung rechnen wir nach. Fur die Ungleichung zeigen wir fur

die Funktion f(u) := u2

8+ pu− ln(q + peu) die hinreichenden Eigenschaften

f(0) = 0, f ′(0) = 0, f ′′(u) ≥ 0. Es gilt f ′(u) = u4+ p− peu

q+peuund

f ′′(u) = . . . =(q − peu)24(q + peu)2

≥ 0.

Die Eigenschaften sind erfullt. q.e.d.


Satz 16 (Hoeffding) Seien die unabhangigen Zufallsvariablen X1, X2, . . .zentriert und beschrankt durch ai ≤ Xi ≤ bi. Dann gilt fur die Summe S :=∑iXi und jede positive reelle Zahl x > 0

P (S ≥ x) ≤ exp(− 2x2∑i(bi − ai)2

).

Beweis: Sei c :=∑i(bi− ai)2. Die exponentielle Ungleichung fur ein positives

t ergibt

P (S ≥ x) ≤ E exp(tS)

exp(tx)= exp(−tx)

∏

i

E exp(tXi)

≤ exp(−tx)∏

i

exp(t2(bi − ai)2)/8) = exp(t2c

8− tx)

mit c :=∑i(bi − ai)2. Die linke Seite ist unabhangig von t. Die rechte Seite

als Funktion in t wird minimiert fur t = 4x/c. Mit diesem Wert erhalten wirdie Abschatzung. q.e.d

Aus Symmetriegrunden erhalten wir die Abschatzung

P (S ≤ −x) ≤ exp(− 2x2∑i(bi − ai)2

)

und fur den Betrag der Summe

P (|S| ≥ x) ≤ 2 exp(− 2x2∑i(bi − ai)2

).

Wurfeln: Die Hoeffding Ungleichung auf obige Fragestellung ’Wie großist die Wahrsch. bei tausendmaligem Wurfeln eine Augensumme von min-destens 4000 zu erreichen’ angewandt, ergibt

P (S1000 ≥ 4000) = P (S1000−ES1000 ≥ 500) ≤ exp(− 2 · 50021000 · 25) = e−20 ≈ 2·10−9.

Bemerkung: Die vorliegende Argumentation beruht nur auf der Mar-koffungleichung und verwendet nicht die Jensenungleichung. Jedoch in derAbschatzung 1.3 ist die rechte Seite die Laplacetransformierte einer zentrier-ten Zg mit Werten a und b. Dies fuhrt auf die Konvexe Ordnung von Zgn

X c Y ⇔ Eϕ(X) ≤ Eϕ(Y )

fur alle konvexen Funktionen ϕ.

Kapitel 2

Konvergenz, Topologie undMetrik

Wir betrachten verschiedene Konvergenzarten auf dem Raum P der W-maßeund dem Raum Z der Zufallsgroßen. Jegliche Konvergenzart ist eine Kon-vergenz bzgl. eines topologischen Raumes und umgekehrt (Pedersen [16]).Daher zuerst Topologien und Metriken als Wiederholung.

Topologie: Ein topologischer Raum ist ein Tupel (E, τ), wobei E einenicht leere Menge ist und τ ein Mengensystem (=eine Teilmenge der Potenz-menge von E) daruber, die die leere Menge und E enthalt und abgeschlossenist bezuglich beliebiger Vereinigung und endlichem Durchschnitt. In Formeln,– ∅, E ∈ τ– ∀τ ′ ⊂ τ : ∪U∈τ ′U ∈ τ– ∀τ ′ ⊂ τ, #τ ′ <∞ : ∩U∈τ ′U ∈ τ.# steht fur die Kardinalitat einer Menge.

τ heißt Topologie auf E, ein Element der Topologie heißt offen und dasKomplement einer offenen Menge heißt abgeschlossen. Die offenen Mengenwerden gerne mit U bezeichnet, die abgeschlossenen mit A.

Topologien werden meistens durch einen Erzeuger charakterisiert. Sei Eeine Teilmenge der Potenzmenge von E. Dann heißt

τ(E) := ∩ττ

die von E erzeugte kleinste Topologie. Der Durchschnitt wird uber alle Topo-logien τ auf E genommen, die E enthalten. E heißt Erzeuger einer Topologieτ , falls τ = τ(E) gilt.

21

22 KAPITEL 2. KONVERGENZ, TOPOLOGIE UND METRIK

Eine Folge xn ∈ E, n ∈ IN, konvergiert gegen x ∈ E bzgl. der Topologieτ , falls fur alle U ∈ τ mit x ∈ U es ein n0 gibt, so daß fur alle n ≥ n0 giltxn ∈ U.Not: xn

τ→n→∞x oder xn → x.In Formeln xn

τ→n→∞ ⇔ ∀U ∈ τ, x ∈ U ∃n0 ∈ IN ∀n ∈ IN, n ≥ n0 : xn ∈ U.Wir sagen xn konvergiert (bzgl. der Topologie τ), falls es ein x ∈ E gibt

mit xn konvergiert in τ gegen x.Bsp: Sei E = C([0, 1]) die Menge der stetigen Funktionen auf dem Ein-

heitsintervall versehen mit dem punktweisen Konvergenzbegriff

fn → f ⇔ ∀x ∈ [0, 1] : fn(x)→n→∞ f(x)

Die Topologie wird erzeugt von den offenen Mengen Uǫ,x(f) = g ∈ E ||f(x)− g(x)| < ǫ, ǫ > 0, x ∈ [0, 1]

Metrik: Eine Pseudometrik auf einer nichtleeren Menge E ist eine Ab-bildung d : E × E → IR+ mit den Eigenschaften, fur alle x, y, z ∈ E– x = y ⇒ d(x, y) = 0– d(x, y) = d(y, x) Symmetrie– d(x, y) ≤ d(x, z) + d(z, y) Dreiecksungleichung.Eine Metrik ist eine Pseudometrik mit der zusatzlichen Eigenschaft– d(x, y) = 0⇒ x = y.Das Tupel (E, d) wird pseudometrischer bzw. metrischer Raum genannt.

Jede Metrik induziert eine Topologie, die erzeugt wird durch die offenenMengen

Uǫ(x) = y ∈ E | d(x, y) < ǫfur alle ǫ > 0, x ∈ E. (Umgekehrt, nicht jeder topologische Raum stammtvon einer Metrik.) Konvergenz in einen metrischen Raum bedeutet

xn →n→∞ x⇔ ∀ǫ > 0 ∃n0 ∈ IN ∀n ≥ n0 : d(xn, x) < ǫ.

Die metrische Konvergenz ist dieselbe wie die Konvergenz bzgl. der induzier-ten Topologie.

Bsp: Auf E = C([0, 1]) heißt d(f, g) = supx∈[0,1] |f(x)− g(x)| die Supre-mumsmetrik.

Es gibt eine Standardkonstruktion, um aus einem pseudometrischen Raumeinen metrischen zu machen. Sei (E, d) ein pseudometrischer Raum. Definiereauf E die Aquivalenzrelation

x ∼ y ⇔ d(x, y) = 0.

2.1. KONVERGENZ VON W-MASSEN 23

Sei E∼ die Menge der Aquivalenzklassen [x] = y ∈ E | x ∼ y von x ∈ E.Dann ist d∼ : E∼ × E∼ → IR+ definiert durch

d∼([x], [y]) = d(x, y)

wohldefiniert und eine Metrik auf E∼. Mit Aquivalenzklassen rechnet manvia Reprasentanten und unterscheidet, dies ist ein Notationsmißbrauch, inder Regel nicht zwischen Aquivalenzklassen und Reprasentanten.

Bsp: Die Abbildung (X, Y ) → E|X − Y | = ‖X − Y ‖1 auf dem Raumder integrierbaren Zgn (bzgl. einem festen W-raum) ist eine Pseudometrik.Diese wird zur Metrik wie oben erweitert. Wir sprechen dann, Notations-missbrauch, von einer Metrik auf dem Raum der integrierbaren Zgn. Ex-akter musste es heißen, eine Metrik auf dem Raum der Aquivalenzklassenintegrierbarer Funktionen.

2.1 Konvergenz von W-maßen

Fur ein Maß µ und eine Funktion f benutzen wir den Operator µ(f) :=∫fdµ,

falls dies wohldefiniert ist.Eine Folge µn von Maßen (oder Operatoren) konvergiert bzgl. einer Menge

F von Funktionen, falls fur alle f ∈ F gilt

µn(f)→n µ(f).

Notation: µnF→n µ.

Die zugehorige Topologie wird erzeugt von den Mengen

Uǫ,f (µ) := ν | |ν(f)− µ(f)| < ǫ,

fur alle ǫ > 0, f ∈ F .Eine Familie F von Funktionen heißt separabel oder trennend bzgl. einer

FamilieM von Maßen, falls je zwei Maße aus der Familie sich fur mindestenseine Funktion f ∈ F aus der Funktionenfamilie unterscheiden. (∀µ 6= ν ∈M∃f ∈ F : µ(f) 6= ν(f).)

Fur F bestehend aus den Treppen 11A, A ∈ A, erhalten wir die punktweiseKonvergenz von Maßen. Diese Funktionenmenge ist separierend.

Ab jetzt sei (Ω, τ) ein topologischer Raum. Wir sprechen von schwacherKonvergenz oder Konvergenz in Verteilung fur die Konvergenz bezuglich der


Menge aller stetigen beschrankten Funktionen.

Notation: µnw→n µ oder µn

D→n µ oder µnCb→n µ. Hierbei steht w fur weak,

D fur Distribution und Cb fur die Funktionenklasse.Wir sprechen von vager Konvergenz fur die Konvergenz bzgl. allen steti-

gen Funktionen mit kompaktem Trager. (Der Trager supp(f) einer Funktionist die kleinste abgeschlossene Menge f 6= 0 enthaltend.)Notation: µn

v→n µ.Eine FamilieM von Maßen heißt straff, falls es fur alle ǫ > 0 eine kom-

pakte Menge K gibt mit µ(Kc) ≤ ǫ fur alle µ ∈M.

Lemma 17 Eine Folge von W-maßen auf IR konvergiert in Verteilung genaudann, wenn sie vage konvergiert und die Familie straff ist.

µnD→n µ⇔ µn

v→n µ und µn, n ∈ IN straff.

Beweis:’⇒‘ Sei K ein kompaktes Intervall und Kǫ := x ∈ IR | ∃y ∈ K :

|x−y| ≤ ǫ. Es gibt eine stetige Funktion f = fK,ǫ, die auf dem KompaktumK stets 1 ist, außerhalb von Kǫ stets 0 und ansonsten von unten durch 0,von oben durch 1 beschrankt ist (Lemma von Urysohn, [5]). Es gilt

µn(Kcǫ ) ≤ µn(1− f)→n µ(1− f) ≤ µ(Kc).

Wahlen wir K mit µ(Kc) ≤ ǫ so gilt µn(Kcǫ ) < ǫ bis auf endlich viele n.

Wir vergroßern K entsprechend, um die restlichen n’s mit einzuschließen.

’⇐‘ Sei g stetig, beschrankt, und f,K wie oben. Argumentiere g = fg +

(1− f)g,

|µn(g)− µ(g)| ≤ |µn(fg)− µn(fg)|+ |µn((1− f)g)− µ((1− f)g)|.

Der erste Term wird klein fur n hinreichend groß. Der zweite Term wirdabgeschatzt durch ≤ ‖g‖∞(µn(K

c) + µ(Kc)) und klein glm. in n fur K hin-reichend groß. q.e.d.

Beispiel: µn = δn konvergiert vage gegen das Nullmaß, aber nicht schwach.Fur eine Verteilungsfunktion F sei F−1 die linksstetige Inverse

F−1(u) := infx | F (x) ≥ u.

Lemma 18 Seien µ, µn, n ∈ IN, W-maße auf den reellen Zahlen. Aquivalentsind die Aussagen

2.1. KONVERGENZ VON W-MASSEN 25

(i) Die Folge µn konvergiert in Verteilung gegen µ.

(ii) Die Folge konvergiert vage

(iii) Die Folge konvergiert bezuglich C∞c .

(iv) Die Folge konvergiert bzgl. C∞b .

(v) Die zugehorigen Verteilungsfunktionen Fn konvergieren gegen F fur alleStetigkeitspunkte von F.

(vi) Die Inversen F−1n konvergieren gegen F−1 fur alle Stetigkeitspunkte von

F−1.

Beweis: i) ⇒ ii) ⇒ iii) Einfachii) ⇒ i) Verwende f,K wie im Lemma 17 und zeige Straffheit durch

µn(Kcǫ ) ≤ µn(1− f)→n µ(1− f) ≤ µ(Kc).

iii) ⇔ ii) Jede Funktion aus Cc laßt sich in Supremumsnorm beliebig gutdurch eine C∞

c Funktion approximieren. Dies reicht.iv) ⇔ i) Verwende C∞

c ⊂ C∞b ⊂ Cb.

i)⇒ v) Sei fa diejenige stetige Funktion, die (−∞, a] auf 1 abbildet, [a+ǫ,∞) auf 0 und sonst linear ist. Es gilt

F (a− ǫ) ≤ µ(fa−ǫ)←n µn(fa−ǫ) ≤ Fn(a) ≤ µn(fa)→n µ(fa) ≤ F (a+ ǫ).

Anders geschrieben,

F (a− ǫ) ≤ lim infn

Fn(a) ≤ lim supn

Fn(a) ≤ F (a+ ǫ).

Dies gilt fur alle ǫ > 0.v) ⇐ ii) Die Menge S der Stetigkeitspunkte von F ist dicht. (Eine mo-

noton steigende Funktion hat hochstens abzahlbar viele Unstetigkeitspunkteund dies sind Sprungstellen.) Betrachte die Menge aller meßbarer beschrank-ter Funktionen f mit µn(f) →n µ(f). Diese Menge ist abgeschlossen bzgl.Addition und gleichmaßiger Konvergenz. Sie enthalt alle Treppen 11(−∞,s]

mit s ∈ S ein Stetigkeitspunkt. Die Menge enthalt alle stetigen Funktionenmit kompaktem Trager, da diese sich gleichmaßig durch Treppenfunktionenobiger Treppen approximieren lassen. Folglich konvergiert µn vage.


v) ⇔ vi) Dies ist einfach fur F stetig und strikt steigend. Der allgemeineFall ist eine unschone Ubung. q.e.d.

Folg: Eine verteilungskonvergente Folge von W-maßen ist straff.Folg: C∞

c (IR) ist W-maß trennend. Ware µ(f) = ν(f) fur alle f ∈ C∞c so

auch fur alle f ∈ Cb und damit waren die Verteilungsfunktionen dieselben.Dies impliziert µ = ν.

Bemerkung: Funktionalanalytisch ist Verteilungskonvergenz gerade dieschwach-∗ Konvergenz. Maße werden als lineare stetige Funktionale auf Cbaufgefaßt.

Satz 19 Eine straffe Familie µn, n ∈ IN von W -maßen auf den reellen Zah-len hat stets eine Teilfolge, die in Verteilung gegen ein W-maß konvergiert.

Beweis: Sei Fn die Verteilungsfunktion von µn. Wahle eine dichte, abzahl-bare Menge D in IR. Mit Hilfe des Cantorschen Diagonalverfahrens wahleeine Teilfolge ni →i ∞ mit Fni(d) konvergiert fur jedes d ∈ D gegen einenGrenzwert, genannt F (d). Die Funktion F : D → [0, 1] ist aufsteigend. AusF (d) = limi(1−µni((d,∞))) und der Straffheit erhalten wir F (d)→d→∞= 1.Die rechtsstetige Fortsetzung F : IR→ IR ist eine Verteilungsfunktion. Dazuexistiert ein eindeutiges Maß µ mit µ((−∞, x]) = F (x) fur alle x ∈ IR. Derletzte Satz liefert die Behauptung. q.e.d.

2.2 Konvergenz von Zufallsgroßen

Die W-theorie bevorzugt Zgn zur Formulierung von Sachverhalten. So ver-wenden wir maßtheoretische Begriffe auch fur Zgn. Beispielsweise ist eineFamilie von Zgn straff, falls die Verteilungen eine straffe Familie bilden. All-gemeiner verwenden wir

XnF→ X ⇔ PXn F→ PX

fur Verteilungskonvergenz oder schwache Konvergenz mit derselben Notation.Konvergenzen der Verteilungen: Jede Metrik dP (bzw. Topologie)

auf dem Raum der W-Maße P induziert eine Pseudometrik (Topologie) dZauf dem Raum Z der Zgn,

dZ(X, Y ) = dP(L(X),L(Y )).

2.2. KONVERGENZ VON ZUFALLSGROSSEN 27

L(X) steht fur die Verteilung der ZgX. Die Pseudometrik dZ wird zur Metrikdurch Aquivalenzklassenbildung. In diesem Fall, zwei Zgn sind aquivalentbzgl. dieser Metrik, falls die Verteilung gleich ist. Beispiele sind Verteilungs-und vage Konvergenz.

Stochastische Konv: Eine Folge Xn, n ∈ IN, von Zgn konvergiertstochastisch oder in Wahrscheinlichkeit gegen eine Zg X, falls

limnP (|Xn −X| > ǫ) = 0

fur alle ǫ > 0 gilt. Wir schreiben Xns→n X oder Xn

P→n X. s steht furstochastic und P fur probability.

Diese Konvergenz entspricht Konvergenz bzgl. der Topologie auf den Zgnerzeugt durch die Metrik

d1(X, Y ) := infǫ ∈ IR | P (|X − Y | > ǫ) < ǫ

oder der Metrik

d2(X, Y ) := E(|X − Y |

1 + |X − Y |).

Fast sichere Konv: Eine Folge Xn von Zgn konvergiert fast sicher,falls

P (limnXn = X) = 1

gilt.

Notation: Xnf.s.→n X.

Diese Konvergenz bricht etwas aus dem Rahmen, da zuerst eine Nullmen-ge aus dem Realisierungsraum entfernt werden muss. Sie entspricht punkt-weiser Konvergenz von Aquivalenzklassen.

Lp-Konv: Eine Folge Xn ist Lp-konvergent bzw. konvergiert im p-tenMittel, 0 < p ≤ ∞, gegen X, falls ‖Xn −X‖p →n gilt. Hierbei ist ‖Y ‖p =(E|Y |p)(1/p)∨1 fur p < ∞ und ‖Y ‖∞ := esssup|Y | die ∞−norm. Diese Kon-vergenz heißt auch Konvergenz im p-ten Mittel.

Notation: XnLp→n X

Hier eine Ubersicht der gebrauchlichsten Konvergenzarten fur Zgn. p-teMoment steht fur Konvergenz des p-ten absoluten Moments.


Satz 20

L∞

Lp, 1 < p <∞

L1fast sicher

stochastisch

schwach

vage

+ p-te Moment+ 1-te Moment

Version

+ 1-te MomentKopie

Kopie

straff

W-theorie

Maßtheorie

Der Beweis erfolgt in einer Reihe von Aussagen. Die unteren beiden Kon-vergenzarten beruhen auf Verteilungskonvergenz und sind eher der Maßtheo-rie zuzuordnen.• Stochastische Konvergenz impliziert Verteilungskonvergenz.Die Familie ist straff

P (|Xn| > a) ≤ P (|Xn −X| < 1, |X| > a− 1) + P (|Xn −X| ≥ 1)

Der erste Term ist klein fur a hinreichend groß. Der zweite ist klein fur nhinreichend groß, z.B. n ≥ n0. Fur n < n0 wahle a auf der l.S. hinreichendgross.


Es reicht nun vage Konvergenz zu zeigen. Sei f ∈ Cc.

|Ef(Xn)− Ef(X)| ≤ E(|f(Xn)− f(X)|(11|Xn−X|≥ǫ + 11|Xn−X|<ǫ))

≤ 2‖f‖∞P (|Xn −X| ≥ ǫ) + sup|x−y|<ǫ

|f(x)− f(y)|.

Der zweite Term ist klein in ǫ, da eine stetige Funktion auf einem Kompaktumgleichmaßig stetig ist. Der erste Term ist klein fur n groß bei festem ǫ.• Fast sichere Konvergenz impliziert stochastische Konvergenz.

P (|Xn −X| > ǫ) ≤ P (∃N ≥ n : |XN −X| > ǫ)→n 0.

• L1-Konvergenz impliziert stochastische Konvergenz.Dies folgt aus der Markoff Ungleichung

P (|Xn −X| > ǫ) ≤ E|Xn −X|ǫ

→n 0.

• Fur 1 ≤ p ≤ q <∞ impliziert Lq-Konvergenz die Lp-Konvergenz.Die Jensen Ungleichung ergibt ‖Y ‖p ≤ ‖Y ‖q.• L∞-Konvergenz impliziert fast sichere und L1-Konvergenz. Einfach.Gegenbeispiele: Alle Beispiele sind auf Einheitsintervall versehen mit

der Borel σ-Algebra und dem Lebesguemaß.• Verteilungskonvergenz impliziert nicht stochastische Konvergenz.Seien Xn, n ∈ IN, uiv Zgn und keine Konstante. Diese Folge konvergiert

offensichtlich schwach. Wurde sie auch schwach konvergieren gegen eine ZgnX so gilt einerseits

P (|Xn −Xm| > ǫ) ≤ P (|Xn −X| > ǫ/2) + P (|Xm −X| > ǫ/2)→n,m 0.

und andererseits P (|Xn −Xm| > ǫ) = P (|X1 −X2| > ǫ) > 0 fur alle n 6= mund ǫ hinreichend klein. Widerspruch.• Stochastische Konvergenz impliziert nicht fast sichere Konvergenz.X1 = 11[0,1], X2 = 11[0,1/2], X3 = 11[1/2,1], X4 = 11[0,1/4], X5 = 11[1/4,1/2], ..., X8 =

1[0,1/8], ... usw. Formaler Xn := 11[i/2m,(i+1)/2m] mit n = 2m + i, 0 ≤ i < 2m.(Zeichnung machen!). Diese tut’s.• Lp-Konvergenz, 1 ≤ p <∞ impliziert nicht fast sichere Konvergenz.Siehe obiges Beispiel.• Fast sichere Konvergenz impliziert nicht L1-Konvergenz.Die Folge Xn := 1

n11[0,1/n] konvergiert fast sicher gegen 0, aber nicht in L1

fur geeignet gewahlte an.


• Lp-Konvergenz impliziert nicht Lq-Konvergenz, 1 ≤ p < q ≤ ∞.Wahle eine Folge Xn =

∑ni=1 11( 1

i+1, 1i]ai mit ai geeignet. Ubung.

Nun zu den verbleibenden positive Aussagen mit Zusatzbedingungen.Kopie oder Version: Eine Version einer Zg ist eine Zg mit derselben

Verteilung. Beliebt ist folgende Konstruktion. Sei U eine Zg mit gleichmaßigerVerteilung auf [0, 1]. Dann ist F−1(U) eine Version von X. Ubung. Sprachge-brauch: Manchmal wird unterschieden zwischen Version als einer aquivalen-ten Zgn (im Sinne f.s.) auf demselben W-raum und Kopie als Zgn auf evtl.anderem W-raum. Erst fur Prozesse wird dies interessant.• Sei Xn schwach konvergent gegen X. Dann existiert eine Version Yn der

Xn mit Yn ist fast sicher konvergent gegen eine Version von X.Seien Fn, F die zugehorigen Verteilungsfunktionen und U eine gleichmaßig

verteilte Zg. Dann tut’s die Folge Yn = F−1n (U). Die Aussage beruht auf Lem-

ma 18. (limn |Yn−F−1(U)| = 0 bis auf die ω mit U(ω) eine Unstetigkeitsstellevon F−1. Dies sind hochstens abzahlbar viele und haben Maß 0.) q.e.d.

Bemerkung: Schwache und stochastische Konvergenz stimmen ubereinfur Zgn Xn, die gegen eine Konstante konvergieren. Auf diskreten W-raumenstimmen stochastische Konvergenz und fast sichere uberein.

Teilfolgenprinzip: Jede stochastisch konvergente Folge hat eine fast si-cher konvergente Teilfolge. Der Grenzwert ist derselbe. (Ubung)

Den folgenden Satz vergleiche mit Satz 24.

Satz 21 Seien Xn, n ∈ IN , p-integrierbare Zgn, 1 ≤ p <∞. Xn konvergiertin Lp gegen X genau dann, wenn Xn stochastisch gegen X konvergiert und‖Xn‖p → ‖X‖p <∞ gilt.

XnLp→ X ⇔ Xn

s→ X und ‖Xn‖p →n ‖X‖p <∞.

Beweis:’⇒‘ Lp Konvergenz impliziert stochastische Konvergenz. Die umge-

kehrte Dreiecksungleichung liefert

|‖Xn‖p − ‖X‖p| ≤ ‖Xn −X‖p →n 0.

’⇐‘ Die Menge An = |Xn −X| > ǫ konvergiert mit n dem Maße nach

gegen 0. Weiterhin ist

E|X|p11An ≤ supA|P (A)≤P (An)

E|X|11A = E(F−1|X|(U)11U>1−P (An))→n 0


E|Xn −X|p = E|Xn −X|p11An + E|Xn −X|p11Acn≤ 2p(E|Xn|p11An + E|X|p11An) + ǫp

= 2p(E|Xn|p − E|Xn|p11Acn) + o(1) + ǫp

≤ 2p(E|Xn|p − ‖X‖p) + 2pE|X|11An + 2pE((|X|p − |Xn|p)1Acn) + o(1) + ǫp

≤ 2p(E|Xn|p − ‖X‖p) + 2pE|X|11An + 2pE(((|X|+ ǫ)p − |X|p)) + o(1) + ǫp

→n 2pE((|X|+ ǫ)p − |X|p) + ǫp →ǫ→0 0

q.e.d.

2.2.1 Gleichgradige Integrierbarkeit*

Eine Familie F von Zgn heißt gleichgradig integrierbar , falls

g(c) := supX∈F

∫

|X|>c|X|dP −→c→∞ 0

gilt. Fur eine Funktion f heißt die Familie F gleichgradig f-integrierbar,falls die Familie f(X), X ∈ F gleichgradig integrierbar ist. Eine Familie Fvon Zgn heißt p-gleichgradig integrierbar 1 ≤ p <∞, , falls sie gleichgra-dig f -integrierbar ist fur die Funktion x 7→ |x|p. Anstelle gleichgradig wirdauch gleichmaßig als Synonym verwendet.

Eine Familie gleichgradig integrierbarer Zgn erfullt stets

supX∈F

E|X| ≤ c+ g(c) <∞

Sei µ ein Maß, f eine meßbare positive Funktion und∫fdµ < ∞. Dann

ist das maßtransformierte Maß ν zu (µ, f) definiert durch ν(A) =∫A fdµ fur

A ∈ A. Aquivalent dazu ist∫gdν =

∫gfdµ fur alle meßbaren g ≥ 0. Die

Kurzschreibweise fur die Maßtransformierte ist dν = f dµ oder auch fµ.Gleichgradige Integrierbarkeit ist eine Eigenschaft der Verteilungen der

Zgn und hangt nicht von der Realisation der Zgn ab. Maßtheoretisch ent-spricht f -gleichgradige Integrierbarkeit der Straffheit der Familie der end-lichen Maßen |f(X)|P, X ∈ F . Eine typische Anwendung gleichgradigerIntegrierbarkeit ist

Lemma 22 Sei Xn, n ∈ IN, eine gegen X vage konvergierende Folge vonZgn. und diese Familie sei gleichgradig integrierbar. Dann gilt

limnEf(Xn) = Ef(X)


fur jede stetige Funktion f mit

lim sup|x|→∞

|f(x)||x| <∞ (2.1)

Bew: Seien Q,Qn die Maßtransformierten zu PX , PXn bezuglich x → |x|auf den reellen Zahlen. Die Qn konvergieren vage gegen Q. Da die FamilieQ,Qn, n ∈ IN, straff ist, gilt auch schwache Konvergenz. Es reicht die Lem-maaussage zu zeigen fur stetige Funktionen f wie oben und f = 0 in einerUmgebung der 0. Es gilt

Ef(Xn) =∫ f(x)

|x| dQn →n

∫ f(x)

|x| dQ = Ef(X)

q.e.d.Ahnlich beweist man das folgende Lemma.

Lemma 23 Sei Xn, n ∈ IN, eine gegen X schwach konvergierende Folgevon Zgn. Die Familie (Xn)n ist gleichgradig integrierbar dann und nur dann,wenn ‖Xn‖1 gegen ‖X‖1 <∞ konvergiert.

Bew: Die Hinrichtung folgt aus obigem Lemma mit f(x) = |x|.Ruckrichtung. Die endlichen Maße Qn(dx) = |x|P |Xn|(dx) auf den reel-

len Zahlen konvergieren vage gegen das endliche Maß Q(dx) = |x|P |X|(dx).Damit konvergieren die Funktionen Fn, Fn(x) := Qn((−∞, x]) gegen F ,F (x) := Q((−∞, x]) fur alle Stetigkeitspunkte von F . Dies sind auch dieStetigkeitspunkte der Verteilungsfunktion von X. Beachte ‖Xn‖ = Fn(∞).Dies impliziert die Konvergenz von∫

|Xn|>c|Xn|dP =

∫11x>|c|Qn(dx) = Fn(∞)− Fn(c)

≤ |Fn(∞)− F (∞)|+ |F (∞)− F (c)|+ |F (c)− Fn(c)|

Der zweite Term ist klein fur c hinreichen groß. Der dritte Term wird kleinbei festem c durch n hinreichend groß. Der erste Term wird klein durch nhinreichend groß. damit ist die linke Seite kleiner als etwas vorgegebenes furn sagen wir großer als ein n0. Danach nehme ein c ≥ c so, daß die linke Seiteklein wird fur jedes n ≤ n0. Damit haben wir aus Monotoniegrunden (g istfallend) die linke Seite klein in c gleichmaßig in n. q.e.d.

Die w-theoretische Bedeutung der gleichgradigen Integrierbarkeit liegt indem folgenden Satz.


Satz 24 Sei Xn, n ∈ IN , eine Folge p-integrierbarer Zgn mit 1 ≤ p < ∞.Aquivalent sind

(i) Xn konvergiert in Lp gegen X.

(ii) Xn konvergiert stochastisch gegen X und ‖Xn‖p → ‖X‖p(iii) Xn konvergiert stochastisch gegen X und die Familie Xn, n ∈ IN ist

gleichgradig p-integrierbar.

Bew: Kombiniere Satz 21 fur die Aquivalenz der ersten beiden Aussagen. Dasletzte Lemma liefert die Aquivalenz der letzten beiden Aussagen. q.e.d.

Fur eine Zg X definiere H = HX : (0, 1] 7→ IR

HX(t) := sup∫

A|X|dP | P (A) ≤ t.

Fur eine Familie F von Zgn benutzen wir

HF(t) := supX∈F

HX(t).

Falls der W-raum reichhaltig genug ist und eine gleichformig verteilte Zgbesitzt (was wir stets annehmen), so gilt

HX(t) =∫ 1

1−tF−1(u)du,

mit F die Verteilungsfunktion zu |X|. (Ubung)

Satz 25 Fur eine Familie F von Zgn sind die folgenden Aussagen aquiva-lent:

(i) F ist gleichgradig integrierbar.

(ii) Fur alle ǫ > 0 gibt es eine integrierbare Zg Y mit supX∈F∫|X|>Y |X|dP <

ǫ.

(iii) HF : (0, 1]→ IR ist stetig in 0 mit HF(0) = 0.

(iv) Es gibt eine aufsteigende Funktion ϕ : IR+ → IR+ mit limx→∞ϕ(x)x

=∞und die |ϕ|-ten Momente aus F sind gleichmaßig beschrankt.


Beweis: i)⇒ ii) Wahle Y als eine Konstante.

ii) ⇒ iii) In der Zerlegung

∫

A|X| =

∫

A∩|X|>Y |X|+

∫

A∩|X|≤Y |X| ≤

∫

|X|>Y|X|+

∫

A|Y | <∞

ist der erste Term klein durch Wahl des Y glm. in X. Der zweite Term istklein in P (A) klein glm. in X.

iii) ⇒ i) Zu vorgegebenem ǫ > 0 wahle ein p > 0 mit HF(p) < ǫ. Wahleeine Partition (Ai)

Ni=1 von Ω in N ≤ 1

p+ 1 Mengen vom Maß ≤ p. Dann gilt

gleichmaßig in X ∈ F∫|X| ≤

∫

∪iAi|X| ≤

∑

i

∫

Ai|X| ≤ HF(p)N <∞.

Die Markoffungleichung liefert

supXP (|X| > c) ≤ sup

X

∫ |X|c≤ ǫN

c→c→∞ 0

Es folgt

supX

∫

|X|>c|X| ≤ sup

XHX(P (|X| > c)) ≤ sup

XHF(P (|X| > c))

≤ HF(supX

(P (|X| > c))→c→∞ 0

iv) ⇒ i)

∫

|X|>c|X| =

∫

|X|>c

|X|ϕ(|X|)ϕ(|X|) ≤ sup

x≥c

|x|ϕ(|x|)Eϕ(|X|).

Der erste Faktor konvergiert mit c → ∞ gegen 0 glm. in X ∈ F und derzweite ist endlich gleichmaßig fur X ∈ F .

i) ⇒ iv) Wahle eine aufsteigende Folge 0 = e0 < en →n ∞ mit g(en) ≤2−n. Definiere die Funktion ϕ durch ϕ(x) =

∑n∈IN0

(|x| − en)+. ϕ ist symme-trisch und auf IR+ strikt monoton steigend gegen unendlich. Es gilt

limx→∞

ϕ(x)

x= lim

x

∑

n

(x− en)+x

≥∑

n≤n0

lim infx

(x− en)+x

= n0 →n0 ∞


Zu vorgegebenem n0 sei c gross mit ϕ(en0) < c

∫

ϕ|X|>cϕ(|X|) =

∑

n

∫

ϕ(|X|)>c(|X| − en)+

≤∑

n≥n0

∫

|X|>en0(|X| − en)+ +

∑

n<n0

∫

ϕ(|X|)>c|X|

≤∑

n≥n0

∫

|X|≥en|Xn|+

∑

n<n0

g(ϕ−1(c))

≤∑

n≥n0

2−n +∑

n<n0

g(ϕ−1(c))→c→∞ 0

gleichmaßig fur X ∈ F . q.e.d.Bemerkung: Die hier konstruierte Funktion ϕ ist eine (allgemeine) Or-

licz Funktion (ϕ ist symmetrisch, positiv, konvex und ϕ(0) = 0). Zusatzlichließe sich ϕ glatt wahlen, eventuell unendlich oft differenzierbar und ϕ(x) > 0fur x > 0.

2.2.2 Weitere Metriken

Totalvariationsabstand: Als Abstandsbegriff fur Maß µ, ν wahlen wir denTotalvariationsabstand

dtot(µ, ν) := supA,B∈A

(µ(A)− ν(A) + ν(B)− µ(B)).

(Siehe hierzu Ladungsverteilungen). dtot ist eine Metrik fur endliche Maße.Fur W-maße gilt dtot(P,Q) := 2 supA∈A(P (A) − Q(A)) und das Supremumwird angenommen. (Es gilt dtot(µ, ν) =

∫ |f −g|dρ mit ρ = µ+ν und f, g dieRadon-Nikodym Ableitung von µ, ν bezuglich ρ.) Fur diskrete Maße erhaltenwir

dtot(P,Q) =∑

x

|P (x)−Q(x)|.

Metriken fur Verteilungsfunktionen: Weitere Metriken lassen sichaus den Verteilungsfunktionen konstruieren. Hintergrund ist die eineindeu-tige Zuordnung von Maßen und Verteilungsfunktionen. Beispiele auf demRaum der Verteilungsfunktionen sind (Kolmogoroffmetrik, Levymetrik, Was-sersteinmetrik lp-Metrik, 1 ≤ p ≤ ∞)

dK(F,G) := ‖F −G‖∞


dL(F,G) := inf ǫ | ∀x ∈ IR : |F (x)−G(x+ ǫ)| < ǫ und |F (x)−G(x− ǫ)| < ǫdp(F,G) := inf

X∼F,Y∼G‖X − Y ‖p

Bem: dp(F,G) = ‖F−1(U) − G−1(U)‖p = (∫ 10 |F−1(x) − G−1(x)|pdx)1/p mit

U gleichmaßig verteilt auf [0, 1].Diese Metriken auf den Verteilungsfunktionen sind auch Metriken auf

W-maßen, durch Identifizierung von Verteilungsfunktion und W-maß.Orlicz Metrik: Eine Orlicz Funktion ist eine positive, konvexe Funktion

auf den positiven reellen Zahlen mit ϕ(x) = 0 ⇔ X = 0. Sei µ ein Maßund (E, d) ein metrischer Raum. Definiere die Abbildung dϕ auf meßbarenFunktionen Ω→ E durch F(Ω, IR)

dϕ(f, g) := infc > 0 |∫ϕ

(d(f(x), g(x))

c

)µ(dx) ≤ 1.

dϕ ist eine Metrik auf der Menge aller f mit dϕ(f, 0) <∞.Das Standardbeispiel sind die Lp-Raume 1 ≤ p < ∞ zur Orliczfunction

x 7→ xp.Wasserstein Metrik: Sei d eine Metrik auf dem Werteraum E, µ, ν

W-maße auf (E,B(E)) und definiere die Wassersteinmetrik

dW (µ, ν) := inf Ed(X, Y )

Das Infimum ist uber alle Zgn X mit Verteilung µ und alle Y mit Verteilungν auf einem beliebigen W-raum genommen. Die Wassersteinmetrik ist eineMetrik auf dem Raum der Verteilungen.

Ist d eine Metrik und ϕ eine Orlicz Funktion, so ist ϕ(d) ebenfalls eineMetrik.

Minimal lp-Metrik: Die Funktionen lp :Mp ×Mp 7→ IR, 1 ≤ p ≤ ∞,

lp(µ, ν) = inf ‖X − Y ‖pauf dem Raum Mp := µ | ∫ |x|pµ(dx) < ∞ der p-fach integrierbaren W-Maße auf IR sind Metriken. Ohne Beweis sei angefuhrt, das Infimum wirdangenommen mit

lp(µ, ν) = ‖F−1µ (U)− F−1

ν (U)‖p,U eine gleichformig verteilte Zg (siehe [14][3]).

Satz 26 Der Raum (Mp, lp), 1 ≤ p ≤ ∞, ist ein vollstandiger, metrischerRaum. Er ist separabel fur 1 ≤ p <∞.


Beweis: • Separabilitat.Sei D eine dichte, abzahlbare Teilmenge in Lp. Dann ist die Menge aller

Verteilungen dazu dicht in Mp.

• Vollstandigkeit.Fur die Vollstandigkeit sei µn eine Cauchyfolge in der Wasserstein lp-

Metrik. Dann ist F−1µn (U) mit U gleichformig verteilt eine Lp-Cauchyfolge.

Wegen der Lp-Vollstandigkeit konvergiert diese in Lp. Sei µ die Verteilung.Die Folge F−1

µn (U) konvergiert punktweise (fur fast alle ω) gegen F−1µ (U).

q.e.d.

Eine Folge Xn ist lp konvergent, falls die Verteilungen in lp-Metrik kon-vergieren.

Notation: Xnlp→n X.

Proposition 27 lp Konvergenz ist aquivalent zur Konvergenz in Verteilungplus Konvergenz des p-ten absoluten Momentes. (Dies entspricht der p-gleichmaßi-gen Integrierbarkeit.)

Beweis: Wir benutzen die Version F−1n (U) = Xn und d(Fn, Fm) = ‖F−1

µ (U)−F−1ν (U)‖p. Dann verwende den Satz 21.

Bemerkung: Beachte auch die gleichmaßige Integrierbarkeit, Satz 24.

Zolotarev Metrik.

Wir definieren die Zolotarev Metrik bzgl. W-massen und bzw. Zgn.

Jedes s > 0 hat eine eindeutige Darstellung s = m+ α mit m ∈ IN0 und0 < α ≤ 1. Sei Cn(IR), n ∈ IN die Menge der n-mal stetig differenzierbarenreellwertigen Funktionen, C0(IR) der stetigen Funktionen. Sei

F s := f ∈ Cm(IR) | ∀x, y ∈ IR |Dmf(x)−Dmf(y)| ≤ |x− y|α

mitDm diem-fache Ableitung. Sei Ps die Menge der W-masse µmit∫ |x|sµ(dx) <

∞ und Psz , z = (z1, z2, . . . , zm) ∈ IRm die Teilmenge mit k-ten Momenten zkfur 1 ≤ k ≤ m. Im Falle m = 0 besteht IR0 nur aus der leeren Menge.Betrachte die Abbildung ζs, s > 0 auf Ps × Ps → IR nach IR+ definiertdurch

ζs(µ, ν) := supf∈Fs|∫fdµ−

∫fdν|.


Proposition 28 i) Das Integral∫ |f |dµ ist endlich fur f ∈ F s und µ ∈ Ps.

ii) ζs ist wohldefiniert.iii) ζs(µ, ν) <∞ fur µ, ν ∈ Psz fur jedes z ∈ IRm.iv) ζs(µ, ν) =∞ fur s > 1, µ ∈ Psz , ν ∈ Psz und z 6= z.

Bew: i) Fur s ≤ 1 argumentiere∫|f |dµ ≤

∫|f(x)− f(0)|µ(dx) + |f(0)| ≤

∫|x|αµ(dx) + |f(0)| <∞.

Fur s > 1 benutzen wir die Taylorentwicklung von f um 0

f(x) =∑

0≤i≤nDif(0)

xi

i!+ (Dmf(θ)−Dmf(0))

xm

m!

mit einem Wert θ zwischen 0 und x. Jeder der Summenterme ist integrier-bar bzgl. µ und den letzten konnen wir betragesmaßig abschatzen durch∫ |x|s

m!µ(dx) <∞.

ii) ist einfach aus i).iii) Fur s ≤ 1 argumentiere

|∫fdµ−

∫fdν| ≤ |

∫(f − f(0))dµ|+ |

∫(f − f(0))dν|

≤∫|x|αµ(dx) +

∫|x|αν(dx) <∞

gleichmaßig in f ∈ F s. Fur s > 1 benutze die Taylorreihe um 0 und benutzedie Gleichheit der Momente.

iv) Nehme die Funktion x→ cxk, c > 0 fur geegnetes k ≤ m aus Fs undlasse c gegen unendlich laufen. q.e.d.

Lemma 29 Fur jedes s > 0 und z ∈ IRm ist (Psz , ζs) ein vollstandiger me-trischer Raum. Die ζs Konvergenz impliziert die schwache Konvergenz.

Bew: • ζs ist eine Metrik auf Psz .ζs ist eine Pseudometrik. Es verbleibt zu zeigen ζs(µ, ν) = 0 impliziert

µ = ν. Die Menge F s ist konvex und enthalt die Funktionen

x 7→ xk, x→ 11x≥0xs/Γ(s), x 7→ 11x≤0|x|s/Γ(s)

mit Γ(s) = s(s − s) . . . (α + 1)α fur k ≤ m. Sie enthalt jede unendlich oftdifferenzierbaren Funktionen mit kompaktem Trager multipliziert mit einer


geeigneten strikt positiven Konstanten. Daher gilt∫fdµ =

∫fdν fur alle

f ∈ C∞c . Dies ist jedoch eine masstrennende Familie.

• ζs Konvergenz impliziert schwache Konvergenz.Wenn µn, n ∈ IN in ζs-Metrik gegen µ konvergiert, dann konvergiert µn

gegen µ auch bzgl. der Funktionenmenge C∞c . Da beides W-maße sind damit

auch bzgl. Cb.• Vollstandigkeit.Sei µn, n ∈ IN eine Cauchyfolge in Psz . Dann ist

∫fdµn eine Cauchyfolge

fur jedes f ∈ C∞c . Es gibt einen Grenzwert. Da die Folge µn s-gleichgradig

integrierbar ist (bzw. straff ist ∀ǫ > 0 ∃K kompakt lim supn µn(Kc) < ǫ)

konvergiert sie auch schwach. Sei µ dieser Grenzwert. Dieser tut’s.Sei 0 < a <∞ und ǫ hinreichend klein. Sei g = (gi)

3i=1 eine Zerlegung der

1 (gi ≥ 0,∑i gi = 1) durch unendlich oft differenzierbare Funktionen. Der

Trager von g2 sei in (−a − ǫ, a + ǫ), der von g3 in (a,∞) und der von g1 in(−∞,−a).

Es gilt fur f ∈ F s∫fdµn −

∫fµ =

∫fg1d(µn − µ) +

∫fg2d(µn − µ) +

∫fg3d(µn − µ)

• Der erste und letzte Term sind klein fur a hinreichend groß.OEdA sei f(0) = 0. Hieraus folgt |f(x)| ≤ |x|s fur jedes f ∈ F s. Aus

s-gleichgradiger Integrierbarkeit folgt

|∫fg3dµn| ≤

∫ ∞

a|x|sdµn

beliebig klein fur a hinreichend gross gleichmaßig in n ∈ IN. Das Analoge giltfur g1.• Der zweite Term ist klein in n fur festes a und f ein Polynom x 7→

xk, k ≤ m.Dies ist Standard, da fg2 ∈ Cc gilt.• ∫ xkµ(dx) = zk fur k ≤ m.Kombiniere die oberen beiden Teilbehauptungen.• Der zweite Term ist beliebig klein fur n hinreichend groß bei festem a

und gleichmaßig fur f ∈ F s.OEdA gelte Dkf(0) = 0 fur k = 0, 1, . . . ,m. Dies folgt aus der Proposi-

tion 30 mit f ersetzt durch fg2/c. Hierbei ist c das Supremum der m−tenAbleitung von g und endlich. q.e.d.


Proposition 30 Sei 0 < s, I ein endliches offenes Intervall und die Fol-ge der W-maße µn, n ∈ IN auf I konvergiere schwach gegen das W-massµ. Dann konvergiert

∫fdµn gegen

∫fdµ gleichmaßig fur alle f ∈ F s mit

kompaktem Trager in dem Intervall I. In Formeln,

supf∈Cc(I)∩Fs

|∫fdµn −

∫fdµ|n0.

Bew: Betrachten wir zuerst den Fall, dass alle µn diskrete Maße sind aufeiner endlichen Menge M ⊂ I. Dann impliziert die schwache Konvergenz dieKonvergenz in Totalvariationsnorm der W-maße. Dies impliziert die Aussagedes Satzes.

Nun zum allgemeinen Fall. Sei ϕ : I ∩ Q → IN eine Abzahlung derrationalen Zahlen in I. Zu jedemW-mas ν auf I konstruieren wir ein diskretesW-maß νm mit Trager inM = ϕ−1(1, 2, . . . ,m folgendermaßen. Seien x1 <x2 < . . . < xm die Element von M in naturlicher Reihenfoge. Definiere

ν(xi) = ν([xi, xi+1))

fur 1 < i ≤ i = 1, 2, . . . ,m mit xm+1 = b und setze ν(x1) = ν((a, x1)).Sei m = sup0≤i≤n(xi+1 − xi) mit m0 = a. Dann konvergiert (νm)m bzgl.Cc(I) ∩ F s (und schwach) gegen ν und sogar gleichmaßig in dem Sinne,

supf∈Cc(I)∩Fs

|∫fdνm −

∫fdν| ≤ m →m 0.

Mit dieser Notation und ν(f) =∫fdν folgt

|µn(f)− µ(f)| ≤ |µn(f)− µn,m(f)|+ |mun,m(f)− µm(f)|+ |µm(f)− µ(f)|

Der erste und letzte Term sind klein fur m hinreichend gros gleichmasigin n. Der zweite wird klein in n fur jedes feste m. Diese Abschatzunge sindgleichmasig in f ∈ Cc(I) ∩ F s. q.e.d.

Die Metrik ζs wurde von Zolotarev [22] eingefuhrt und nach ihm benannt.Zolotarev Metrik fur Zgn: In der W-theorie werden Metriken meis-

tens via Zgn angegeben. Eine (Pseudo-)Metrik d auf einem Teilraum vonZ = Z(Ω,A, P ) heißt minimal, falls der metrische Abstand von zwei Zgnnur von deren Verteilung abhangt. Sie heißt ideal von Ordnung r > 0, fallsfur alle c > 0 und Zgn X, Y, Z aus dem Teilraum gilt

d(cX, cY ) = crd(X, Y )


d(X + Z, Y + Z) ≤ d(X, Y )

falls Z von (X, Y ) unabhangig ist und alles wohldefiniert ist.Jede Metrik auf Verteilungen liefert eine minimale Pseudometrik auf Zgn.

Wir benutzen daher die Zolotarevmetrik auch fur Zgn und benutzen dieselbenSymbole.

Lemma 31 Die Zolotarev ζs, s > 0 ist eine ideale und minimale (Pseudo-)metrik auf dem Raum der Zgn mit vorgegebenen Momente bis zur Ordnung⌊s⌋ − 1.

Bew: Ideal: Mit f ∈ F s ist auch fccs∈ F s fur c > 0 und fc(x) = f(cx).

Beachte dazu (Dmfccs)(x) = 1

cs(Dmf)(cx). Damit

ζs(X, Y ) = supf|Ef(cX)−Ef(cY )| = cs sup

f|Efccs(X)−Efc

cs(Y )| = csζs(X, Y )

Minimal: Mit f ∈ F s ist auch x 7→ f(x+ z) aud F s fur jedes z ∈ IR. Mitbedingten W-keiten

|Ef(X+Z)−Ef(Y+Z)| = |E(E(. . . | Z))| ≤ E|(E(f(X+Z | Z))−E(f(Y+Z) | Z)|)

Nehme auf beiden Seiten das Supremum. q.e.d.Bemerkung: Viele w-theoretische Aussagen lassen sich einfach beweisen,

wenn man die richtige metrik benutzt. Beispielsweise mit der Zolotarevme-trik koennen wir schnell den ZGS beweisen. Seien Xn, n ∈ IN uiv zentrierteZgn mit Varianz 1 und endlichem dritten Moment. Seien Yn, n ∈ N weitereunabhangige N(0, 1) verteilte Zgn. Dann gilt

ζ3(

∑ni=1Xi√n

,

∑ni=1 Yi√n

) ≤ 1

n3/2

∑

i≤nζ3(Xi, Yi) =

1

n1/2ζ3(X1, Y1)→n 0.

∑n

i=1Yi√

nist N(0, 1) verteilt und ζ3-Konvergenz impliziert Konvergenz in Ver-

teilung.


Kapitel 3

0-1 Gesetze

3.1 Borel-Cantelli

Borel-Cantelli*

Seien An, n ∈ IN, Ereignisse und sei A das Ereignis, daß An unendlich ofteintritt,

A := ω | |i ∈ IN | ω ∈ Ai| =∞ = ∩m ∪n≥m AnEine andere Charakterisierung ist via derjenigen Menge A mit

11A = lim supn

11An .

Wir schreiben auch A = lim supnAn.Sei B das Ereignis, daß An nur endlich oft nicht eintritt,

B = ω | |i ∈ IN | ω 6∈ Ai| <∞ = ∪m ∩n≥m An.

Eine andere Charakterisierung ist

11B = lim infn

11An .

Wir schreiben auch B = lim infnAn.Eselsbrucke: In Schreibschrift erinnert sup an ∩∪ und inf an ∪ ∩ .

Satz 32 (Borel-Cantelli) Seien An, n ∈ IN, Ereignisse und A := lim supnAn.

• Aus∑n P (An) <∞ folgt P (A) = 0.

43

44 KAPITEL 3. 0-1 GESETZE

• Sind die An, n ∈ IN, unabhangig und∑n P (An) =∞, so folgt P (A) =

1.

Beweis: Die erste Behauptung folgt aus

P (A) ≤ P (∪n≥n0An) ≤∑

n≥n0

P (An)→n0 0.

Fur die zweite Behauptung verwenden wir Ac = ∪n ∩i≥n Aci . Es folgt

P (∩i≥nAci) ≤ P (∩Ni=nAci) =N∏

i=n

P (Aci) =N∏

i=n

(1− P (Ai))

≤ exp(−N∑

i=n

P (Ai))→N exp(−∑

i≥nP (Ai)) = 0

Die letzte Abschatzung beruht auf der Abschatzung 1− x ≤ e−x.

P (Ac) ≤∑

n

P (∩i≥nAci) = 0.

q.e.d.Losziehung: An der n-ten Losziehung nehmen n2 Personen teil. Jede

Person setzt eine Einheit ein. Der Gewinner, alle haben dieselbe Gewinn-wahrscheinlichkeit, bekommt den gesamten Einsatz n2 als Gewinn ausbe-zahlt. Zusatzlich subventioniert der Staat, ’ Brot und Spiele ’, den Gewinnerdurch einen nochmaligen Betrag in Hohe des Gewinns.• Der erwartete Gesamtgewinn minus dem Einsatz pro Runde ist 1. Aus-

rechnen.• Jeder Spieler geht (fast sicher) pleite. Genauer, der Satz von Borel-

Cantelli impliziert: Jeder Spieler gewinnt nur endlich oft.Sei An das Ereignis, der gewahlte Spieler gewinnt im n-ten Spiel. Es gilt∑

n P (An) =∑n

1n2 <∞ und damit P (An unendlich oft) = 0.

Da der erwartete Gewinn fur jede einzelne Spielrunde strikt positiv ist, istes Erwartungswertsmaßig vorteilhaft, diese Spielrunde zu spielen. Auf langereSicht gesehen geht jeder Spieler fast sicher pleite.

Petersburger Spiel: Eine faire Munze wird geworfen. Gewinnen Sie, sobekommen sie das 1,5-fache Ihres Einsatzes, ansonsten verlieren Sie IhrenEinsatz. Ist es ein gute Strategie, dies Spiel oft zu spielen und stets dasgesamte Eigenkapital einzusetzen?

3.1. BOREL-CANTELLI 45

Modell: Seien Xn, n ∈ IN unabhangige Zgn Ber(1/2) verteilt. Xn = 1steht fur Gewinn in n-ter Runde. Bei Gewinn bekommen Sie den dreifachenEinsatz, ansonsten verlieren Sie den Einsatz. Ihr Kapital Kn nach dem n-temSpiel ist

Kn = Kn−1(3Xn)

Ist das Anfangskapital K0 > 0 so konvergiert der Erwartungswert EKn =K0(

32)n gegen unendlich. Wenn sie einmal verlieren, Xn = 0, sind sie pleite.

Nach Borel-Cantelli verlieren Sie unendlich oft P -fast sicher.Beipiel: Starke Gesetz der Grossen Zahlen

Satz 33 (Gesetz der Großen Zahl) Fur eine Folge Xn, n ∈ IN von uiv

Zgn mit endlichem vierten Moment gilt∑n

i=1Xn

n→ E(X).

Beweis: Ohne Einschrankung seien die Zgn zentriert. Eine Rechnung zeigtES4

n = nEX4 + 3n(n − 1)E2X2 fur die n-te Partialsumme Sn. Die MarkoffUngleichung liefert

P (|Sn|n

> ǫ) ≤ ES4n

n4ǫ4≤ c

1

n2.

Die Summe hieruber ist endlich. Daher tritt das Ereignis |Snn| > ǫ nur endlich

oft ein mit Wahrsch. 1. q.e.d.Alternativ mit endlichem zweiten Moment: Schatze ab

P (|Sn2 |n2

> ǫ) ≤ VarSn2

ǫ2n4=

VarX1

ǫ2n2.

Die Summe hieruber ist endlich. Daher gilt mit Borel-Cantelli fast sicher|Sn2/n2| > ǫ nur endlich oft. Ebenfalls mit Borel-Cantelli und Tchebycheff

zeige, das Ereignis |Sn2n2 − Sk

k| > ǫ in k mit n gegeben durch n2 ≤ k < (n+1)2

tritt nur endlich oft ein fast sicher.

3.1.1 Kolmogoroff 0-1 Gesetz *

Seien A1,A2, ... σ-Algebren. Sei Anm = σ(∪ni=mAi),m ∈ IN, n ∈ IN die σ-Algebra erzeugt von Am, ...,An. Die tail oder terminale σ-Algebra ist dieσ-Algebra F∞ := ∩nA∞

n . Eine σ-Algebra A heißt trivial, falls jedes Ereignisdaraus die W-keit 0 oder 1 besitzt.

Satz 34 (Kolmogoroff) Die terminale σ-Algebra einer Folge unabhangigerσ-Algebren ist trivial.


Beweis: Sei A ∈ F∞ ein terminales Ereignis. Betrachte das MengensystemD := B ∈ A∞

1 | P (A∩B) = P (A)P (B) aller von A unabhangiger Mengenaus A∞

1 .• Dies Mengensystem ist ein Dynkinsystem mit Ω. Nachrechnen• D = A∞

1 , da es einen durchschnittstabilen Erzeuger enthalt.• P (A) ∈ 0, 1Da insbesonders A von sich selbst unabhangig ist, folgt P (A) = P (A)P (A).Dies ergibt die Behauptung. q.e.d.

Proposition 35 Die Partialsumme Sn(ω) unabhangiger Zgn konvergiert mitW-keit 0 oder 1. Dasselbe gilt fur Sn

n. Der Grenzwert lim supn

Snn

ist eineKonstante fast sicher.

Bew: Seien Xn, n ∈ IN, unabhangige Zgn, Sn =∑ni=1Xi die n-Partialsumme.

Die σ-Algebren An = σ(Xn) = X−1n (B) sind unabhangig, die Menge limn Sn

existiert, ist ein terminales Ereignis. Nach dem 0-1 Gesetz von Kolmogoroffhat es die W-keit 0 oder 1.

Dasselbe Argument gilt fur Snn.

Die Zg S := lim supnSnn

ist meßbar bzgl. A∞m fur jedes m ∈ IN. Beachte

dazu

lim supn|∑ni=mXi

n−∑ni=1Xi

n| ≤

∑m−1i=1

n|Xi| →n 0.

Damit ist S meßbar bzgl. der trivialen tail σ-Algebra und folglich eine Kon-stante. q.e.d.

Bsp: Borel-Cantelli und terminale Ereignisse: Sei An eine Folgeunabhangiger Ereignisse. Die σ-Algebren An := σ(An) sind unabhangig. DieEreignisse A := lim supnAn = ∑n 11An = ∞ und B = lim infnAn sindterminale Ereignisse. Die Wahrscheinlichkeit ist entweder 0 oder 1.

Verteilungen vom reinen Typ *

X hat eine Verteilung von reinem Typ, falls eine der folgenden Aussagen gilt:i) ∃D abzahlbar P (X ∈ D) = 1.

ii) ∀x ∈ IR : P (X = x) = 0 und die Verteilung von X ist singular(∃D ∈ B λ(D) = 0, P (X ∈ D) = 1) zum Lebesguemaß λ.

iii) Die Verteilung von x ist absolut stetig (λ(D) = 0⇒ P (X ∈ D) = 0.)bezuglich dem lebesguemas.

3.1. BOREL-CANTELLI 47

Satz 36 (Jessen-Wintner) Seien Xn, n ∈ IN, unabhangig und Sn konver-giere fast sicher gegen eine endliche Zg S. Fur alle n existiere ein abzahlbaresDn mit P (Xn ∈ Dn) = 1. Dann ist die Verteilung von S von reinem Typ.

Beweis: Sei G die kleinste additive Gruppe erzeugt von allen Dn. Es gilt• G ist abzahlbar.• B ∈ B ⇒ B +G ∈ B.• B ∈ B, λ(B) = 0⇒ λ(G+ B) = 0.• Fur B ∈ B ist S ∈ G+B ein terminales Ereignis und hat W-keit 0 oder1.Fur die letzte Behauptung beachte x ∈ G+B und y ∈ G impliziert x− y ∈G+ B. Folglich gilt S ∈ G+ B = ∑i≥nXi ∈ G+ B ∈ σ(Xi, i ≥ n).

Es gibt folgende Alternativen. Entweder es gibt ein abzahlbares D mitP (S ∈ D) = 1 oder fur alle D abzahlbar gilt P (S ∈ D) = 0. Im letzterenFall gibt es entweder ein D ∈ B mit λ(D) = 0 und P (S ∈ D) = 1 oderfur alle B ∈ B, λ(B) = 0 gilt P (S ∈ B) < 1. Im letzteren Fall gilt auchλ(B + G) = 0 und P (S ∈ B + G) < 1. Diese Wahrscheinlichkeit ist 0.Hieraus folgt P (S ∈ G+B) = 0, da 0 ∈ G. Dies ergibt die dritte Alternativein der Definition der Verteilung vom reinen Typ. q.e.d.

3.1.2 Symmetrische Mengen *

Seien Xn : Ω 7→ E Zg., X = (X1, X2, ...) : Ω 7→ (EIN ,BIN ). Eine endlichePermutation π ist eine Bijektion von 1, 2, ..., n auf sich fur gewisses n. Wirerweitern diese Abbildung durch die Identitat zu einer Bijektion π : IN 7→ IN.Wir verwenden Xπ = (Xπ(1), Xπ(2), ...).

Seien Anm := σ(Xm, ..., Xn) die σ-Algebren aufgespannt von den Zgn.Jedes Ereignis A ∈ σ(X1, X2, ...) = A∞

1 hat eine Darstellung A = X ∈ Bmit B ∈ BIN . Sei π eine Permutation. Mit Aπ bezeichnen wir Xπ ∈ B.

Ein Ereignis A ∈ σ(X1, X2, ...) = A∞1 heißt symmetrisch, falls fur jede

endliche Permutation π gilt A = Aπ. Die symmetrischen Mengen bilden eineσ-Algebra. Diese enthalt die terminale σ-Algebra.

Beispiele symmetrischer Mengen sind Sn/n konvergiert oder Sn/n >an unendlich oft.

Satz 37 (Hewitt-Savage) Die σ-Algebra der symmetrischen Mengen fureine Folge von uivZgn ist trivial.


Beweis: Sei A eine symmetrische Menge. Wir konnen eine Folge An ∈ An1finden mit P (AnA)→n 0. Sei πn speziell die Permutation

πn(i) =

i+ n falls 1 ≤ i ≤ ni− n falls n < i ≤ 2ni sonst

Es folgt

P (AnAπnn ) ≤ P (AnA) + P (Aπnn A) = P 2(AnA)→n 0.

Aus der Unabhangigkeit und identischen Verteilung der Xn folgt

P (AnAπnn ) = P (An)(1−P (Aπnn ))+(1−P (An))P (Aπnn ) = 2P (An)(1−P (An))

und damit P (An)→n 0. q.e.d.

Kapitel 4

Summen unabhangigerZufallsgroßen

Wann konvergiert die Partialsumme Sn =∑ni=1Xi unabhangiger Zgn Xi, i ∈

IN?

4.1 Satz von Levy

Satz 38 (Levy) Fur Partialsummen unabhangiger Zufallsgroßen sind sto-chastische Konvergenz und fast sichere Konvergenz aquivalent.

Zum Beweis benutzen wir das Lemma von Skorodhod.

Lemma 39 (Skorodhod) Sei Sn die Partialsumme unabhangiger Zgn. DieUngleichung

c := supn≤N

P (|SN − Sn| > α) < 1

fur ein N ∈ IN impliziert

P (supn≤N|Sn| > 2α) ≤ 1

1− cP (|SN | > α).

Beweis: Die Abbildung τ : Ω 7→ IN definiert durch

τ(ω) := infn ∈ IN | |Sn(ω)| > 2α

49

50 KAPITEL 4. SUMMEN UNABHANGIGER ZUFALLSGROSSEN

ist eine Zufallsgroße. (Konventionell wird inf ∅ =∞ gesetzt.) Es gilt

τ = n = |Sn| > 2α ∩⋂

k<n

|Sk| ≤ 2α ∈ σ(X1, ..., Xn.

P (|SN | ≤ α) = P (|SN | ≤ α, τ ≤ N) + P (|SN | ≤ α, τ > N)

≤N∑

n=1

P (|SN | ≤ α, τ = n) + P (τ > N)

≤∑

n≤NP (|SN − Sn| > α, τ = n) + P (τ > N)

=∑

n≤NP (|SN − Sn| > α)P (τ = n) + P (τ > N)

≤ c∑

n≤NP (τ = n) + P (τ > N)

P (|SN | > α) ≤ (1− c)P (τ ≤ N)

q.e.d.Beweis Satz Levy 38: Wir muessen nur die Hinrichtung zeigen, die

Ruckrichtung gilt allgemein. OEdA seien die Zgn zentriert und S der sto-chastische Grenzwert der Sn. Sei

cn0,N(ǫ) := supn0≤n≤N

P (|SN − Sn| > ǫ) ≤ supNcn0,N(ǫ) =: cn0(ǫ)

• cn0(ǫ)→n0 0 fur alle ǫ > 0.

P (|Sm − Sn| > ǫ) ≤ P (|Sm − S| >ǫ

2) + P (|Sn − S| >

ǫ

2)

und nehme dann das Supremum uber n,m ≥ n0. Die Behauptung folgt.• P (supn≥n0

|Sn − Sn0 | > ǫ)→n0 0.

P ( supn≥n0

|Sn − Sn0| > ǫ) = limN→∞

P ( supn0≤n≤N

|Sn − Sn0 | > ǫ)

Skorodhod≤ lim inf

N

1

1− cn0,N(ǫ)P (|SN − Sn0 | > ǫ/2)

≤ cn0(ǫ/2)

1− cn0(ǫ)→n0 0.

• P (supm,n≥n0|Sn − Sm| > ǫ)→n0→∞ 0.

4.1. SATZ VON LEVY 51

l.S. ≤ P ( supm≥n0

|Sm − Sn0| > ǫ/2) + P ( supn≥n0

|Sn − Sn0 | > ǫ/2)→n0 0

Die letzte Behauptung ist aquivalent zur fast sicheren Konvergenz. q.e.d.

Korollar 40 Seien Xn, n ∈ IN, unabhangige Zgn und∑nVarXn < ∞.

Dann ist die zentrierte Partialsumme Sn − E(Sn) fast sicher konvergent.

Beweis: OEdA seien die Zgn zentriert. Sn ist eine Cauchyfolge in L2 da furn0 ≤ m < n gilt

E(Sn − Sm)2 =∑

m<k≤nEX2

k ≤∑

k≥n0

EX2k →n0→∞ 0.

L2-Konvergenz impliziert stochastische Konvergenz. Der Satz von Levy 38ergibt fast sichere Konvergenz. q.e.d.

Fur gleichmasig beschrankte Zgn gilt auch die Umkehrung.

Theorem 41 Seien Xn, n ∈ IN, unabhangige, zentrierte und gleichmaßigbeschrankte Zgn. Dann ist die fast sichere Konvergenz von Sn aquivalent zu∑nEX

2n <∞.

Beweis: Die Ruckrichtung ist oben gezeigt. Fur die Hinrichtung sei b > 0 undτ : Ω→ IN definiert durch

τb := τ := infn | |Sn| > b.

Beachte τ ≤ n ∈ σ(X1, ..., Xn). Auf der Menge τ = n gilt

|Sn−1| ≤ b < |Sn| ≤ b+ c mit c = supn

esssup|Xn| <∞.

• P (τ > N)∑Nn=1EX

2n ≤ (b+ c)2

Fur n ≤ N gilt

E(11τ=nS2N) = E(11τ=n((SN − Sn)2 + 2(SN − Sn)Sn + S2

n))

= E(11τ=n)E(SN − Sn)2 + 2E(11τ=nSn)E(SN − Sn) + E(11τ=nS2n)

= E(11τ=n)N∑

i=n+1

EX2i + E11τ=n(b+ c)2.


Aus

N∑

n=1

EX2n = E(S2

N) = E(11τ≤NS2N) + E(11τ>NS

2N)

≤ P (τ ≤ N)N∑

n=1

EX2n + P (τ ≤ N)(b+ c)2 + b2P (τ > N)

erhalten wir durch umordnen und einsetzen von P (τ ≤ N) = 1− P (τ > N)die Behauptung.• ∑nEX

2n <∞.

Die fast sichere Konvergenz von Sn impliziert

P (τ > N)ցN P (τ =∞) = P (supn|Sn| ≤ b→b→∞ 1.

Wahle ein b mit P (supn |Sn| ≤ b) ≥ 1/2. Fur dieses spezielle b ergibt sichaus der vorhergehenden Teilbehauptung

1

2

∑

n

EX2n ≤ lim sup

NP (τ > N)

∑

n≤NEX2

n ≤ (b+ c)2 <∞

q.e.d.

Korollar 42 Seien Xn, n ∈ IN, uiv Zgn mit Ber(p)Verteilung und sei (cn)eine Folge reeller Zahlen. Dann gilt

∑

n

cn(Xn − p) konvergiert fast sicher ⇔∑

n

c2n <∞.

Beweis: Siehe oben.

4.2 Drei-Reihen-Satz von Kolmogoroff

Wir verwenden durchgehendXcn := Xn1|Xn|≤c und entsprechend Scn =

∑ni=1X

ci .

Satz 43 (Drei-Reihen-Satz von Kolmogoroff) Seien Xn, n ∈ IN, un-abhangige Zgn. Die Partialsumme Sn =

∑ni=1Xi konvergiert fast sicher genau

dann, wenn fur ein (und dann fur alle) c > 0 die Summen∑

n

P (|Xn| > c),∑

n

E(Xcn),

∑

n

Var(Xcn)

konvergieren und endlich sind.

4.2. DREI-REIHEN-SATZ VON KOLMOGOROFF 53

Beweis: • Sn f.s.→ ⇔ Scnf.s.→ und

∑n P (|Xn| > c) <∞.

Ist Sn f.s. konvergent, so treten die Ereignisse |Xi| > c nur endlich oft ein.Nach Borel-Cantelli ist letzteres aquivalent zu

∑i P (|Xi| > c) < ∞. Damit

konvergiert in der Identitat Sn = Scn +∑i≤n |Xi|11|Xi|>c der erste und der

dritte Term f.s., also auch der mittler e Scn.Die Umkehrung folgt denselben Argumenten.Zuerst die Hinrichtung des Satzes.• Scn konvergiert f.s. impliziert

∑iVar(X

ci ) <∞.

Wahle eine unabhangige Kopie (Xn)n von (Xn)n. Dann konvergiert Scn−Scn =

∑ni=1(X

ci −Xc

i ) fast sicher. Aus Satz 41 folgt

∑

i

Var(Xci −Xc

i ) = 2∑

i

VarXci <∞.

• EScn =∑nEX

cn ist konvergent.

Im Hinblick auf Korollar 40 konvergiert die zentrierte Summe Scn − EScnfast sicher. Da auch Scn f.s. konvergiert erhalten wir die Teilaussage.• Ruckrichtung.Die fast sichere Konvergenz von

∑i≤n(X

ci −EXc

i ) ergibt sich aus Korollar40. Hieraus erhalten wir die fast sichere Konvergenz der Scn und mit Borel-Cantelli von Sn. q.e.d.

Referenz: Breiman


Kapitel 5

Gesetze der Großen Zahl

Das Gesetz der Großen Zahl (GGZ) ist der 1. Hauptsatz der W-theorie.Sei Sn stets die n-te Partialsumme

∑ni=1Xi von Zgn Xi, i ∈ IN.

Eine Folge Xi, i ∈ IN, von integrierbaren Zgn genugt dem schwachenGesetz der Großen Zahl, falls Sn−ESn

nstochastisch gegen 0 konvergiert.

Sie genugt dem starken Gesetz der Großen Zahl, falls Sn−ESnn

fast sichergegen 0 konvergiert.

Die starke Aussage impliziert die schwache Aussage. Die starke Formu-lierung ist eine Aussage uber Zgn, die schwache eine Aussage rein uber Ver-teilungen!

5.0.1 Schwache Gesetz der Großen Zahl

Die bekannteste Form des (schwachen) Gesetzes der Großen Zahl lautet

Satz 44 (GGZ) Eine Folge uiv quadratintegrierbarer Zgn genugt dem schwa-chen Gesetz der Großen Zahl.

Beweis:

P (|Sn − ESnn

| > ǫ) ≤ VarSnn2ǫ2

=VarX

nǫ2→n 0.

q.e.d.Zahlreiche andere Spielarten sind moglich.

Satz 45 (Kolmogoroff) Eine Folge Xn, n ∈ IN, unkorrelierter, quadratin-tegrierbarer Zgn mit

limn

∑ni=1 Var(Xi)

a2n= 0.

55

56 KAPITEL 5. GESETZE DER GROSSEN ZAHL

Dann konvergiert Sn−ESnan

stochastisch gegen 0.

Beweis: Fur jedes ǫ > 0 gilt

P (|Sn − E(Sn)an

| > ǫ) ≤ Var(Sn)

a2nǫ2≤∑ni=1 VarXi

a2nǫ2

→n 0.

Dies reicht. q.e.d.Schreibmaschine schreibender Affe: Ein Affe schreibt zufallig kleine

Buchstaben (mit Gleichverteilung) auf einer Schreibmaschine. Wie haufigkommt das Wort ’bahnhof’ in seinem Text vor?

Seien Xn, n ∈ IN unabhangige Zgn mit Gleichverteilung in den kleinenBuchstaben. Sei Yn = 11(Xn+i)6i=0=(b,a,h,n,h,o,f). Die Y7n, n ∈ IN sind uiv Zgn.

Das schwache GGZ besagt fur die Partialsumme Sn =∑ni=1 Y7n

Snn

konver-giert stochastisch gegen E(Y1) > 0.

Aus Monotoniegrunden folgt P (limn Sn =∞) = 1 mit der Interpretation,der Affe schreibt ’bahnhof’ unendlich oft. Die relative Haufigkeit von ’bahn-hof’ bezogen auf die Anzahl der geschriebenen Buchstaben ist im Grenzwertmindestens 1

7EY1 − ǫ mit W-keit 1 − δ fur alle ǫ, δ > 0. Dasselbe Argument

konnen wir auf die Zgn Y7n+j, n ∈ IN anwenden fur jedes 0 ≤ j < 7. Die ZgnYn, n ∈ IN sind nicht unabhangig.

5.1 Starkes Gesetz der Großen Zahl

Dies ist die Rennversion des ersten Hauptsatzes der W-theorie.

Satz 46 (GGZ Kolmogoroff) Seien Xn, n ∈ IN, unabhangig, identischverteilte Zgn. Dann gilt• E|X1| <∞⇒ Sn

n→n EX1 fast sicher

• E|X1| =∞⇒ lim supn1n|Sn| =∞ fast sicher.

Beweis: Erster Teil. Sei zusatzlich X = X1 ≥ 0.Sei α > 1 und kn = ⌊αn⌋ die untere Gaussklammer, d.h. die großte ganze

Zahl kleiner gleich αn.Wir verwenden die Abschneidetechnik mit Yn := Xn11|Xn|≤n und Tn =∑n

i=1 Yi.• Sn−Tn

n→n 0 fast sicher.

Sei An das Ereignis Xn 6= Yn. Wegen Borel-Cantelli,∑

n

P (An) =∑

P (Xn > n) =∑

P (X > n) ≤ 1 + EX <∞

5.1. STARKES GESETZ DER GROSSEN ZAHL 57

tritt An nur endlich oft ein. Mit n→ 0 folgt die Aussage.• EYn րn EXDies folgt aus monotoner Konvergenz.• ETn

n→n EX

Die linke Seite ist beschrankt durch EX es gilt die untere Abschatzung

l.S. ≥ n−Nn

1

n−Nn∑

i=N+1

EYN ≥n−Nn

EYN →n EYN րN EX

• Tkn−E(Tkn )

kn→n 0 fast sicher.

Mit einer eventuell wechselnden generischen Konstanten c

∑

n

P (|Tkn − E(Tkn)kn

| > ǫ) ≤∑

n

(Var(Tkn)

ǫ2k2n)

= c∑

n

∑kni=1 Var(Yi)

k2n

≤ c∑

n

kn∑

i=1

EY 2i

k2n

≤ c∑

i

EY 2i

∑

n

110<i≤αn1

⌊αn⌋2

≤ (≡) c∑

i

EY 2i 110<i≤αn

1

⌊αn⌋2

≤ (≡) c∑

i

EY 2i

∫ ∞

lnα(i)α−2xdx

≤ c∑

i

EY 2i i

−2

= c∑

i

i−2i∑

k=1

EX2i 11k−1<|Xi|≤k

= c∑

k

EX211k−1<X≤k∑

i

110<k≤ii−2

≤ c∑

k

EX211k−1<X≤kk−1

≤ c∑

k

EX11k−1<X≤k = cEX <∞

Da die Summe uber diese W-keiten endlich ist und ǫ frei wahlbar, konnenwir mit Borel-Cantelli die fast sichere Konvergenz folgern.


• Sknkn→n EX fast sicher.

Kombiniere die oberen 3 Aussagen.

Sknkn− EX =

Skn − Tknkn

+Tkn − E(Tkn)

kn+ETknkn→n EX

f.s.→ 0

• Snn→n EX fast sicher.

Sei km−1 < n ≤ km. Es folgt

km−1

n

Skm−1

km−1

≤ Snn≤ km

n

Skmkm

Wir erhalten

EX

α≤ lim inf

n

km−1

nEX ≤ lim inf

Snn≤ lim sup

Snn≤ lim sup

n

kmnEX ≤ αEX.

Da α > 1 beliebig war, folgt die f.s. Konvergenz.Damit ist die erste Behauptung fur positive Zgn beweisen. Den allgemei-

nen Fall erhalt man durch die Zerlegung Xi = X+i − X−

i in Positiv- undNegativteil. Dann gilt fast sicher

Snn

=1

n

∑

i≤nX+i −

1

n

∑

i≤nX−i →n EX

+1 − EX−

1 = EX1

Zweiter Teil. Sei c > 0.• P ( |Xn|

n> c unendlich oft) = 1.

Die Ereignisse An := |Xn| > nc sind unabhangig und

∑

n

P (An) =∑

n

P (|Xn| > cn) =∑

n

P (|X1| > cn) ≥ E|X1|c

=∞.

• Snn

konvergiert nicht.Folgt aus dem oberen in Verbindung mit

Snn

=Xn

n+Sn−1

n.

• lim supn1n|Sn| =∞ fast sicher.

|Xn|n

> c unendlich oft impliziert |Sn|n

> c2oder |Sn−1|

n> c

2unendlich oft.

(Punktweise in ω.) Dies impliziert lim supn |Snn | ≥ c2f.s.. Dies gilt fur jedes

c > 0. q.e.d.

5.1. STARKES GESETZ DER GROSSEN ZAHL 59

Bem: Die Abschneidetechnik wird gerne zusammen mit Borel-Cantelliverwendet.

Bsp: Schreibmaschine schreibender Affe: Wie gross ist die relativeHaufigkeit von ’bahnhof’? Wir benutzen die Notation wie dort. Die relativeHaufigkeit bezogen auf Buchstaben ist

1

7n

6∑

i=0

n∑

j=1

Y7n+if.s.→n EY1

P-fast sicher.Die mehr mathematische Formulierung lautet:Bsp: Normale Zahlen: Die g-adische Darstellung, g ∈ IN, g ≥ 2, einer

Zahl x ∈ [0, 1) ist∑∞i=1 xig

−i mit xi := ⌊gyi⌋, yi :≡ gi−1x mod 1. Diese Dar-stellung ist eindeutig. Die Zahl x ∈ [0, 1) heißt g-normal, falls die relativeHaufigkeit jeder endliche Folge a ∈ 0, 1, . . . , g − 1k in der g-adischen Dar-stellung (x1, x2, x3, . . .) nur von der Lange der Folge abhangt. (In Formeln,

limn→∞

1

n

n−k+1∑

i=1

11(xi,xi+1,...,xi+k−1)=a =1

gk

fur alle k ∈ IN und a ∈ 0, 1, . . . , g − 1k.) Eine Zahl heißt normal, falls sieg-normal fur jedes IN ∋ g ≥ 2, ist.

Satz 47 Bis auf eine Lebesgue Nullmenge sind alle Zahlen normal.

Beweis: Sei g fest. Der W-Raum sei das Einheitsintervall [0, 1) versehen mitder Borel σ-Algebra und dem Lebesguemaß. Sei Xi : Ω 7→ 0, 1, ..., g− 1 diei-te Koordinate, Xi(x) = xi. Die Zgn Xi, i ∈ IN, sind unabhangig und habenalle dieselbe Verteilung P (Xi = a) = 1/g, a ∈ 0, 1, ..., g−1. (Nachrechnen,Ubung). Die relative Haufigkeit 1/n

∑ni=1 11Xi=a der Ziffer a ∈ 0, . . . g − 1

konvergiert nach dem starken GGZ gegen der Erwartungswert 1/g.Analog fuhre die Argumentation fur die Folge a = (a1, . . . , ak), vgl. den

schreibenden Affen.Dies Argument gilt fur alle 2 ≤ g ∈ IN. Alle Zahlen x ∈ [0, 1) und dann

auch alle reellen Zahlen x ∈ IR sind, bis auf eine Nullmenge, normal. q.e.d.

Obwohl fast jede Zahl normal ist, ist es erstaunlich schwierig, uberhaupteine normale Zahl anzugeben. Die Zahl mit der Darstellung

.0123456789000102...99000...9990000...9999.....


usw. ist normal bzgl. jeder Zehnerpotenz. (Ubung). Siehe: Kuipers, Nieder-reiter 1974 [13].

Petersburger Spiel: Eine faire Munze wird geworfen. Gewinnen Sie,so bekommen sie das 1,5-fache Ihres Einsatzes, ansonsten verlieren Sie IhrenEinsatz. Ist es ein gute Strategie, stets die Halfte des Eigenkapitals zu setzen?

Modell: Seien Xn, n ∈ IN unabhangige Zgn Ber(1/2) verteilt. Xn = 1steht fur Gewinn in n-ter Runde. Das Kapital nach dem n-tem Spiel ist

Kn = Kn−1(11Xn=01

2+ 11Xn=1(1 +

3

4)) = Kn−1Yn

Der Erwartungswert EKn = K0EnY1 = K0(

98)n konvergiert exponentiell

schnell gegen unendlich, jedoch lnKnn

= lnK0

n+ 1

n

∑ni=1 lnYi konvergiert fast

sicher gegen E lnY1 =12ln 7

8< 0. Sie gehen fast sicher pleite.

5.2 Starkes Gesetz der Großen Zahl 2

Satz 48 (Kolmogoroff) Seien Xn, n ∈ IN, unabhangige, quadratintegrier-bare Zgn. Sei 0 < an ր ∞ eine Folge reeller Zahlen, aufsteigend gegen ∞,mit

∑

n

Var(Xn)

a2n<∞.

Dann konvergiert 1an

∑ni=1(Xi − EXi) fast sicher gegen 0.

Beweis: Sei Yn die normierte Zg Xn−EXnan

. Diese sind zentriert, unkorreliertund es gilt

∑nVarYn < ∞. Nach Satz 45 konvergiert

∑ni=1 Yi stochastisch

und nach dem Satz von Levy 38 auch fast sicher.

Der Rest folgt aus dem folgenden Lemma von Kronecker, angewandt aufcn = Yn(ω). q.e.d.

Lemma 49 (Kronecker) Sei cn eine Folge reeller Zahlen, deren Partial-summen gegen einen endlichen Wert konvergieren, und 0 < an ր ∞. Danngilt

limn

1

an

n∑

i=1

aici = 0.

5.2. STARKES GESETZ DER GROSSEN ZAHL 2 61

Beweis: Sei rn :=∑k>n ck.

n∑

i=1

aici =n∑

i=1

ai(ri−1 − ri) =n−1∑

i=0

ai+1ri −n∑

i=1

airi

=n−1∑

i=1

ri(ai+1 − ai) + a1r0 − anrn.

∑ni=1 aician

=

∑n−1i=1 ri(ai+1 − ai)

an+a1r0 − anrn

an.

Der zweite Term konvergiert in n gegen 0. Fur den ersten nehme ein n0 mit|ri| ≤ ǫ fur alle i ≥ n0 und schatze ab mit

∑n0i=1 ri(ai+1 − ai)

an︸︷︷︸→n0

∑n−1i=n0+1 ri(ai+1 − ai)

an︸︷︷︸≤ǫ

.

Petersburger Spiel: Eine faire Munze wird geworfen. Gewinnen Sie,bekommen Sie Ihren Einsatz zuruck und zusatzlich das 1,5 fache Ihres Ein-satzes. Anderenfalls verlieren Sie Ihren Einsatz. Sollten Sie spielen?

Bezogen auf ein einzelnes Spiel gewinnen Sie im Durchschnitt 0, 25 Ein-heiten. Das klingt gut. Spielen.

Wieviel sollten Sie setzen? Falls Sie stets eine Einheit setzen, so erfullt dasKapital die RekursionKn = Kn−1+

5Xn2. Sie werden reich im Erwartungswert,

EKn = 5n4→∞, konnen aber mit gewisser W-keit auch pleite gehen. (Kein

Kredit.)Angenommen Sie sind greedy und setzen stets ihr ganzes Kapital Kn zum

Zeitpunkt n. Dann gilt

Kn = Kn−1(5Xn

2) = K0

n∏

i=1

5Xi

2

Der Kapitalerwartungswert EKn = K0(54)n wachst exponentiell schnell ge-

gen ∞, aber nach Borel-Cantelli verliert man irgendwann und dann ist dasKapital weg, Kn konvergiert gegen 0 f.s.

Ist es eine gute Strategie stets einen Bruchteil p zu setzen? Das Kapitalerfullt die Rekursion

Kn = Kn−1Yn


mit Yn = 1 − 11Xn=0p + 11Xn=13p2. Der Erwartungswert EKn = K0E

nY1 =K0(1 +

p4)n konvergiert gegen ∞. Das GGZ liefert

lnKn

n→n E lnY1 =

1

2ln

(1− p)(2 + 3p)

2

Das Maximum in p wird angenommen durch p = 16und dafur ist der Grenz-

wert EY1 = 12ln 25

24> 0 strikt positiv. Sie gehen nie pleite und ihr Kapital

konvergiert f.s. exponentiell schnell gegen ∞ mit Rate EY1.

Monte Carlo Methoden Sie wollen∫ ba f(x)dx berechnen. Dazu erzeu-

gen sie uiv Zg Xn, n ∈ IN mit Gleichverteilung auf dem Intervall [a, b]. DieZg 1

n

∑ni=1 f(Xi) konvergiert fast sicher gegen E(f(X1)) =

1b−a

∫f(x)dx. Die

Konvergenzgeschwindigkeit ist hier ungefahr von der Großenordnung 1/√n.

Ist f hinreichend glatt, so gibt es bessere numerische Methoden. Solche undahnliche Methoden der Schatzung heißen Monto Carlo Methoden.

Weshalb ist Datenanalyse moglich?

Weshalb ist Datenanalyse, unzutreffend als Statistik bezeichnet, moglich?Das einfachste statistische Problem ist ein Entscheidungsproblem. Gegebensei eine Munze, die Kopf mit W-keit p = 1/2 (=faire Munze) oder p = 3/4(=gefalscht) zeigt.

Um zu entscheiden, welches der vorliegende wahre Parameter ist, macheunabhangige Ber(p)-verteilte Experimente Xn, hier das Werfen der Munzemit Ergebnis 1 oder 0. Dann konvergiert Sn

ngegen den Erwartungswert p in

W-keit bzw. f.s.. Mit beliebig großer Sicherheit durch Wahl von n groß genugkonnen wir uns fur den wahren Wert von p entscheiden.

Etwas schwieriger ist es, die unbekannte Verteilung einer Folge von uivZgn zu schatzen. Dies liefert der nachste Abschnitt.

Das schwache GGZ ermoglicht Statistik.

Glivenko-Cantelli

Seien Xn, n ∈ IN, Zgn. Die n-te empirische Verteilungsfunktion ist die Funk-tion Fn : Ω→ IRIR definiert durch

Fn(ω)(x) =n∑

i=1

11Xi(ω)≤x.


Fur jedes ω ist Fn(ω) eine Verteilungsfunktion. (Diese korrespondiert zu demzufalligen W-mas 1/n

∑ni=1 δXi(ω)).) Wie ublich wird das ω weggelassen.

Der Satz von Glivenko-Cantelli behauptet die Konvergenz der empiri-schen Verteilungsfunktion in Supremumsnorm gegen die wahre Verteilungs-funktion F der Zgn.

Satz 50 (Glivenko-Cantelli) Seien Xn, n ∈ IN, uiv Zgn mit Verteilungs-funktion F . Dann konvergiert Fn fast sicher gleichmaßig gegen F,

supt|Fn(t)− F (t)| →n 0.

Beweis: Formal, durch stetige Fortsetzung, erweitern wir den Definitionsbe-reich F und Fn um −∞ und ∞. Zu vorgegebenem ǫ > 0 wahle eine Folge−∞ = t0 < t1 < .... < tm = ∞ mit |F (ti+1−) − F (ti)| < ǫ, i = 0, ..m − 1.(F ist rechtsstetig und F (t−) bezeichnet den linksseitigen Grenzwert. DieFolge enthalt alle Punkte t mit Sprunghohe F (t) − F (t−) großer als ǫ.) Seian := supi |Fn(ti)− F (ti)|+ supi |Fn(ti−)− F (ti−)|• an →n 0 fast sicher.Es reicht die Aussage fur ein i zu zeigen, da das Supremum nur uber

endlich viele i genommen wird. Fur ein i ist dies das starke Gesetz der großenZahl.

Fur ti ≤ t < ti+1 schatze ab

|Fn(t)− F (t)| ≤ |Fn(ti+1−)− F (ti)|+ |Fn(ti)− F (ti+1−)|≤ |Fn(ti+1−)− F (ti+1−)|+ 2|F (ti+1)− F (ti)|+ |Fn(ti)− F (ti)|≤ 2an + 2ǫ→n 2ǫ

Dies Argument gilt gleichmaßig in t und fur alle ǫ > 0. q.e.d.Bem: supt |Fn(t)− F (t)| ist mesbar wegen der Rechtsstetigkeit von Ver-

teilungsfunktionen und supt∈IR |Fn(t)− F (t)| = supq∈Ql |Fn(q)− F (q)|.

5.2.1 Konvergenzgeschwindigkeit

Wie schnell konvergiert Sn−ESnn

gegen 0? Die Markoffungleichung (oder ahn-liche geben nur eine Konvergenzgeschwindigkeit dem Maße nach.

Satz 51 (Kolmogoroffsche Ungleichung) Seien X1, X2, . . . , Xn unabhangi-ge, zentrierte Momente mit endlicher Varianz. Dann gilt fur jedes t > 0

P ( max1≤k≤n

Sk ≥ t) ≤ Var(Sn)

t2 +Var(Sn)


P ( max1≤k≤n

|Sk| ≥ t) ≤ Var(Sn)

t2

Bew: Sei τ : Ω→ IN die Stoppzeit

τ := mink ≤ n | Sk ≥ t

Ak := τ = k, A =⋃ kAk.

• Die Sk1Ak und Sn − Sk sind unabhangig.Der erste Term ist σ(X1, X2, . . . , Xk)-meßbar und der zweite bzgl. σ(Xk+1, . . . , Xn).Sei c ≥ 0. Es gilt

Var(Sn) + c = E(Sk + c)2 ≥ E∑

k

((Sn + c)21Ak)

=∑

k

E((Sk + c+ Sn − Sk)21Ak)

=∑

k

(E((Sk + c)21Ak) + E((Sn − Sk)21Ak) + 0)

≥∑

k

E((Sk + c)21Ak) ≥ (t+ c)2P (A)

Dies impliziert P (A) ≤ Var(Sn)+c2

(t+c)2. Minimiere die linke Seite in c. Dies

geschieht durch c = Var(Sn)t

. Damit erhalten wir

P (A) ≤ ct+ c2

(t+ c)2=

c

t+ c=

Var(Sn)

t2 +Var(Sn)

Der Beweis der zweiten Abschaetzung folgt demselben Schema. Ersetzeτ durch τ , die erste Zeit k mit |Sk| ≥ t.

Var(Sn) ≥∑

k

ES2n11Ak ≥ . . . ≥ t2P (A)

q.e.d.

Satz 52 Seien Xn, n ∈ IN unabhangige, zentrierte Zgn mit supnVar(Xn) <∞. Dann gilt fur alle ǫ > 0 fast sicher

lim supn

|Sn|√n(lnn)1/2+ǫ

= 0


Bew: Setze kn = 2n, ln =√n(lnn)1/2+ǫ, a = supnVar(Xn). Fur gegebenes k

wahle n mit kn ≤ k < kn+1. Wir erhalten |Sk|l(k)≤ |Sk|

l(kn).

Wir wollen Borel-Cantelli anwenden. Sei An := sup|Sk| | k ≤ kn+1 ≥δl(kn).

P (An) ≤Var(Skn+1)

δ2l2(kn)≤ 2a

δ2(ln 2n)1+2ǫ

∑

n

P (An) ≤ c∑

n

n−1−2ǫ <∞

Hieraus folgt An tritt nur endlich oft ein fast sicher. Mit δ hinreichend kleinfolgt die Aussage. q.e.d.

Bem: Strassens Satz vom iterierten Logarithmus besagt, fur uiv zentrierteZgn Xn, n ∈ IN mit endlicher Varianz ungleich 0 gilt

lim supn

Sn√2nVar(X1) ln(lnn))

= 1

lim infn

Sn√2nVar(X1) ln(lnn))

= −1


Kapitel 6

Poissonapproximation

Besondere Bedeutung in der W-theorie haben die Grenzverteilungen vonSummen unabhangiger Zufallsgroßen. Hierbei spielen die Poissonverteilungfur Summen seltener Ereignisse (=einige relativ große Zuwachse) und dieGaussverteilung fur die Summe vieler kleiner Zgn eine besondere Rolle. DieAussagen betreffen Verteilungen, gehoren damit also zur Maßtheorie, habenaber eine herausragende Bedeutung in der W-theorie.

Die Formulierung in der Maßtheorie ist durch Faltung von Maßen. DieFaltung von zwei Maßen µ, ν auf einer additiven Gruppe (G,+) mit dermeßbaren Abbildung + ist ein Maß µ ∗ ν definiert durch

(µ ∗ ν)(A) =∫µ(A− g)ν(dg)

fur alle A ∈ A bzw. durch∫f(z)(µ ∗ ν)(dz) =

∫ ∫f(x+ y)µ(dx)ν(dy)

fur alle meßbaren positiven Funktionen. Die Faltung ist kommutativ und as-soziativ. Die Faltung von W-maßen ist ein W-maß. In w-theoretischer Spra-che, die Verteilung einer Summe von zwei unabhangigen ZgnX, Y ist gegebendurch die Faltung PX ∗ P Y , ebenso definiert durch

Ef(X + Y ) =∫f(x+ y)PX(dx)P Y (dy) =

∫fd(PX ∗ P Y )

fur meßbare positive Funktionen f.Wir geben jeweils drei Beweise mit ahnlichen Resultaten, aber durch

ganz verschiedenen Techniken. Der erste ist ein Adhocbeweis durch brutales

67

68 KAPITEL 6. POISSONAPPROXIMATION

Rechnen. Der zweite wahlt spezielle Zgn zu den Verteilungen und benutztEigenschaften dieser Zgn, hier ein Coupling. Der dritte Zugang ist der syste-matische. Die vorliegende Fragestellung zu W-raumen wird transformiert zueiner Fragestellung anderer mathematischer Objekte. Beispiele sind erzeu-gende Funktionen, die Laplacetransformierte und die Fouriertransformierte,die alle ein additives Problem fur unabhangige Zgn in ein multiplikatives derneuen Objekte verwandeln.

6.1 Poissonapproximation der Binomialvertei-

lung

Wir behandeln die Poissonapproximation der Binomialverteilung fur selteneEreignisse. Die Summe vieler unabhangiger Bernoulli Zgn mit kleiner Er-folgswahrscheinlichkeit ist ungefahr Poissonverteilt. Zuerst die punktweiseKonvergenz.

Lemma 53 Sei pn ∈ [0, 1], n ∈ IN, eine Folge mit npn konvergiere in ngegen ein strikt positives λ ∈ (0,∞). Dann konvergiert fur jedes k die Bino-mialwahrsch. zu den Parametern n, pn gegen die Poissonwahrsch. von k zumParameter λ.

In Formeln

Bin(n, pn)(k) =

(n

k

)pkn(1− pn)n−k →n Poi(λ)(k) = exp (−λ)λ

k

k!

Beweis: Fur diese Aussage

Bin(n, p)(k) =n

n

n− 1

n. . .

n− k + 1

n︸︷︷︸I

1

k!(np)k︸︷︷︸II

(1− p)n−k︸︷︷︸III

→n exp(−λ)(λ)k/k!

benotigen wir die Konvergenz der Faktoren I →n 1, II →n (λ)k und III =exp((n − k) ln(1 − p) = (1 − p)n−k →n exp(−λ). Dies ist erfullt. (Die letzteKonvergenz folgt aus

−x1− x ≤ ln(1− x) ≤ −x− x2

2(6.1)

fur x ∈ (0, 1) aus dem Einheitsintervall.) q.e.d.

6.1. POISSONAPPROXIMATION DER BINOMIALVERTEILUNG 69

Interpretation: Fur festes n und k betrachten wir die W-keit, in n un-abhangigen Munzwurfen mit Bernoulliverteilung zum Parameter pn genau kEinsen zu haben. Diese ist approximativ so groß wie die Poissonwahrsch. desWertes k einer Poissonverteilung mit dem Parameter npn.

Das Lemma ist eine lokale Aussage, die Wahrsch. einen Punkt k betref-fend. Wir werden jetzt eine globale Aussagen herleiten, hier bezuglich derTotalvariation.

Als Abstandsbegriff fur diskrete W-Maße µ, ν wahlen wir den Totalva-riationsabstand

d(µ, ν) =∑

x

|µ(x)− ν(x)|

(Siehe hierzu Ladungsverteilungen). Wir benutzen d(X, Y ) := d(L(X),L(Y ))fur Zgn X, Y mit Verteilungen L(X),L(Y ). Der Totalvariationsabstand isteine Metrik auf dem Raum der diskreten W-maße.

Wir beweisen die Poissonapproximation jetzt durch Konstruktion vonspeziellen gekoppelten Zgn. Zuvor benotigen wir eine wichtige Eigenschaftder Poissonverteilung.

Lemma 54 Die Faltung von Poissonverteilungen ist eine Poissonverteilung.Hierbei addieren sich die Parameter.

Poi(λ1) ∗ Poi(λ2) = Poi(λ1 + λ2)

Beweis: Seien X, Y unabhangig und Poi(λ1), Poi(λ2) verteilt.

P (X + Y = k) =∑

i,j|i+j=kP (X = i)P (Y = j) =

k∑

i=0

e−λ1−λ2λi1λ

k−i2

i!(k − i)!

= e−λ1−λ21

k!

k∑

i=0

(k

i

)λi1λ

k−i2

= e−λ1−λ2(λ1 + λ2)

k

k!= Poi(λ1 + λ2)(k)

q.e.d.

Satz 55 Seien X1, . . . , Xn unabhangige Bernoulli Zg zum Parameter P (Xi =1) = pi. Sei S = X1 + . . . + Xn die Summe dieser und sei T eine Poissonverteilte Zg zum Parameter p1 + . . .+ pn. Dann gilt

d(S, T ) ≤ 2n∑

i=1

p2i .


Beweis: Dieser Satz sagt etwas uber die Verteilungen der Zgn aus. Die Zgnspielen dabei keine Rolle. Wir konstruieren auf einem geeigneten W-Raumfolgende gekoppelte Zgn. Seien Zi, i = 1, . . . , n unabhangige Zgn mit Werten−1, 0, 1, . . . und der Verteilung

P (Zi = k) =

1− pi k = −1e−pi − 1 + pi k = 0e−pipki /k! k = 1, 2, 3 . . .

Wir betrachten die Zgn Xi := 11Zi≥0 und Yi := Zi ∨ 0.Die Zgn Xi sind unabhangig mit Bernoulli Verteilung P (Xi = 1) = pi.

Die Zgn Yi sind unabhangig mit Poisson Verteilung zum Parameter pi. DieSumme T :=

∑i Yi ist Poisson verteilt zum Parameter

∑i pi.

Kernstuck ist die Abschatzung

P (Xi 6= Yi) = P (Zi ≥ 2) + P (Zi = 0) = pi(1− e−pi) ≤ p2i .

d(S, T ) =∑

k

|P (S = k)− P (T = k)| =∑

k

|P (S = k 6= T )− P (T = k 6= S)|

≤ 2P (S 6= T ) ≤∑

i

P (Xi 6= Yi) ≤ 2∑

i

p2i .

q.e.d.

Beispiel

Geburtstage: In einem Horsaal sind 100 Studenten. Wieviele haben heuteGeburtstag? Sei Xi die Bernoulli Zg der i-te Student hat Geburtstag. Wirnehmen an, diese Zgn sind unabhangig identisch Bernoulli verteilt zum Para-meter 1/365. Die Anzahl S100 der Geburtstage ist Binomial Bin(100, 1/365)und damit approximativ Poi(100

365) verteilt. Der Fehler dieser Approximation

ist beschrankt durch 200/(365).Warendefekte: Bei einer Massenware sind einzelne Exemplare bereits

bei der Produktion mit einer kleinen Wahrsch. p defekt. Wieviele Examplaren muß eine Sendung enthalten, damit der Kunde mit Wahrsch. α mindestensk intakte erhalt? Mathem. Modell: Xi, i ∈ IN uiv Zgn mit Ber(p) Verteilung.Xi = 1 entspricht die i-te Ware ist defekt. Das Problem reduziert sich aufdas Finden der kleinsten Zahl n mit

α ≤ P (n− Sn ≥ k) ≈ Poi(np)([n− k,∞]).

6.2. ERZEUGENDE FUNKTIONEN 71

Dies ist auch mit einem Taschenrechner moglich.

Telefonzentrale: Mehrere n interne Telefone eines Hotels sind an ei-ner Zentrale angeschlossen. Wieviele k Außenleitungen mussen bereitgestelltwerden, damit zu vorgegebener Wahrsch. α alle anrufenden Teilnehmer ei-ne freie Leitung haben? Math. Modell: Seien X1, . . . , Xn uiv Zgn mit Ber(p)Verteilung. Xi = 1 entspricht dem Ereignis, der i-te Hotelgast fuhrt zum vor-gegebenen Zeitpunkt ein Gesprach. Die Gesamtzahl S der Gesprache ist un-gefahr Poisson Pois(np) verteilt. Die Losung ergibt sich aus Poi(np)([0, k]) ≥n) ≥ α.

Radioaktiver Zerfall: Wir messen mit einem Geigerzahler den radio-aktiven Zerfall von Atomen. Ein zerfallendes Atom wird mit Wahrsch. pgemessen. Die gemessene Anzahl pro Zeiteinheit hat approximativ eine Pois-sonverteilung.

Wir beschreiben den Zerfall des i-ten Atoms in vorgegebener Zeiteinheitdurch eine Bernoulli Zg Xi zum Parameter p1. Der Zerfall der Atome wirdals unabhangig voneinander angenommen. Seien Yi weitere unabhangige Ber-noulli Zgn zum Parameter p. Das i-te zerfallende Teilchen wird tatsachlich ge-messen, falls Yi den Wert 1 annimmt. Unsere gemessene Gesamtzahl

∑iXiYi

ist eine Summe unabhangiger identisch Bernoulli verteilter Zgn zum Para-meter p1p. Sie ist ungefahr Poisson verteilt.

6.2 Erzeugende Funktionen

Die erzeugende Funktion ϕ = ϕa einer Folge a = (an)n∈IN0 ist die Funktion

z 7→ ϕ(z) =∑

n

anzn

Der Definitionsbereich betrifft alle z fur die die rechte Seite wohldefiniert ist.Die Reihe ist eine analytische Funktion im offenen Konvergenzgebiet. Dieerzeugende Funktion eines Maßes µ auf IN0 ist die Funktion

z 7→ ϕµ(z) =∫zxµ(dx) =

∞∑

n=0

µ(n)zn

Insbesondere fur W-maße ist die Reihe absolut konvergent mit einem Kon-vergenzradius mindestens 1.


Die erzeugende Funktion einer ZgnX mit Werten in IN0 ist die erzeugendeFunktion der Verteilung,

z 7→ ϕX(z) = E(zX) =∞∑

n=0

P (X = n)zn

Eine analytische Funktion wird bereits eindeutig bestimmt durch die Werteeiner Folge mit Haufungspunkt. Daher schrankt man sich fur Zgn per Defi-nition gerne auf das Gebiet z ∈ [0, 1] ein, was wir auch machen wollen. DerVorteil ist Wohldefiniertheit, Isotonie und die erzeugende Funktion ist eineSumme von positiven Termen. Das erleichtert die Rechnungen. Die Nach-teile betreffen die Ableitungen in den Randpunkten. In 0 nehmen wir dierechtsseitigen Ableitungen, in 1 die linksseitigen.

Proposition 56 • Die erzeugende Funktion ϕX ist in (0, 1) unendlichoft stetig differenzierbar.

• Die n-Ableitung ist

ϕ(n)X (z) = EX(X−1) . . . (X−n+1)zX−n =

∞∑

i=n

P (X = i)i(i−1) . . . (i−n+1)zi−n

• Im Endpunkt 1 sind alle Ableitungen stetig fortsetzbar mit eventuellemWert ∞.

• Das n-Moment von X ist genau dann endlich, wenn die n-te Ableitungan der Stelle 1 endlich ist.

• Die Verteilung von X ist eindeutig durch ϕX bestimmt.

• Ist der Konvergenzradius von der ereugenden Funktion von X ϕX striktgroßer als 1, so wird die erzeugende Funktion eindeutig durch die Mo-mente der Zg bestimmt.

Dies folgt alles aus der Theorie der Potenzreihen.Die wesentliche Bedeutung der erzeugenden Funktionen liegt in der Wand-

lung eines additiven Problems in ein multiplikatives: Fur unabhangige ZgnX1, X2, . . . , Xn und Sn die Summe gilt

ϕ∑iXi

=∏

i

ϕXi

bzw. fur W-maße ϕ∗iµi =∏i ϕµi .


• Die erzeugende Funktion einer Bernoulli Zg zum Parameter p ist pz +1− p.

• Die erzeugende Funktion einer Binomialverteilten Zg zu den Parametern, p ist

ϕBin(n, p)(z) =n∑

i=0

(n

i

)pi(1− p)n−izi = (pz + 1− p)n

Damit ist die Verteilung der Summe von n unabhangigen Ber(p) verteil-ten Zgn eine Bin(n, p) verteilt. Die Summe von unabhangigen Bin(n, p)und Bin(m, p) verteilten Zgn ist Bin(n+m, p) verteilt.

• Die erzeugende Funktion einer Poissonverteilten Zg zum Parameter λist

ϕPoi(λ)(z) =∞∑

i=0

e−λ(λz)i

i!= eλ(z−1)

Die Faltung von Poissonverteilungen ist Poissonverteilt, siehe das Pro-dukt der erzeugenden Funktionen.

• Die erzeugende Funktion einer geometrisch verteilten Zg zum Parame-ter p ist

ϕGeo(p)(z) =∞∑

i=0

zi(1− p)ip = p

1− (1− p)zDie Summe von n uiv Zgn mit Verteilung Geo(p) hat die erzeugendeFunktion ( p

1−(1−p)z )n.

• Die negative Binomialverteilung Neg(r, p), r > 0, 0 < p ≤ 1 ist gegebendurch

Neg(r, p) =∞∑

k=0

(−rk

)(−1)kpr(1− p)kδk =

∞∑

k=0

(r + k − 1

k

)pr(1− p)kδk

Die erzeugende Funktion ϕNeg(r,p) ist (p

1−(1−p)z )r.Damit gilt ϕNeg(n,p) =

( p1−(1−p)z )

n. Die Interpretation betrifft den Zeitpunkt des n-ten Erfolges

bei unabhangigen Ber(p) Versuchen. Aus dieser Interpretation ersiehtman Neg(r, p) ∗ Neg(s, p) = Neg(r + s, p).

Proposition 57 Seien µn, µ W-maße auf IN0 versehen mit der Potenzmen-ge. Dann sind aquivalent


• µn(i)→ µ(i) fur jedes i ∈ IN0

• µn → µ punktweise

• ϕµn → ϕµ punktweise in [0, 1)

• ϕµn → ϕµ punktweise in nicht leerer offener Menge

Bew. Die Aquivalenz von i, iii, iv folgt aus Resultaten der Potenzreihen. ibessgt die vage Konvergenz von µn gegen µ und ii die schwache Konvergenz.Wir hatten bereits gezeigt, vage Konvergenz von W-maßen gegen ein W-maßimpliziert Straffheit und schwache Konvergenz. q.e.d.

Satz 58 Seien Xn,i, n, i ∈ IN Zgn mit Xn,i ist Ber(pn,i) verteilt. Fur jedesn seien die Xn,i, i ∈ IN unabhangig. Sei Sn =

∑∞i=1Xn,i. Ferner konvergie-

re∑i pn,i in n gegen λ ∈ (0,∞) und

∑i p

2n,i gegen 0. Dann konvergiert Sn

schwach gegen eine Zg mit Poissonverteilung zum Parameter λ.

Bew: Aus Monotoniegrunden erhalten wir ϕSn =∏∞i=1 ϕXn,i .

ϕSn(z) =∏

i

(pn,iz + 1− pn,i) = exp(∑

i

ln(1− pn,i(1− z)))

Nach Voraussetzung gilt supi pn,i < 1/2 fur n hinreichend groß. Fur |x| < 1/2benutzen wir die Abschatzung | ln(1+x)−x| ≤ x2. Dann gilt fur n hinreichendgroß, (impliziert pn,i < 1/2) und λn =

∑i pn,i gilt

| lnϕSn(z)− lnϕPoi(λn)(z)| ≤ |1− z|2

∑

i

p2n,i →n 0

| lnϕPoi(λn) − lnϕPoi(λ)| ≤ |z − 1||λn − λ| →n 0

Dies ergibt die Behauptung. q.e.d.

6.2.1 Verzweigungsprozesse

Erzeugende Funktionen spielen eine große Rolle in vielen Zweigen der Mathe-matik, unter anderem bei Rekursionen wie in der Analyse von Algorithmen.Wir zeigen ein Beispiel zur Ausssterbewahrscheinlichkeit von genealogischenBaumen.


Ein Verzweigungsprozess oder auch Bienayme-Galton-Watson Prozess isteine Folge von Zufallsgroßen Zn : Ω 7→ IN0, n ∈ IN0, auf einem Wahrschein-lichkeitsraum (Ω,A, P ), die der rekursiven Bedingung

Zn+1 =Zn∑

i=1

Xn,i

genugt mit Z0 = 1. Hierbei sind Xn,i, i, n ∈ IN0, unabhangig identischverteilte Zgn mit Werten in IN0. Die Bedeutung von Xn,i ist die Anzahlder Nachkommen des i-ten Individuums in n-ter Generation. Die Verteilungp = (p0, p1, ...), P (X = k) = pk, heißt Nachkommenschaftsverteilung. Wirschließen den triviale Fall p1 = 1 aus.

Interpretation: Das geschichtliche Originalproblem, fomuliert von Fran-cis Galton, gelost von Henrik Watson und gemeinsam veroffentlicht, betrafdas Aussterben von Adelsfamiliennamen. (Rund 50 Jahre fruher wurde dasmathematische Resultat von Bienayme bereits gelost.) Zn ist die Anzahl derNamenstrager in der n-ten Generation.

① ① ① ① ① ① ① ① ① ① ①

① ① ① ① ①

① ①①

①

❯

❯

❯

❯

s

PPPPPPPPPPPPPq

Unser Interesse gilt der Aussterbewahrscheinlichkeit

q = limnP (Zn = 0)

Proposition 59 Seien Y,Xn, n ∈ IN, unabhangige Zgn mit Werten in IN0.Die Xn, n ∈ IN, seien identisch verteilt. Dann gilt:

ϕ∑Y

i=1Xi

= ϕY ϕX


Beweis:

ϕ∑Y

i=1Xi(z) = E(

∑

j∈IN0

11Y=jz∑j

i=1Xi)

=∑

j

E(11Y=j)E(z∑j

i=1Xi) =

∑

j

P (Y = j)(ϕX(z))n

= ϕY (ϕX(z))

q.e.d.Sei f die erzeugende Funktion der Nachkommenschaftsverteilung f(z) =

EzX und fn die n-fache Hintereinanderausfuhrung von f.

Proposition 60 Die Verteilungsfunktion von Zn ist fn.

Bew: Die obere Proposition zeigt ϕZn+1 = ϕZnf fur jedes n. Eine Induktionliefert nun das Gewunschte. q.e.d.

Satz 61 Die Aussterbewahrscheinlichkeit q ist der kleinste Fixpunkt der er-zeugenden Funktion f der Nachkommenschaft. f hat maximal 2 Fixpunkte,einer davon ist 1. f hat genau dann zwei Fixpunkte wenn der Reproduktions-mittelwert EX strikt großer als 1 ist.

Beweis: • q ist ein Fixpunkt.Beachte fn(0) = P (Zn = 0) ist aufsteigend und q wohldefiniert. Die

Stetigkeit von f liefert

f(q) = f(limnfn(0)) = lim

nfn+1(0) = q.

• q ist der kleinste FixpunktSei q ein anderer Fixpunkt. Aus 0 ≤ q folgt f(0) ≤ f(q) = q und per

Induktion fn(0) ≤ q. Dies ergibt q ≤ q.• f hat maximal 2 Fixpunkte, einer davon ist 1.1 ist offensichtlich ein Fixpunkt. Ist f eine Gerade, dies entspricht p0 +

p1 = 1 und p0 > 0, so kann f nur einen Fixpunkt besitzen. Ist f keine Gerade,dies impliziert p0 + p1 < 1, so ist die Funktion [0, 1] ∋ z 7→ g(z) = f(z) − zstrikt konvex. Die Schnittmenge einer strikt konvexen Funktion mit einerGeraden hat hochstens zwei Elemente.• f hat genau 2 Fixpunkte dann und nur dann wenn EX > 1.Die Aussage ist einfach fur eine Gerade f . Anderenfalls ist f strikt konvex

und habe 2 Fixpunkte. Die Ableitung f ′(1−) = EX an der Stelle 1 muß striktgroser als 1 sein. Umgekehrt, falls EX > 1 gilt, so hat die Funktion g nachdem Mittelwertsatz (g(0) = p0 ≥ 0 eine zweite Nullstelle in [0, 1). q.e.d.


Korollar 62 Die Folge (fn(z))n ist monoton steigend gegen q fur jedes z ≤ qund monoton fallend gegen q fur q ≤ z < 1.

Beweis: Eine Kurvendiskussion ergibt z ≤ f(z) oder z ≥ f(z) je nach Lagevon z. (Ein Bild ist hilfreich.) Die Aussage folgt dann durch die iterativeAnwendung der positiven und isotonen Funktion f auf beide Seiten. q.e.d.

Bsp: Symmetrische Irrfahrt:Seien Yi, i ∈ IN, uiv Zgn mit P (Y1 = 1) = 1

2= P (Y1 = −1). Die Folge der

Partialsummen Sn =∑ni=1 Yi heißt symmetrische Irrfahrt. Ein anspruchsvol-

les Resultat besagt, die symmetrische Irrfahrt ist rekurrent. Dies bedeutetP (Sn = 0 ∞ − oft) = 1, d.h. die Folge besucht den Zustand 0 unendlichoft. Aus P (∃n Sn = x) = 1 fur ein x ∈ ZZ, und dann jedes, ist dies leicht zufolgern.

Wir wollen zeigen P (∃n Sn + 1 = 0) = 1. Definiere dazu τ0 = 0 undrekursiv τn+1 − τn = Sτn + 1. Wir erhalten

Sτn+1 + 1 = Sτn+1 + τn+1 − (Sτn + τn) =τn+1∑

i=τn+1

(Yi + 1)

Der Prozess Zn = τn+1 − τn, n ∈ IN0 ist ein BGW-Prozess zur Nachkom-menschaft Y + 1 (p0 = 1/2 = p2). (ϕZn+1 = ϕZn ϕY+1) Aus E(Y + 1) = 1erhalten wir Zn konvergiert gegen 0 fast sicher. Dies liefert das erstrebteResultat Sτn + 1→n 0 f.s.

6.2.2 Poissonprozess

Der Poissonprozess zum Parameter λ > 0 ist ein Prozess Nt, t ≥ 0 mit denEigenschaften

• Nt −Ns ist Poi((t− s)λ) verteilt fur alle 0 ≤ s ≤ t.

• Die Zgn Nti −Nti−1sind unabhangig fur alle 0 = t0 < t1 < . . . < tn.

• N0 = 0

• Jeder Pfad t 7→ Nt ist monoton steigend und rechtsstetig.

Durch diese Eigenschaften sind die Marginalverteilungen (Nt1 , Nt2 , . . . , Ntn)fur alle t1 < t2 < . . . < tn eindeutig festgelegt. P (Nt − Ns = 0) konvergiertmit tց s gegen 1. Jedes s ist ein Stetigkeitspunkt fur jeden Pfad fast sicher.


(Die Nullmenge hangt jedoch von s ab, und davon gibt es uberabzahlbar vie-le.) Nt

tkonvergiert fast sicher gegen λ nach dem starken Gesetz der Großen

Zahl.Die Konstruktion eines Poissonprozesses kann explizit gegeben werden.

Zu λ > 0 seien Xn, Yn,i, n, i ∈ IN unabhangige Zgn. Die X-Zgn habeneine Poi(λ) Verteilung und die Y -Zgn eine gleichmaßige Verteilung auf [0, 1).Definiere das zufallige Maß

µ =∑

n∈IN

Xn∑

i=1

δn−1+Yn,i

Proposition 63 Dann ist

Nt := µ([0, t])

t ≥ 0 der Poissonprozess zum Parameter λ.

Bew. Die vierte Eigenschaft folgt aus der Definition durch Monotonie.• Nt ist fur t < 1 Poi(tλ) verteilt.

ϕNt(z) =∑

k

P (Nt = k)zk =∑

k

zk∑

l

P (X1 = l,l∑

i=1

11Y1,i≤t = k)

=∑

k

∞∑

l=k

zkP (X1 = l)P (l∑

i=1

11Y1,i≤t = k)

=∑

l

P (X1 = l)∑

k≤lzk(l

k

)tk(1− t)l−k

=∑

l

e−λλl

l!(zt+ (1− t))l

= e−λeλ(zt+(1−t)) = eλt(z−1) = ϕPoi(tλ)(z)

• Nt −N⌊t⌋D= Nt −N⌊t⌋

Die Zg (Xn, (Yn,i)i), n ∈ IN sind uiv verteilt.• P (N0 = 0) = 1Benutze limt→0 P (Nt = 0) = 1• Ns, Nt − Ns sind unabhangig fur 0 ≤ s < t < 1 und Nt − Ns ist

Poi((t− s)λ) verteilt.


Wir benutzen erzeugende Funktionen in zwei Variablen u, v ∈ [0, 1].

∑

m,n

P (Ns = m,Nt −Ns = n)umvn =∑

l,m,n

P (X1 = l,l∑

i=1

11Y1,i≤s = m,l∑

i=1

11s<Y1,i≤t = n)umvn

=∑

l,m,n

P (X1 = l)P (l∑

i=1

11Y1,i≤s = m,l∑

i=1

11s<Y1,i≤t = n)umvn

=∑

l

P (X1 = l)∑

m,n

(l

m

)sm(1− s)n

(l −mn

)(t− s1− s)

n(1− t1− s)

l−m−numvn

=∑

l

P (X1 = l)∑

m

(l

m

)sm(1− s)l−mum(v(t− s)

1− s +1− t1− s)

l−m

=∑

l

P (X1 = l)∑

m

(l

m

)sm(1− s)l−mum(v(t− s)

1− s +1− t1− s)

l−m

=∑

l

e−λλl

l!(su+ (t− s)v + 1− t)l

= eλs(u−1)+λ(t−s)(v−1) = ϕPoi(sλ)(u)ϕPoi((t− s)λ)(v)

Hieraus erhalten wir P (Ns = m,Nt−Ns = n) = P (Ns = m)P (Nt−Ns = n)und die gewunschte Aussage.• Erste Eigenschaft.Sei s < t ≤ ⌈s⌉. Dann konnen wir oEdA annehmen 0 ≤ s < t < 1. Dies

war oben bereits gezeigt.Sei s ≤ ⌈s⌉ ≤ t. Dann schreibe

Nt −Ns = (Nt −N⌊t⌋) + (N⌊t⌋ −N⌊t⌋−1) + . . .+ (N⌈s⌉ −Ns)

und die Unabhangigkeit der Xn, n ∈ IN liefert die Unabhangigkeit der Ter-me. Die Verteilung ist jeweils bekannt als Poisson und die Faltung von Poissonist Poisson.

Die zweite Eigenschaft folgt durch eine Induktion uber n, allerdings mitviel Rechenaufwand. Wir uberschlagen dies. q.e.d.

Sei τn = inft ≥ 0 | Nt ≥ n, n ∈ IN0 der Zeitpunkt, an dem der Prozesszum n-ten Male springt. Der Pfad t → Nt ist eindeutig durch die Angabeder n→ τn bestimmt, Nt = maxn | τn ≤ t < τn+1.

Proposition 64 Die Zgn τn− τn−1, n ∈ IN sind unabhangig und haben eineexponentielle Verteilung.


Bew: Sei 0 ≤ t = n+ s mit 0 ≤ s < 1.

P (τ1 > t) = P (Nn = 0, Nn+s −Nn = 0) = P (Nn = 0)P (Nn+s −Nn = 0)

= P (X1 = 0 = X2 = . . . = Xn = 0)P (Ns = 0) = e−nλ∑

e−sλ = e−tλ

Der Rest ist eine langliche und unschone Rechnerei. q.e.d.Damit ergibt sich eine andere Beschreibung ist via einer Folge von un-

abhangigen Zgn Xn, n ∈ IN mit einer exponentiellen Verteilung zum Para-meter λ und Sn die n-te Partialsumme. Dann ist Nt := supn ∈ IN0 | Sn ≤t < Sn+1 ein Poissonprozess zum Parameter λ.

Die erste Konstruktion laßt eine Verallgemeinerung fur jedes Radonmaßν auf [0,∞] mit ν(0) = 0 zu. Sei 0 = t0 < t1 < t2 eine gegen ∞ aufstei-gende Folge und In = (tn−1, tn] die zugehorige Partition von (0,∞). SeienXn, Yn,i, n, i ∈ IN unabhangige Zgn. Xn sei Poissonverteilt zum Parameterν(In) und Yn,i verteilt wie

ν|Inν(In)

. Dann ist

µ =∑

n∈IN

Xn∑

i=1

δYn,i

ein zufalliges Radonmaß auf [0,∞) mit µ(0) = 0 und

Nt := µ([0, t])

der (ein) Poissonprozess zum Parameter ν.Speziell fur das Lebesguemaß erhalten wir einen Poissonprozess zum Pa-

rameter 1, bei λ-Vielfachen des Lebesguemaßes zum Parameter λ.

Kapitel 7

Zentraler Grenzwertsatz

Der Zentrale Grenzwertsatz ist eine Grenzwertaussage fur die Summe un-abhangiger Zgn, wobei jeder Summand relativ zur Summe nur einen ver-schwindend kleinen Beitrag liefert. Im Gegensatz dazu bestand die Summebei der Poissonapproximation aus wenigen Summanden, die verglichen mitder Summe relativ groß waren.

Der Zentrale Grenzwertsatz (ZGS) laßt sich als ein allgemeines Naturge-setz verstehen und auch beobachten. Wenn immer eine Summe aus vielenkleinen unabhangigen Zgn gebildet wird, gilt der ZGS. Die Bedeutung desZentralen Grenzwertsatzes (ZGS) rechtfertigt das Statement:

Der Zentrale Grenzwertsatz ist der zweite Hauptsatz der W-theorie.

Definition 65 Die Funktion Φm,σ2 : IR 7→ IR zu den Parametern m ∈IR, 0 < σ2 <∞

Φ(x) :=∫ x

−∞ϕm,σ2(y)dy

mit

ϕm,σ2(y) :=1√2πσ2

e−(y−m)2

2σ2

heißt Normalverteilungsfunktion oder Gaussverteilungsfunktion zuden Parametern m,σ2. Die Gaussverteilung G(m,σ2) oder N(m,σ2) istdie Verteilung zur Verteilungsfunktion Φm,σ2 . Die Funktion ϕm,σ2 heißt Dich-te der Gaussverteilung zu den entsprechenden Parametern.

Die Funktion Φ = Φ0,1 heißt standardisierte Gausverteilungsfunk-tion oder Gaussverteilungsfunnktion . Die Dichte ϕ = ϕ0,1 heißt Gaus-sdichte bzw. Dichte der Normalverteilung N(0, 1).

81

82 KAPITEL 7. ZENTRALER GRENZWERTSATZ

Lemma 66 • ∫ ba ϕm,σ2(x)dx =∫ b−m

σa−mσ

ϕ(x)dx

• ∫ ϕm,σ2(x)dx = 1

• Sei X eine gaussverteilte G(0, 1) Zg. Dann hat aX+b den Erwartungs-wert b und die Varianz a2 und ist G(b, a2) verteilt.

• Die Faltung von Gaussverteilungen ist eine Gaussverteilung. Dabei ad-dieren sich die Parameter.

Bew: i) Benutze die Variablentransformation x−mσ

= yii) Es reicht die Parameter m = 0, σ2 = 1 zu nehmen. Mit einer Varia-

blentranformation in Polarkoordinaten erhalten wir

(∫ϕ(x)dx)2 =

1

2π

∫ ∫e−

x2+y2

2 dxdy

=1

2π

∫ ∞

0

∫ 2π

0e−

r2

2 rdrdϕ

=∫e−

r2

2 rdr = −e− r2

2 |∞0 = 1

iii) Nachrechnen.iv) Seien X, Y unabhangige Zgn mit Dichten f, g. Dann hat X + Y die

Dichteh(x) =

∫f(x− y)g(y)dy =

∫g(x− y)f(y)dy

q.e.d.

Definition 67 (Zentraler Grenzwertsatz) Eine Folge Xn, n ∈ IN , vonZgn gehorcht dem Zentralen Grenzwertsatz (ZGS) falls es eine Folge an, bnreeller Zahlen gibt mit

S∗n :=

Sn − anbn

D→n N(0, 1)

Hierbei ist Sn die n-te Partialsumme∑ni=1Xi.

Definition 68 (Standardnormierung) Die Standardnormierung einer ZgS ist, sofern wohldefiniert, gegeben durch

S∗ :=S − ES√VarS

.

7.1. MOIVRE-LAPLACE 83

Satz 69 (ZGS) Eine Folge unabhangig identisch verteilte Zgn mit endlicherVarianz ungleich 0 erfullt den Zentralen Grenzwertsatz mit der Standardnor-mierung.

Wir zeigen 3 verschiedene Beweise. Der erste beruht auf brutalem Rech-nen und ist eine lokale Aussage uber Dichten. Der zweite benutzt spezielleZgn. Der dritte benutzt die Technik der charakteristischen Funktionen undist rein auf dem Raum der Maße.

7.1 Moivre-Laplace

Die einfachste Form des ZGS ist der Satz von Moivre-Laplace.

Satz 70 (De Moivre-Laplace) Eine Folge unabhangiger identisch verteil-ter Zgn mit einer Bernoulliverteilung zum Parameter p ∈ (0, 1) genugt demZGS.

Die Beweisidee besteht in brutalem Abzahlen. Sei Sn die n-te Partialsum-me von unabhangigen, Bernoulli verteilten Zgn zum Parameter p. (Munzwurf.)Die Wahrscheinlichkeit P (Sn = k) stellen wir in einem Saulendiagrammdar, hier eine Saule im Bereich [k − 1/2, k + 1/2]. Die WahrscheinlichkeitP (a ≤ Sn ≤ b) mit a, b ∈ IN0 entspricht der Flache uber dem Intervall(a− 1

2, b+ 1

2]. Wir approximieren P (Sn = k) als Funktion in k und integrie-

ren diese Funktion auf. (Ubung: Verdeutlichen Sie sich die Herangehensweisein einem Bild.)

Genau genommen beweisen wir einen lokalen Satz fur die Dichten,

P (Sn = k)

ϕnp,np(1−p)(k)

ist asymptotisch 1 fur k in einer Menge Kn, siehe weiter unten. Diese Mengeist gros in dem Sinne P (Sn ∈ Kn)→n 1 oder anders formuliert,

Bin(n, p)(Sn)

ϕnp,np(1−p)(Sn)

konvergiert gegen 1 bzgl. dem Maß P Sn .Zur Vorbereitung benotigen wir die Stirlingsche Formel [21][1], die von

allgemeinem Interesse ist und die wir ohne Beweis angeben.


Lemma 71 (Stirling Formel) Fur jede naturliche Zahl n gilt

e1

12n+1 <n!√

2nπ(ne)n< e

112n (7.1)

Sei ϕm,σ2 die Funktion

ϕm,σ2(x) :=1

2πσ2e

(x−m)2

2σ2 .

Lemma 72 Sei Sn Binomial Bin(n, p), 0 < p < 1, verteilt. Sei αn, n ∈ IN ,eine positive Folge mit limn n

1/3αn = 0 und Kn die Menge der ganzen Zahlenk mit | k

n− p| ≤ αn. Dann gilt

supk∈Kn

| P (Sn = k)

ϕnp,np(1−p)(k)− 1| →n 0.

Beweis: Den obigen Quotienten schreiben wir als Produkt von funf Faktoren,q = 1− p.

P (Sn = k)

ϕnp,npq(k)=

n!pkqn−k√2npqπ

k!(n− k)!e−(k−np)2

2npq

=n!√

2nπ(ne)n

︸︷︷︸F1

√2kπ(k

e)k

k!︸︷︷︸F2

√2(n− k)π(n−k

e)n−k

(n− k)!︸︷︷︸F3

pkqn−ke(k−np)2

2npq

( kn)k(n−k

n)n−k

︸︷︷︸F4

√2nπ√2npqπ√

2kπ√2(n− k)π

︸︷︷︸F5

• F1 →n 1 gleichmaßig fur k ∈ Kn.Dies folgt aus der Stirling Formel 7.1,

supk∈Kn

|F1 − 1| = supk∈Kn

(F1 − 1) ≤ e1

12n − 1→n 0.

• F2 →n 1 gleichmaßig fur k ∈ Kn.

supk∈Kn

|F2 − 1| = supk∈Kn

(1− F2) ≤ supk∈Kn

(1− e− 112k ) ≤ sup

1

12k

= sup1

12n( kn− p) + 12np

≤ 1

12np− 12nαn→n 0.

• F3 →n 1 gleichmaßig fur k ∈ Kn.

7.1. MOIVRE-LAPLACE 85

Analog zum vorherigen.• F5 →n 1 gleichmaßig fur k ∈ Kn. F5 schreibt sich in der Form

F5 =

√pq√

p+ ( kn− p)

√q − ( k

n− p)

.

Jetzt wird | kn− p| durch αn abgeschatzt und αn konvergiert in n gegen 0.

• F4 →n 1 gleichmaßig fur k ∈ Kn.Eine einfache, langliche Rechnung mit u = k

n− p zeigt

lnF4 = u2n

2pq− n(u+ p) ln(1 +

u

p)− n(q − u) ln(1− u

q).

Mit der Taylor Entwicklung ln(1 − x) = −x − x2/2 + x3 rest(x) fur |x| < 1mit rest(x)→x→0 1 erhalten wir

lnF4 = nu3a.

Der Term a := 12p2− (u + p) rest(u

p) − (q − u) rest(u

q) − 1

2q2ist beschrankt

gleichmaßig in n und k. Der Term |nu3| ≤ nα3n konvergiert gegen 0. q.e.d.

Beweis von Moivre-Laplace: Sei Sn =∑ni=1Xi mit

S∗n :=

Sn − ESn√VarSn

=Sn − np√

npq

die standardisierte n-te Partialsumme, q = 1− p.Definiere die Abbildung IR ∋ x → x∗n := x−np√

npqund sei Dn := k ∈ IN |

a ≤ k∗n ≤ b fur vorgegebenen feste Zahlen reellen Zahlen a, b.Wir werden zeigen P (a ≤ S∗

n ≤ b) →n Φ(b) − Φ(a). Aus schreibtechni-schen Grunden unterdrucken wir nach Moglichkeit das n. Sei

ϕ = ϕnp,npq, rk := P (Sn = k), sk := ϕ(k), tk :=∫ k+1/2

k−1/2ϕ(x)dx.

• P (a ≤ S∗n ≤ b) =

∑k∈Dn rk.

Trivial.• supk∈Dn |1− sk

rk| →n 0.

Verwende das letzte Lemma mit αn := |a|∨|b|√n.

• |∑k∈Dn(rk − sk)| →n 0l.S. ≤ supl∈Dn |1− sl

rl|∑k rk →n 0.


• |∑k∈Dn(sk − tk)| →n 0.

|∑

k∈Dn(sk − tk)| ≤

∑

k

∫ k+1/2

k−1/2|ϕ(k)− ϕ(x)|dx

=∑

k

∫ k+1/2

k−1/2ϕ(x)

∣∣∣∣∣ϕ(k)

ϕ(x)− 1

∣∣∣∣∣ dx

=∑

k

∫ k+1/2

k−1/2ϕ(x)

∣∣∣∣e(x−k)2+2(x−k)(k−np)

2npq − 1∣∣∣∣ dx

≤ supk∈Dn

sup|y|≤ 1

2

|ey2

2npq+ ypq

( kn−p) − 1|

∫ϕ(x)dx

≤ |e 18npq

+−

12pq

(αn) − 1| →n 0

• |∑k∈Dn tk −∫ ba ϕ(x)dx| →n 0.

Sei an := infDn, bn := supDn mit a∗n →n a und b∗n →n b. Wir verwendennun die Transformation y := x∗ fur festes n. Die Summe

∑k∈Dn tk laßt sich

schreiben als

∑

k∈Dntk =

∫ bn+1/2

an−1/2ϕ(x)dx =

∫ b∗n+1

2√npq

a∗n− 12√npq

ϕ(y)dy.

Die untere Grenze des rechten Integrals konvergiert gegen a, die obere gegenb.

Dies zusammengenommen reicht. q.e.d.

Bem: Im obigen Satz ist es unerheblich, ob wir asymptotisch die W-keit der standardisierten Summe S∗

n im abgeschlossenen Intervall [a, b] oderim offenen Intervall (a, b) oder in einem halboffenen Intervall (a, b], [a, b) be-trachten.

Bem: Fur ganze Zahlen a, b ist

P (a ≤ Sn ≤ b) = P (a−1/2 ≤ Sn ≤ b+1/2) ≈ Φ

(a+ 1/2− np√

npq

)−Φ

(b− 1/2− np√

npq

)

(7.2)

eine etwas bessere Abschatzung als ohne den Korrekturterm von+− 1

2.

Bsp: Wurfeln: Gesucht ist die W-keit bei sechstausendmaligem Wurfelnzwischen 980 und 1020 mal die Sechs zu erhalten.

7.2. BEWEIS DES ZGS NACH TROTTER 87

Die Zgn Xi, 1 ≤ i ≤ 6000, seien uiv Ber(1/6) verteilt. Das Ereignis Xi = 1entspricht einer 6 im i-ten Wurf.

P (980 ≤ Sn ≤ 1020) = P (a∗ ≤ S∗n ≤ a∗) ≈

∫ b∗

a∗ϕ(x)dx = Φ(a∗)−Φ(b∗) ≈ 0, 51

mit a∗ := −20√5000/6

und b∗ := 20√5000/6

. Die bessere Abschatzung nach der

Bemerkung 7.2 mit a∗ := −20,5√5000/6

und b∗ := 20,5√5000/6

liefert

P (979, 5 ≤ Sn ≤ 1020, 5) ≈ 0, 52.

Bsp: Wahl: In einem fiktiven demokratischen Land gibt es zwei Parteien,A und B. 106 Wahlberechtigte entscheiden sich durch einen fairen Munzwurffur die eine oder andere Partei. Die restlichen 2000 Wahlberechtigten desLandes sind fanatisch und wahlen stets A. Mit welcher W-keit gewinnt A?

MM: Seien X1, X2, . . . , X106 unabhangige Zgn mit Ber(1/2) Verteilungund sei S die Summe. Die Wahrscheinlich, daß A gewinnt, betragt

P (S + 2000 >106 + 2000

2) = P (S∗ > −2) = P (S∗ < 2) ≡ Φ(2) ≡ 0, 977...

Der Satz von Moivre-Laplace laßt sich erweitern auf uiv Zgn, die nurendlich viele verschiedene Werte annehmen konnen. Der Trick ist, das solcheine Verteilung sich schreiben laßt als ein Integral uber Zweipunktverteilun-gen. Die Ausdehnung auf beliebige quadratintegrierbare Verteilungen erfolgtdurch ein Approximationsargument. Wir uberschlagen die Einzelheiten.

7.2 Beweis des ZGS nach Trotter

Wir beweisen den ZGS. Die standardisierte Summe von unabhangigen gaus-sverteilten Zgn ist standard gaussverteilt.

Wir folgen nun dem Beweis von Trotter [20]. Sei E|X|3 < ∞. OEdAnehmen wir X1 zentriert mit Varianz 1 an. Sei Yn, n ∈ IN, eine Folge un-abhangiger N(0, 1) verteilter Zgn, auch unabhangig von den Xi. Wir wollenzeigen: Fur jede dreimal stetig differenzierbare Funktion f mit kompaktemTrager gilt

An := |Ef(∑ni=1Xi√n

)− Ef(∑ni=1 Yi√n

)| →n 0.


Dies ist aquivalent zur behaupteten schwachen Konvergenz.Ein Teleskopsummenargument, ersetze jeweils ein Xi durch ein Yi, liefert

f(

∑ni=1Xi√n

)− Ef(∑ni=1 Yi√n

) =n∑

i=1

E(f(ci +Xi√

n)− f(ci + Yi√

n))

mit ci :=∑i−1j=1 Yj +

∑nj=i+1Xj. Die Taylorentwicklung fur jeden Term jeweils

um ci√nmit einem geigneten Zwischenwert ξi = ξ(ci, Xi), |ξi − ci| ≤ |Xi|/

√n

bzw. η fur Yi analog ergibt

f(ci +Xi√

n) = f(

ci√n) + f ′(

ci√n)Xi√n+ f ′′(

ci√n)X2i

2n+ f ′′′(

ξi√n)X3i

6n3/2

Wir erhalten

An ≤∑

i≤n|E(f(ci +Xi√

n)− f(ci + Yi√

n))|

≤∑

i≤n|E(f( ci√

n) + f ′(

ci√n)Xi√n+ f ′′(

ci√n)X2i

2n+ f ′′′(

ξi√n)X3i

6n3/2

−f( ci√n)− f ′(

ci√n)Yi√n− f ′′(

ci√n)Y 2i

2n− f ′′′(

ηi√n)Y 3i

6n3/2)|

Beachte ci ist unabhangig von Xi und von Yi. Die Terme mit f, f ′, f ′′ kurzensich weg. Es verbleibt

An ≤n∑

i=1

|E(f ′′′(ξi√n)X3i

6n3/2− f ′′′(

ηi√n)Y 3i

6n3/2)|

≤n∑

i=1

‖f ′′′‖∞1

6n3/2(E(|Xi|3 + E|Yi|3) ≤

const√n→n 0.

q.e.d.Bem: Wenn wir die Taylorentwicklung nur bis zum zweiten Term ma-

chen und den Restterm (standardmaßig) abschatzten (siehe den Beweis vomLindebergsatz), benotigen wir die Zusatzbedingung E|X|3 <∞ nicht.

Der ZGS wird gerne via der gleichmasigen Konvergenz formuliert. Sei Φdie Verteilungsfunktion fur eine Standardnormalverteilung,

Φ(x) =∫ x

−∞

1√2πe

−y22

.

7.2. BEWEIS DES ZGS NACH TROTTER 89

Satz 73 Eine Folge Xn gehorcht dem ZGS genau dann, wenn es Konstantenan, bn gibt mit

supx|P (Sn − an

bn≤ x)− Φ(x)| →n 0.

Beweis: Die schwache Konvergenz ist nach Lemma 18 aquivalent zur punkt-weisen Konvergenz von P (S∗

n ≤ ·) gegen Φ fur alle Stetigkeitspunkte von Φ.Lemma 50 liefert dann die gleichmaßige Konvergenz. q.e.d.

Dieser Satz wird gerne in der Form

P (a ≤ S∗n ≤ b) ≈ Φ(b)− Φ(a)

benutzt. Genauere Abschatzungen der Gute der Approximation liefert derSatz von Berry-Esseen.

Satz 74 (Berry-Esseen) Seien Xn, n ∈ IN, uiv Zgn mit 0 < Var(X) =:σ2 <∞ und E|X − EX|3 =: γ <∞. Dann gilt

supx|P (S∗

n ≤ x)− Φ(x)| ≤ 0, 8 γ

σ3√n.

Literatur: Sozanov [19]. Fur Bernoulli verteilte Zgn ist die Großenordnung1√nrichtig.Bemerkung Der Zentrale Grenzwertsatz ist ein maßtheoretischer zweiter

Momentensatz. Er gilt auch fur gewisse uiv Zgn Xn mit EX2n =∞. Der ZGS

gilt jedoch nie im Falle E|X|p =∞ fur ein p < 2 gilt.Bemerkung Wann sollte die Normalapproximation benutzt werden und

wann die Poissonapproximation? Stets sollte die Anzahl der Zgn groß sein.Die Kriterien sind die Fehlerabschatzungen

∑i p

2i fur die Poissonapproxima-

tion und Berry-Esseen fur die Normalapproximation. Die PoissonverteilungPoi(λ) konvergiert mit λ → ∞ nach Normierung gegen die Normalvertei-lung. Als ganz grobe Faustregel gilt Poissonapproximation fur λ ≤ 5 undNormalapproximation anderenfalls.

Gauß als Geodater: Eine Strecke wird n−mal gemessen. Die sich erge-benen Meßwerte sind mit einem Meßfehler behaftet und weichen voneinanderab. Inwieweit laßt sich aus den fehlerbehafteten Daten x1, . . . , xn die wahreStreckenlange l approximativ gut bestimmen.

Math. Modell: Xi, 1 ≤ i ≤ n, seien uiv Zgn mit unbekannter Verteilungund endlicher Varianz σ2. Xi entspricht der i-ten Messung.


Der Erwartungswert der Zg X sei die zu bestimmende unbekannte Großel. Ein Schatzer fur l ist

l =Snn

=1

n

n∑

i=1

Xi.

Dieser konvergiert nach dem starken GGZ fast sicher gegen l. Die Verteilungdes Abstands

√nσ2 (l − l) ist approximativ Standardnormalverteilt. Grob ge-

sagt, der Fehler bei Benutzung von l anstelle des wahren Wertes l ist von derGroßenordnung 1/

√n.

Gauss ist bekannt geworden durch seine genaue Landvermessung. Seinebahnbrechende Neuerung (auf diesem Gebiet) war die Mittelwertbildung sei-ner Mehrfachmessungen als gute Approximation der wahren Streckenlange.

Wurfeln: Wie groß ist die Wahrsch. bei tausendmaligem Wurfeln eineGesamtaugensumme von mindestens 4000 zu erreichen. Sei Xi die Augenzahldes i-ten Wurfs. Diese Zgn sind unabhangig identisch verteilt. Wir schatzendie Summe S :=

∑1000i=1 Xi mit dem ZGS ab

P (S ≥ 4000) ≤ P (S∗ ≥ 500√nVar(X)

) = P (S∗ ≥ 6, 5465) ≈ 0, 0000001 . . .

Beachte Var(X) = 35/12. Die Tabelle hort allerdings bei 3 auf. Wie verlaßlichist das Resultat? Berry-Esseen gibt einen Approximationsfehler der Großen-ordnung, γ = 153

24

4

5

153

24

12√12

35√35

1√n≈ 1

30

Der oben berechnete Wert ist wesentlich kleiner als der Approximationsfehlerund damit unbrauchbar.

7.2.1 Andere Beweise des ZGS

Es gibt viele verschiedene Beweise des ZGS. Beliebt ist die Verwendung vonFouriertransformierten [4], siehe hierzu auch den Anhang Fouriertransfor-mierte. Der eleganteste Beweis in zwei Zeilen ist wohl der via der Zolota-revmetrik. Die Zolotarevmetrik ist eine ideale Metrik auf dem Raum derW-maße, d.h. fur unabhangige Zgn (X1, X2), (Y1, Y2) und a0ge0 gilt

ζ3(X1 +X2, Y1 + Y2) ≤ ζ(X1, Y1) + ζ3(X2 + Y2)

ζ3(aX1, aY1) ≤ a3ζ(X1, Y1)

7.3. ALLGEMEINER ZENTRALER GRENZWERTSATZ 91

Satz 75 (ZGS) Eine Folge unabhangig identisch verteilte Zgn mit endli-cher Varianz ungleich 0 und endlichen dritten Moment erfullt den ZentralenGrenzwertsatz mit der Standardnormierung.

Bew. SeienXi, i ∈ IN uiv Zgn mit Varianz σ2 und endlichem dritten Moment.OEdA seien die Xi zentriert und σ

2 = 1. Sei Sn die n-te Partialsumme derX-Zgn. Seien Yi, i ∈ IN uiv Zgn und auch unabhangig von den X-Zgn. Y1 seistandard gaussverteilt. Dann ist die n-te Partialsumme Tn =

∑ni=1 Yn G(0, n)

verteilt.

ζ3(S∗n, T

∗n) = ζ3(

∑ni=1Xi√n

,

∑ni=1 Yi√n

) =1

n3/2ζ3(

n∑

i=1

Xi,n∑

i=1

Yi)

=1

n3/2

∑

i≤nζ3(Xi, Yi) ≤

1

n1/2ζ3(X1, Y1)

≤ 1√nζ3(X1, Y1)→n 0

Die Konvergenz in Zolotarev Metrik impliziert die schwache Konvergenz.q.e.d.

7.3 Allgemeiner Zentraler Grenzwertsatz

(Dieser Abschnitt setzt den Umgang mit Fouriertransformierten voraus.) Furunabhangige Zgn wollen wir einen allgemeinen Grenzwertsatz herleiten. EinSchema von Zgn ist eine Familie von Zgn X = (Xn,k)n∈IN,1≤k≤kn∈N . Dieubliche Darstellung istX1,1, X1,2, . . . , X1,k1

X2,1, X2,2, . . . , X2,k2

X3,1, X3,2, . . . , X3,k3

......................

Unser Interesse gilt der Summe

Sn =kn∑

k=1

Xn,k

in n-ter Reihe. Ein Schema heißt unabhangig, falls die Zgn. Xn,k, k ∈ INunabhangig sind in jeder Reihe n. Ein Schema heißt zentriert, falls jede


Zg zentriert ist. Ein Schema heißt standardisiert, falls es zentriert ist unddie Varianz s2n := VarSn = 1 der Reihensumme stets 1 ist. Jedes Schemamit endlicher Reihenvarianz s2n laßt sich durch Ubergang zu den Zgn Yn,k :=Xn,k−EXn,k

snstandardisieren.

Ein standardisiertes Schema Xn,k heißt asymptotisch vernachlassig-bar, falls fur alle ǫ > 0 gilt

supkP (|Xn,k| > ǫ)→n 0.

Definiere die Lindebergfunktion fur ein standardisiertes Schema,

Ln(x) :=∑

k

E(X2n,k11|Xn,k|≥x)

fur alle x > 0.

Satz 76 (Lindeberg) Fur ein unabhangiges, standardisiertes Schema Xsind aquivalent

(i) Das Schema ist asymptotisch vernachlassigbar und

SnD→n G(0, 1)

(ii) Die Lindebergbedingung gilt, d.h. Ln konvergiert punktweise gegen 0.

Beweis: i) ⇒ ii)• ǫn := supk |1− |E cos(tXn,k)|| →n 0 fur alle t ∈ IR.

l.S. ≤ supkE((|1− cos(tXn,k)|)(11|tXn,k|<b + 11|tXn,k|≥b))

≤ (1− cos b) + 2 supkP (|Xn,k| ≥ b/|t|)

Der erste Term wird klein durch Wahl von b und der zweite klein fur nhinreichend groß.

Die Verteilungskonvergenz SnD→n G(0, 1) impliziert Ef(Sn)→n Ef(G(0, 1))

fur alle stetigen beschrankten Funktionen. Insbesondere auch fur Funktionenf(x) = eitx = cos(tx) + i sin(tx) fur alle t ∈ IR d.h. EeitSn →n Ee

itG(0,1) =e−t

2/2. (Die Fourriertransformierte der Gaussverteilung wird hier als bekanntvorausgesetzt).• ln |EeitSn | ≥ ∑k ln |E cos(tXn,k)|.


Aus EeitSn = E∏k e

itXn,k =∏k Ee

itXn,k erhalten wir

ln |EeitSn | =∑

k

ln |EeitXn,k | ≥∑

k

ln |E cos(tXn,k)|.

Damit verlassen wir wieder die komplexen Zahlen.• 0 ≤ 2

t2∑k E((1− cos(tXn,k))11|Xn,k|<ǫ) ≤ 1− Ln(ǫ)

Mit 1− cos(x) ≤ x2/2 fur x ∈ IR erhalten wir

l.S. ≤∑

k

E(X2n,k11|Xn,k<ǫ) = 1− Ln(ǫ)

• 0 ≤ 2t2∑k E((1− cos(tXn,k))11|Xn,k|≥ǫ) ≤ 4

t2ǫ2.

Verwende |1− cos(·)| ≤ 2 und die Markoff Ungleichung.

l.S. ≤ 4

t2∑

k

EX2n,k

ǫ2=

4

t2ǫ2

Es ergibt sich insgesamt ur n hinreichen groß

Ln(ǫ) ≤ 1− 2

t2∑

k

E((1− cos(tXn,k))11|Xn,k|<ǫ)

= 1− 2

t2∑

k

E(1− cos(tXn,k)) +2

t2∑

k

E((1− cos(tXn,k))11|Xn,k|≥ǫ)

≤ 1 +2

t2∑

k

ln |E cos(tXn,k)|+4

t2ǫ2+

2

t2∑

k

|E(1− cos(tXn,k)) + ln |E cos(tXn,k)||

≤ (1 +2

t2ln |EeitSn |) + 4

t2ǫ2+ d.

Der letzte Term wurde d genannt. Der zweite Term ist klein fur t hinreichendgroß. Der erste Term ist beliebig klein fur n hinreichend groß und festes t. Esreicht jetzt zu zeigen, d ist beliebig klein fur n hinreichend groß bei festem t.• d→ 0Die Abschatzung fur d beruht auf

−x21− x ≤ ln(1− x) + x ≤ 0 (7.3)

fur 0 < x ≤ 1. Wir verwenden diese fur x = 1− |E cos(tXn,k)|.

|d| ≤∑

k

2

t2(1− |E cos(tXn,k)|)2

1− |E(1− cos(tXn,k))|


≤∑

k

2

t2E(1− cos(tXn,k)

ǫn1− ǫn

≤ 1

t2∑

k

E(t2X2n,k)

ǫn1− ǫn

≤ ǫn1− ǫn

→n 0

ii)⇒ i)

P (|Xn,k| > ǫ) ≤ E(X2n,k11|Xn,k|≥ǫ)

ǫ2≤ Ln(ǫ)

ǫ2→n 0

impliziert die asymptotische Vernachlassigbarkeit des Schemas.Wir wollen verwenden

Sn(t) =∏

k

Xn,k(t) = e∑

k(ln Xn,k(t)−(Xn,k(t)−1))+

∑k(Xn,k(t)−1) = eI+II

• |II| = |∑k(Xn,k(t)− 1)| ≤ t2

2

|II| ≤∑

k

|EeitXn,k−1−itXn,k)| ≤∑

k

E|eitXn,k−1−itXn,k)| ≤1

2

∑

k

E(t2X2n,k) ≤

t2

2

• II →n − t2

2fur alle t

∑

k

(Xn,k(t)− 1) =∑

k

E((eitXn,k − 1− itXn,k)(11|tXn,k|≤ǫ + 11|tXn,k|>ǫ) = III + IV

|III + t2

2| ≤

∑

k

|E((eitXn,k − 1− itXn,k −(itXn,k)

2

2)11|tXn,k|≤ǫ)

+t2

2E(X2

n,k11|tXn,k|>ǫ)

≤∑

k

E((|tXn,k|3)

3!11|tXn,k|≤ǫ) +

t2

2Ln(ǫ/|t|)

≤ ǫt2

6+t2

2Ln(ǫ/|t|)→n

ǫ2t2

6→ǫ 0

|IV | ≤∑

k

E(t2X2

n,k

211|tXn,k|>ǫ) =

t2

2Ln(ǫ/|t|)→n 0

• |Xn,k(t)− 1| ≤ 2 t2

ǫ2Ln(ǫ/|t|) + ǫ


|Xn,k(t)− 1| = |E(eitXn,k − 1)| ≤ E|eitXn,k − 1|≤ 2E11|tXn,k|>ǫ + E(|tXn,k|11|tXn,k|≤ǫ

≤ 2Et2X2

n,k

ǫ211|tXn,k|>ǫ + ǫ

≤ 2t2

ǫ2Ln(ǫ/|t|) + ǫ→n ǫ→ ǫ0

• I =∑k(ln Xn,k(t)− (Xn,k(t)− 1)) ist wohldefiniert.

Seien zn eine komplexwertige Folge mit |zn − 1| < 11/2 so konvergiert∑n(zn − 1) genau dann, wenn ln(zn) konvergiert. Der Beweis ist ein Ubung

mit der Ungleichung | ln(z)− (z − 1)| ≤ |z − 1|2 fur z ∈ CI mit |z − 1| < 11/2.Fur festes t und hinreichend grosses n ist |Xn,k(t) − 1| < 1/2 fur alle k.

Daher ist I wohldefiniert und endlich.• |I| →n 0 fur jedes t

|I| ≤∑

k

|Xn,k(t)− 1|2 ≤ supl|Xn,l(t)− 1|

∑

k

|Xn,k(t)− 1|

≤ (2t2

ǫ2Ln(ǫ/|t|) + ǫ)

t2

2→n

ǫt2

2→ ǫ0

Damit ist alles wohldefiniert und wir erhalten Sn(t) →n e− t2

2 . Mit dem Le-vyschen Stetigkeitssatz folgt die Behauptung. q.e.d.

(Hier eine Argumentation mit Trotter fur den letzten Teil. Seien die ZgnYn,k unabhangig und gaussverteilt G(0,VarXn,k) mit den gleichen ersten bei-den Momenten wie Xn,k. Die Y seien vauch von den X unabhangig. Wir

zeigen die nach Satz 18 zu Sn =∑kXn,k

D→n∑k Yn,k

D= N(0, 1) aquivalente

Aussage:• ∀f ∈ C2

c An := |Ef(∑kXn,k)− Ef(∑k Yn,k)| →n 0.

Wie beim ZGS Verwende ein Teleskopsummenargument

f(∑

k

Xn,k)− f(∑

k

Yn,k) =∑

k

(f(cn,k +Xn,k)− f(cn,k + Yn,k))

mit cn,k := Yn,1 + . . . + Yn,k−1 + Xn,k+1 + . . . + Xn,kn und dann eine Tay-lorentwicklung jeweils um cn,k mit einem geigneten Zwischenwert ξn,k =


ξ(cn,k, Xn,k), |ξn,k − cn,k| ≤ |Xn,k| bzw. ηn,k analog. Wir erhalten

An =∑

k

|E(f(cn,k +Xn,k)− f(cn,k + Yn,k))|

≤∑

k

|E(f ′(cn,k)Xn,k +f ′′(ξn,k)X

2n,k

2− f ′(cn,k)Yn,k −

f ′′(ηn,k)Y2n,k

2)|

≤∑

k

|Ef′′(cn,k)

2(X2

n,k − Y 2n,k)|+

∑

k

E|f ′′(ξn,k)− f ′′(cn,k)|X2n,k

+∑

k

E|f ′′(ηn,k)− f ′′(cn,k)|Y 2n,k

Der erste Term ist Null wegen gleicher Varianz und Unabhangigkeit von cn,kund Xn,k − Yn,k. Den zweiten schatze ab durch

II ≤∑

k

E|f ′′(ξn,k)− f ′′(cn,k)|X2n,k(11Xn,k<ǫ + 11Xn,k≥ǫ)

≤ w(f ′′, ǫ)∑

k

EX2n,k + ‖f ′′‖∞E

∑

k

X2n,k11Xn,k>ǫ

≤ w(f ′′, ǫ)1 + ‖f ′′‖∞Ln(ǫ)

mit w(g, ǫ) := sup|g(x) − g(y)| | x, y ∈ IR |x − y| < ǫ der Stetigkeitsmo-dul einer Funktion g und ‖g‖∞ := supx |g(x)| die Supremumsnorm. DieseTerme sind klein wegen w(ǫ) →ǫ 0 und der Lindebergbedingung fur das X-Schema. Fur das Y -Schema agumentiere analog. Die Lindebergbedingung furdie Y−Zgn ergibt sich aus der Hinrichtung. )

Beweis Satz ZGS 69 aus Lindebergsatz. Setze Xn,k :=Xk−EXk√nVar(X1)

, k =

1, ..., n. Die Lindebergbedingung ist erfullt,

Ln(ǫ) :=∑

k

E((Xk − EXk√nVar(X1)

)211| Xk−EXk√nVar(X1)

|≥ǫ)

=1

Var(X1)E(X1 − EX1)

211|Xk−EXk|≥√nVar(X1)ǫ

)→n 0.

Zum Lindebergbeweis siehe Feller [7]. Weiter- und tieferliegende Literaturzum ZGS ist Petrov [17] und Gnedenko-Kolmogoroff [9].

Wahl In einer fiktiven Stadt mit einer Million Wahlberechtigten stehenParteien A und B zur Wahl. Jeder Wahlberechtigte entscheidet sich durcheinen fairen Munzwurf fur eine der Parteien. Kurz vor der Wahl erhalten noch


m = 1000 auf Partei A ideologisch festgelegte Zuwanderer die Wahlerlaubnis.Mit welcher ungefahren W-keit wird die Partei A gewinnen.

MM: Seien X1, X2, . . . , Xn unabhangige Zgn mit einer Ber(12) Verteilung

und Sn =∑i≤nXi. Xi = 1 entspricht Wahl von A. Sei m ∈ IN.

P (Sn +m >n+m

2) = P (

Sn − n/2√n/4

>−m√n) ≈ 1− Phi(−m√

n) = Φ(

m√n)

Fur n = 106 und a = 103 erhalten wir eine W-keit von 0, 84134. Fur a =4000 ergibt sich bereits 0, 99997. Die Genauigkeit dieser Approximation wirdabgeschaetzt durch 4

5√nmit Berry-Esseen.

7.3.1 Dreireihensatz von Kolmogoroff

Die bei c ≥ 0 abgeschnittene Zg X ist Xc := X11|X|≤c.

Satz 77 Sei Xn, n ∈ IN eine Folge von unabhangigen Zgn. Dann konvergiertdie Reihe

∑nXn genau dann fast sicher, wenn es ein c > 0 gibt, so dass die

folgenden drei Reihen gegen endliche Werte konvergieren

• ∑n P (|Xn| > c)

• ∑nE(Xcn)

• ∑nVar(Xcn)

Gilt die Bedingung fur ein c > 0 so fur alle c > 0.

Bew: Ruckrichtung. Die dritte Bedingung liefert die Konvergenz von∑n(X

cn−

EXcn) im L2-Sinne, damit auch im L1-Sinne fur die Betrage und damit fast

sichere Konvergenz. Die zweite liefert die f.s. Konvergenz von∑nX

cn. Mit

Borel-Cantelli erhalten wir die f.s. Konvergenz von∑nXn.

Hinrichtung. Sei c > 0. Die f.s. Konvergenz impliziert |Xn| > c nur end-lich oft. Mit Borel-Cantelli ist die erste Reihe endlich und

∑nX

cn fast sicher

konvergent.• ∑nVarX

cn <∞.

Annahme σ2N :=

∑n≤N VarXc

n →n ∞. Seien Xn, n ∈ IN Kopien von Xn,

und alle X, X Zgn unabhangig. Dann ist∑n(X

cn−Xc

n) fast sicher konvergentmit Varianz Var

∑n(X

cn − Xc

n) =∑n(VarX

cn +VarXc

n) = 2∑nVarX

cn.


Definiere das standardisierte Schema Yn,k =Xck−Xc

n

2σnfur k ≤ n. Aus |Xc

k −Xcn| ≤ 2c erhalten wir

limnLn(ǫ) ≤ lim

n

∑

k≤nE(Yn,k11|c|≥ǫσ2

n) = 0

Damit konvergiert∑nk=1

Xck−Xc

k

σneinerseits gegen die Gausverteilung G(0, 1)

nach dem Satz von Lindeberg, andererseits gegen 0 wegen der f.s. Konvergenz.Widerspruch.

Da die dritte Summe konvergiert, erhalten wir∑n(X

cn −E(Xc

n)) konver-giert im L2 und f.s. Sinne. Dies impliziert die Endlichkeit von ii.

c > 0 wurde fur die Hinrichtung beliebig gewahlt.q.e.d.

Kapitel 8

Fouriertransformierte

Fur eine komplexwertige Funktion f : Ω → CI sei Re(f) der Realteil undIm(f) der Imaginarteil. Eine komplexwertige Funktion f : Ω→ CI ist meßbar,falls die Funktion Ω ∋ ω 7→ (Re(f(ω)), Im(f(ω))) meßbar ist bzgl. der Borelσ-Algebra auf IR2. Dies entspricht der Identifizierung der komplexen Zahlenmit IR2 und der ublichen Meßbarkeit.

Das Integral uber eine meßbare komplexwertige Funktion f wird gegebendurch koordinatenweise Integration,

∫fdµ =

∫Re(f)dµ+ i

∫Im(f)dµ.

(Dies stimmt mit dem Integralbegriff uber banachraumwertige Funktionenuberein.) Beide Integrale auf der rechten Seite mussen existieren im Lebes-guesinne und endlich bzw. wohldefiniert sein. Insbesondere gilt Re

∫=∫Re

und Im∫=∫Im. Es gelten die Konvergenzsatze.

Proposition 78 Sei µ ein Maß und g eine komplexwertige meßbare Funk-tion mit |g| µ-integrierbar. Dann ist

∫gdµ wohldefiniert und es gilt die Nor-

mabschatzung

|∫gdµ| ≤

∫|g|dµ

Beweis: Zeige die Aussagen zuerst fur eine Treppe, dann eine Treppenfunk-tion und schließlich durch σ-Stetigkeit allgemein. q.e.d.

Die Fouriertransformierte (FT) oder die charakteristische Funkti-on eines endlichen Maßes µ auf IR ist die Funktion µ : IR 7→ CI

µ(t) =∫eitxµ(dx)

99

100 KAPITEL 8. FOURIERTRANSFORMIERTE

Die Fouriertransformierte X oder CF einer reellwertigen Zg X ist die FToder CF eines W-maßes (CFW) zu der Verteilung, X(t) = EeitX = µ(t).

Die klassische Fouriertransformierte f(t) :=∫eitxf(x)dx einer Funkti-

on f entspricht der Fouriertransformierten des endlichen Maßes fdλ, λ dasLebesguemaß.

Die Fouriertransformation ist eine Abbildung von W-maßen M in diekomplexwertigen Funktionen M = µ ∈ M. Wir werden gleich zeigen, diesist eine Injektion.

Die wesentliche Bedeutung der Fouriertransformierten fur die W-theorieliegt in der Transformation einer linearen Struktur fur Zgn (bzw. Faltungvon Maßen) in eine multiplikative auf M.

Lemma 79 Fur unabhangige, reellwertige Zgn X, Y und komplexwertige meß-bare Funktionen f, g gilt, sofern alles wohldefiniert ist,

E(f(X)g(Y )) = E(f(X))E(g(Y ))

Insbesondere giltX + Y = XY

bzw. maßtheoretisch formuliert

µ ∗ ν = µν

fur W-maße µ, ν auf den reellen Zahlen.

Beweis: Der erste Teil folgt direkt aus der Definition, der zweite ist eineAnwendung

X + Y (t) = E(eit(X+Y )) = E(eitXeitY ) = E(eitX)E(eitY ) = X(t)Y (t)

und der dritte eine Umformulierung. q.e.d.

Proposition 80 Fur eine Zgn X gilt

(i) Die Fouriertransformierte einer symmetrischen Verteilung ist reellwer-tig.

(ii) aX + b(t) = eitbX(at) fur a, b, t ∈ IR.

(iii) N(0, 1)(t) = e−t2

2

8.1. INJEKTIVITAT DER FOURIERTRANSFORMATION 101

(iv) N(m,σ2)(t) = eitm−σ2t2

2

Bew: Alle Teilbehauptungen sind leicht bis auf iii).

• Die Funktion t 7→ f0(t) = e−t2/2 erfullt die Differentialgleichung f ′(t) =

−tf(t).Nachrechnen.

• Die allgemeine Losung f der obigen Differenzialgleichung in den zweimalstetig differenzierbaren Funktionen ist von der Gestalt f = cf0 mit einerKonstanten c.

Ohne Beweis.

• Die Fouriertransformierte X einer standard gaussverteilten Zg.X erfulltobige Differenzialgleichung.

t 7→ X(t) =∫eitxϕ(x)dx =

∫ ∞

−∞cos(tx)ϕ(x)dx

Verwende partielle Integration

DX(t) = −∫ ∞

−∞sin(tx)xϕ(x)dx

= sin(tx)ϕ(x)|∞−∞ −∫ ∞

−∞t cos(tx)ϕ(x)dx = −tX(t)

Wir erhalten hieraus als Losung X = cf0. Die Konstante c berechnet sichaus X(0) = 1 als 1.

Bem: Die Fouriertransformierte der Funktion f02π

ist die Funktion selber.Dies ist der wesentliche Grund, weshalb Viele Mathematiker die Fouriertrans-formierten geringfugig anders definieren (=f0 als Fixpunkt).

8.1 Injektivitat der Fouriertransformation

Lemma 81

limc→∞

∫ c

0

sin(tα)

tdt =

π/2 falls α > 00 α = 0−π/2 α < 0.

Die Konvergenz gegen den Grenzwert ist gleichmaßig auf |α| > δ > 0.


Beweis: • ∫∞0 e−xy sin x dx = 11+y2

fur y > 0.

Partielle Integration liefert

∫ ∞

0e−xy sin x dx =

e−xy

−y sin x|∞0 −∫ ∞

0

e−xy

−y cos x dx

= 0− e−xy

y2cos x|∞0 −

∫ ∞

0

e−xy

y2sin x dx

=1

y2−∫ ∞

0

e−xy

y2sin x dx.

Hieraus folgt nach Umordnung die Aussage.

• ∫∞0 sinxxdx = π

2

Mit 1x=∫∞0 e−xydy fur x 6= 0 folgt:

∫ ∞

0

sin x

xdx =

∫ ∞

0sin x

∫ ∞

0e−xydydx =

∫ ∞

0

∫ ∞

0e−xy sin x dxdy

=∫ ∞

0

1

1 + y2dy = arctan y |∞0 =

π

2.

Die Vertauschbarkeit der Integrale folgt nach Fubini. Fur die Integrierbarkeitvon x→ sin(x)

x(bei 0) verwende 0 ≤ | sin(x)

x| ≤ 1.

• ∫∞0 sinαxxdx = π

211α 6=0

α|α|

Der Falle α = 0 ist einfach. Fur α 6= 0 erhalten wir mit Hilfe der Varia-blentransformation |α|t = y

∫ c

0

sin(αt)

tdt =

α

|α|∫ |α|c

0

sin y

ydy.

Der Rest folgt.

• Gleichmaßigkeit.

Folgt aus obiger Variablentransformation. q.e.d.

Satz 82 (Umkehrformel) Sei µ ein W-Maß, F die zugehorige Verteilungs-funktion und x ein Stetigkeitspunkt von F. Dann gilt

1/2− F (x) = limc→∞

1

2π

∫ c

−cℜ(e−itx

itµ(t)

)dt.

8.1. INJEKTIVITAT DER FOURIERTRANSFORMATION 103

Beweis: Fur ǫ > 0 wahle ein δ > 0 mit F (x + δ) − F (x − δ) < ǫund wahle

c0 so, daß fur alle c ≥ c0 > 0 und |α| ≥ δ gilt |2 ∫ c0 sin(t|α|)t

dt − π|| < ǫ. Wir

verwenden∫ ba =

∫11(a,b]. Es folgt, beachte cos ist eine gerade Funktion,

∫ c

−cℜ(e−itx

itµ(t)

)dt =

∫ c

−cℜ(e

−itx

it

∫eist)µ(ds)dt

=∫ ∫ c

−cℜ(cos(t(s− x)) + i sin(t(s− x))

it)µ(ds)dt

=∫ ∞

−∞2(∫ c

0

− sin(t(s− x))t

µ(ds))dt

=∫ x−δ

−∞. . .+

∫ x+δ

x−δ. . .+

∫ ∞

x+δ. . . =: I + II + III

• |I − πF (x− δ)| < ǫ ist klein fur c ≥ c0.

|I − πF (x− δ)| ≤ |∫ x−δ

−∞(2∫ c

0

− sin(t(s− x))t

dt− π)µ(ds)|

≤∫ x−δ

−∞||µ(ds) ≤ ǫ

Nach Lemma 81 fur c ≥ c0 und da x− s ≥ δ.• |III + π(1− F (x+ δ))| < ǫ.

Linke Seite ≤ |∫ ∞

x+δ

(2∫ c

0

− sin(t(s− x))t

dt+ π

)µ(ds)|

∫ ∞

x+δ| · |µ(ds) ≤ ǫ

Argumentiere wie in I.• |II| ≤ 2πǫ.

Die Folge an =∫ (n+1)πnπ

sin(t)tdt hat alternierendes Vorzeichen und ist be-

tragsmaßig fallend. Es gilt

∫ c

0

sin(t)

tdt =

N−1∑

n=0

an +∫ c

Nπ

sin(t)

tdt

mit N geeignet (N = ⌊c/π⌋). Hieraus folgt

0 ≤∫ c

0

sin(t)

tdt ≤

∫ π

0

sin(t)

tdt ≤ π


Damit

|II| ≤ |∫ x+δ

x−δ2∫ c

0

sin(t(s− x))t

dt)µ(ds)| ≤ 2π(F (x+ δ)− F (x− δ)) ≤ 2πǫ.

Eine Kombination I+II+III → πF (x−δ)−π(1−F (x+δ)) dieser Resultateergibt die Behauptung. q.e.d.

Bem: Viele Autoren benutzen die Umkehrformel

1/2− F (x) = limc→∞

1

2π

∫ c

−c

e−itx

itµ(t)dt

Im Beweis wird benutzt, daß der Imaginarteil wegen Symmetrie, Cosinus isteine gerade Funktion, formal 0 ist. Jedoch gabe es Schwierigkeiten mit derDefinition des Lebesgueintegrals, da t → |1

t| um 0 herum nicht integrierbar

ist.

Korollar 83 (Umkehrabbildung) Die Fouriertransformation ist eine in-jektive Abbildung von W-maßen auf IR in komplexwertige Funktionen. DieExponentialfunktionen x 7→ eitx, t ∈ IR, separieren die W-Maße.

Proposition 84 Die Summe von unabhangigen normalverteilten Zgn ist nor-malverteilt.

Bew: Es reicht obigen Satz fur zwei Zgn zu zeigen. Seien Xj , j = 1, 2 un-abhangig und N(mj, σ

2j ) verteilt. Dann ist die Fouriertransformierte von

X1 + X2 das Produkt eitm1−t2σ21/2eitm2−t2σ2

2/2 der einzelnen Fouriertransfor-mierten. Dies ist die Fouriertransformierte einer N(m1 + m2, σ

21 + σ2

2) Ver-teilung. Wegen der Eindeutigkeit der Umkehrfunktion ist dies das Resultat.q.e.d.

Analoges gilt fur die Poissonverteilung, Poi(λ) = eλ(t−1).

8.2 Stetigkeitssatz von Levy

Die Fouriertransformation liefert eine Bijektion zwischen den W-maßen undden Fouriertransformierten. Konvergenzbegriffe fur W-maße ubertragen sichzu Konvergenzbegriffen fur Fouriertransformierte und umgekehrt.

8.2. STETIGKEITSSATZ VON LEVY 105

Lemma 85 Sei µ ein endliches Maß auf IR und s, t reelle Zahlen. Dann gilti) |µ(s)− µ(t)|2 ≤ 2µ(IR)|µ(IR)− Re(µ(s− t))|ii) µ ist gleichmaßig stetig.iii) Fur 0 < a gilt

µ(−1

a,1

a)c) ≤ 1

ab

∫ a

0(µ(IR)− Re(µ(t)))dt

mit der Konstanten b = infy≥1(1− sin yy).

iv) Sei M eine Familie von endlichen Maßen auf den reellen Zahlen mitsupµ∈M µ(IR) < ∞. Dann ist M straff genau dann wenn die Familie M :=µ | µ ∈M gleichgradig gleichmaßig stetig ist.

Beweis: In den ersten 3 Aussagen konnen wir oEdA µ(IR) = 1 nehmen.Die Jensenungleichung ergibt

|µ(s)− µ(t)|2 ≤(∫|eisx(1− ei(t−s)x)|µ(dx)

)2

≤∫|1− ei(t−s)x|2µ(dx) =

∫(2− 2Re(ei(t−s)x))µ(dx)

= 2(1−Re(µ(t− s))) = 2|1−Re(µ(t− s))|ii) Folgt direkt aus i).

iii) Beachte 1− sin(x)x≥ 0 fur alle x ∈ IR.

1

a

∫ a

0(1− Re(µ(t)))dt =

1

a

∫ a

0

∫(1− cos(tx))µ(dx)dt

=∫ (

1

a

∫ a

0(1− cos(tx))dt

)µ(dx)

=∫(1− sin(ax)

ax)µ(dx)

≥∫

|xa|≥11(1− sin(ax)

ax)µ(dx)

≥ infy≥1

(1− sin(y)

y)µ((−1

a,1

a)c)

≥ bµ((−1

a,1

a)c)

iv) Hinrichtung: Zu ǫ > 0 wahle eine kompakte MengeK mit supn µn(Kc) <

ǫ.

|µ(s)− µ(t)| ≤∫|eisx − eitx|µ(dx) ≤

∫|1− eix(t−s)|µ(dx)


≤∫

K. . .+

∫

Kc. . . ≤ sup

|y|≤δ|1− eiy|µ(K) + 2µ(Kc)

Der zweite Term ist klein fur K groß gleichmaßig in µ. Der erste ist klein furfestes K und kleines δ ≥ supx∈K |x(t− s)| glm. in µ.

Ruckrichtung. Mit der Aussage iii) reicht es zu zeigen supµ∈M sup|t|<δ ‖µ(0)−ℜ(µ(t))| konvergiert mit δ → 0 gegen 0. Dies ist richtig.

q.e.d.

Satz 86 (Stetigkeitssatz von Levy) (i) Sei µn, n ∈ IN, eine Folge vonW-Maßen auf den reellen Zahlen schwach konvergent gegen ein W-Maßµ. Dann konvergieren die CF (Fouriertransformierten) µn gleichmaßigauf Kompakta gegen µ.

(ii) Sei µn, n ∈ IN, eine Folge von W-Maßen mit µn konvergiert punktweisegegen eine Funktion ϕ : IR 7→ CI, die stetig in 0 ist und ϕ(0) = 1 erfullt.Dann existiert ein W-Maß µ mit µn konvergiert in Verteilung gegen µund µ = ϕ.

Beweis: Wir mussen zeigen:

∀K ⊂ IR kompakt∀ǫ > 0 ∃n0 ∈ IN ∀n ≥ n0 ∀t ∈ K : |µn(t)− µ(t)| < ǫ.

Die schwache Konvergenz impliziert die punktweise Konvergenz der Folge µngegen µ. Die Familie µn, n ∈ IN, ist gleichmasig gleichgradig stetig. Zu vor-gegebenem K wahle ein δ-Netz (ti)i in K. (Dies sind endlich viele Elementeti ∈ K mit supt∈K infi |t− ti| < δ.) Dann argumentiere

|µn(t)− µ(t)| ≤ |µn(t)− µn(ti)|+ |µn(ti)− µ(ti)|+ |µ(ti)− µ(t)|

Der erste und dritte Term sind beliebig klein in δ gleichmaßig in n. Der zweiteTerm ist beliebig klein fur n hinreichend groß gleichmaßig in ti.

Ruckrichtung. • µn, n ∈ IN, ist straff.Sei b := sup|y|≥1(1− sin(y)

y) > 0.

lim supn

µn([−1/a, 1/a]c) ≤ lim supn

1

ab

∫ a

0lim sup

n(1−Re(µ(t)))dt

=1

ab

∫ a

0(1−Re(ϕ(t))dt→a→0 0

• Es gibt ein W-Maß µ mit µ = ϕ.

8.2. STETIGKEITSSATZ VON LEVY 107

Nach Helly-Bray 19 hat jede straffe Familie µn, n ∈ IN, von W-Maßen

eine verteilungskonvergente Teilfolge µnjD→j µ, nj →j ∞. Der erste Teil des

Satzes besagt µ = ϕ und damit ist µ ein W-maß.

• µn D→n µ.Angenommen dies gilt nicht. Dann gibt es eine stetige beschrankte Funk-

tion f und eine (andere) Teilfolge nj → ∞ mit∫fdµnj konvergiert, aber

nicht gegen∫fdµ. Nach Helly-Bray gibt es eine Teilteilfolge, die gegen ein

W-Maß ν 6= µ konvergiert. Aus ν = ϕ = µ und der Eindeutigkeit der Fou-riertransformierten folgt ν = µ. Widerspruch. q.e.d.

8.2.1 Differenzierbarkeit und Momente

Satz 87 (Differenzierbarkeit und Momente) Sei X eine Zg. Es gilt

• Ist E|X|n <∞, so ist X n-fach stetig ableitbar mit der l-ten Ableitung,0 ≤ l ≤ n

DlX(t) = E((iX)leitX)

• Ist E(X2) <∞ so gilt

X(t) = 1 + itEX − t2

2E(X2) + ǫ(t)

mit ǫ(t) = o(|t|2).

• Sei h ∈ IR und limn→∞|h|nE(|X|n)

n!= 0. Dann gilt fur alle t ∈ IR

X(t+ h) =∞∑

l=0

(ih)l

l!E(eitXXk)

• Die Anforderungen an h sind erfullt unter E(e|hX|) <∞.

Bew: i) Wir fuhren eine Induktion nach n. Der Induktionsschritt n→ n+ 1ist

DnX(t+ h)−DnX(t) = E((iX)n)eiXt(eiXh − 1)

|DnX(t+ h)−DnX(t)||h| ≤ E(|(|X|)n) |1− e

iXh||h| | ≤ E|X|n+1


Damit konnen wir dominierte Konvergenz anwenden und erhalten die Be-hauptung.

Die Stetigkeit der Ableitung ist einfach.ii) Verwende Taylor.iii) Verwende Taylor die Taylorentwicklung von X bis zu n− 1 mit dem

Restterm rn−1,t,h und Zwischenstelle ξ

|rn−1,t,h| ≤|h|nn!|E(DnX(ξ)| ≤ |h|

n

n!E(|X|n)→n 0

iv) Klarq.e.d.

Als Anwendung beweisen wir den ZGS.

Proposition 88 Sei (Xn)n eine Folge von uiv Zgn. mit 0 < EX21 < ∞.

Dann gilt der ZGS.

Bew: OEdA nehmen wir an EX = 0 und EX2 = 1.

EeitS∗n =

n∏

j=1

E(eitXj√n ) = En(e

it X√n )

= En(1 + itX√n+−t2X2

2n+ o(

t2

n))

= En(1− t2

2n+ o(

t2

n))→n e

− t2

2

q.e.d.

Korollar 89 (Momentenproblem) Sei X eine Zg mit

α = lim sup(E|X|n)1/n

n<∞

Dann ist X eine analytische Funktion mit Konvergenzradius mindestens 13α.

Insbesondere ist die Verteilung von X durch die Momente eindeutig bestimmt.

Bew: Wir verwenden die Stirlingsche Formel in der einfachen Form limnn!√

2nπ(ne)n

=

1 fur den Restterm rn einer Taylorentwicklung n− 1-Ordnung von X(t). Fur|h| ≤ 1

3αgilt

lim supn|rn| ≤ lim sup

n→∞E(|X|n) |h|

n

n!= lim sup

n

1√2πn

(E1/n(|X|n)

n)n|he|n

≤ lim supn

1√2πn

(α + ǫ

α

e

3)n = 0

8.3. CHARAKTERISIERUNG DER FOURIERTRANSFORMIERTEN109

fur ǫ hinreichend klein. q.e.d.

8.3 Charakterisierung der Fouriertransformier-

ten

Eine Funktion Γ : I× I 7→ CI, I eine Indexmenge, heißt positiv definit odernicht negativ definit falls fur alle endlichen Teilmengen J ⊂ I und fur jedeWahl aj ∈ CI, j ∈ J, gilt

∑

k,l∈JakΓ(k, l)al ≥ 0.

(z ist die konjugiert komplexe Zahl von z.) Die Funktion heißt strikt positivdefinit falls > 0 gilt fur jede Wahl nicht identisch 0.

Sei (I,+) eine Gruppe. Eine Funktion γ : I 7→ CI heißt positiv defi-nit(strikt) falls (k, l) 7→ γ(k − l) (strikt) positiv definit ist.

Satz 90 (Herglotz) Eine Folge γn ∈ CI, n ∈ ZZ, ist genau dann positivdefinit, falls es ein endliches Maß µ auf (0, 2π] gibt mit

γn =1

2π

∫

(0,2π]eintµ(dt).

Beweis: Hinrichtung. Fur n ∈ ZZ gilt

∫ 2π

0eintdt =

∫ 2π

0cos(nt)dt+ i

∫ 2π

0sin(nt)dt = 11n=02π.

Setze gm(t) :=∑mk,l=1 e

−ikteiltγk−l ≥ 0 und µm := gm2πm

dλ fur m ∈ IN undλ das Lebesguemaß auf (0, 2π].• µm, m ∈ IN, sind wohldefinierte, endliche Maße auf (0, 2π].Die Endlichkeit folgt aus:

µm((0, 2π]) =∫ 2π

0

1

2πm

m∑

k,l=1

e−ikteiltγk−ldt =m∑

k,l=1

1

mγk−l11l=k = γ0 ∈ IR

Erweitere die Maße auf das Kompaktum [0, 2π] durch µm(0) = 0. NachHelly-Bray gibt es eine Teilfolge mj →∞ mit µmj konvergiert in Verteilung


gegen ein endliches komplexwertiges Maß µ auf dem Kompaktum [0, 2π]. Dieserfullt

∫

[0,2π]eintµ(dt) = lim

j

∫

(0,2π]eint

1

2πmj

mj∑

k,l=1

e−ikteiltγk−ldt

= limj

1

mj

mj∑

k,l=1

γk−l11n−k+l=0 = limj

mj − nmj

γn = γn.

Als letztes verschieben wir die Masse auf 0 auf den Wert 2π. Definiere µ auf(0, 2π] mit der Borel σ-Algebra durch µ(A) = µ(A)+112π∈Aµ(0). Dies tut’s,∫[0,2π] e

intµ(dt) =∫(0,2π] e

intµ(dt).Ruckrichtung. Nachrechnen.

m∑

k,l=1

akγk−lal =∫(m∑

k=1

akeiktγk)

m∑

l=1

aleiltγlµ(dt)

=∫|m∑

k=1

akeiktγk|2µ(dt) ≥ 0.

q.e.d.

Satz 91 (Bochner) Eine komplexwertige Funktion g : IR 7→ CI ist genaudann die Fouriertransformierte eines W-Maßes, falls g stetig und positiv de-finit ist und g(0) = 1 gilt.

Beweis: Hinrichtung. g ist stetig und g(0) = 1. Die positive Definitheit rech-nen wir nach. Sei J eine endliche Menge in IR und ak ∈ CI fur k ∈ J.

∑

k,l∈Jakg(k − l)al =

∑

k,l∈J

∫ake

i(k−l)xalµ(dx)

=∫(∑

k∈Jake

ikx)∑

l∈Jaleilxalµ(dx)

=∫|∑

k∈Jake

ikx|2µ(dx) ≥ 0

Ruckrichtung. Fur festes n ist die Folge g( k2n), k ∈ ZZ positiv definit. Es

gibt ein W-maß µn auf (0, 2π] mit

g(k

2n) =

∫

(0,2π]eiktµn(dt).

8.3. CHARAKTERISIERUNG DER FOURIERTRANSFORMIERTEN111

Definiere das Maß νn auf (0, 2π] durch∫h(x)νn(dx) =

∫h(2nx)µn(dx)

fur positive meßbare Funktionen h.• νn+m( t

2n) = g( t

2n) fur m ≥ 0.

l.S. =∫ei

t2n

2n+mxµn+m(dx) =∫eit2

mxµn+m(dx) = g(t

2n)

• νn, n ∈ IN ist gleichgradig gleichmaßig integrierbar.Zu Zahlen s, t ∈ IR und gegebenem n ∈ IN verwenden wir k ∈ ZZ und

0 ≤ r < 1 eindeutig gegeben durch |s − t| = k2n

+ r2n. Wir verwenden die

allmeine Ungleichung

|ν(s)− ν(t)|2 ≤ 2(1− Re(ν(|s− t|)) ≤ 2|1− ν(|s− t|)

|νn(s)− νn(t)|4 ≤ (2(1− Re(νn(|s− t|)))2 ≤ 4|1− νn(|s− t|)|2

≤ 4|1− νn(k

2n) + νn(

k

2n)− νn(

k + r

2n)|2

≤ 8|1− νn(k

2n)|2 + 8|νn(

k

2n)− νn(

k + r

2n)|2

≤ 8|1− g( k2n

)|2 + 16(1− Re(νn(r

2n)))

= 8|1− g( k2n

)|2 + 16Re(1− g( r2n

))

Der zweite Term ist klein fur n hinreichend groß gleichmaßig in k. Der ersteist klein fur |s− t| klein gleichmaßig fur große n.• Es existiert eine Teilfolge nk →∞ mit νnk konvergiert punktweise gegen

ein h.Dies folgt aus dem Satz von Arzela-Ascoli.• h ist stetigDie konvergente Folge ist gleichmaßig stetig.• h = g.h und g stimmen auf der dichten Menge k

2n| k ∈ ZZ, n ∈ IN uberein.

Beide Funktionen sind stetig.Mit dem Stetigkeitssatz gibt es ein W-maß ν mit ν = h = g. q.e.d.


8.4 Unbegrenzt teilbare Verteilungen

Seien µ, ν Maße auf einer kommutativen Gruppe (Ω,+) und + meßbar. DieFaltung µ ∗ ν der Maße ist ein Maß definiert durch

µ ∗ ν(A) :=∫ ∫

11A(x+ y)µ(dx)ν(dy)

fur meßbare Mengen A ∈ A. Die Operation Faltung ist kommutativ, µ ∗ ν =ν ∗ µ und assoziativ (µ ∗ ν) ∗ ρ = µ ∗ (ν ∗ ρ). Die Faltung von W-maßen istein W-maß. Wir benutzen ν∗n fur die n-fache Faltung von ν mit sich selbst.

Die Familie der Gaussverteilungen und die Familie der Poissonverteilungzeichnen sich besonders aus durch die Abgeschlossenheit bzgl. der Faltung.

G(m1, σ1) ∗G(m2, σ2) = G(m1 +m2, σ1 + σ2)

Poi(λ1) ∗ Poi(λ2) = Poi(λ1 + λ2)

Es gibt noch mehr Familien abgeschlossen bzgl. Faltung, wie die Familie dersymmetrischen Cauchyverteilungen, Verteilungen zum Paramter a > 0 mitDichte x 7→ a

π(a2+x2)bzgl. dem Lebesguemaß auf IR.

Cau(a1) ∗ Cau(a2) = Cau(a1 + a2)

In W-theoretischer Sprache, die Verteilung der Summe zweier unabhangigerZgn mit Verteilungen in der Familie ist wieder in der Familie.

Die Studie solcher Familien fuhrt auf wichtige Verteilungen, unbegrenztteilbare und stabile Verteilungen.

8.4.1 Unbegrenzt teilbare Verteilungen

Ein Maß µ auf IR heißt unbegrenzt teilbar oder unendlich oft teilbarfalls es fur jedes n ∈ IN ein Maß µn gibt mit µ∗n

n = µ.Eine charakteristische Funktionen µ heißt unbegrenzt teilbar, falls µ

es ist. Eine Zgn X heißt unbegrenzt teilbar, falls die Verteilung es ist. D.h.zu jedem n gibt es uiv Zgn Xn,1, Xn,2, . . . , Xn,n mit

XD= Xn,1 +Xn,2 + . . .+Xn,n

Ist ein endliches Maß µ unbegrenzt teilbar, so auch das W-maß µµ(IR)

. Daherbeschranken wir uns auf die Menge Mu der unbegrenzt teilbaren W-maßeund auf charakterische Funktionen CFW von W-maßen.

8.4. UNBEGRENZT TEILBARE VERTEILUNGEN 113

Wie sieht es mit der Eindeutigkeit aus? Es gibt Beispiele von CFW ϕ, ψund n ∈ IN mit ϕ 6= ψ und ϕn = ψn ([12] Seite 329). Fur eine unbegrenztteilbare Verteilung µ hat die CF µ keine Nullstelle. Die Polardarstellungµ = reiψ mit stetigen Funktionen r, ψ und r > 0, ψ(0) = 0 ist dann eindeutig.

Damit ergibt sich µn eindeutig als r1/neiψn .

Proposition 92 Eine unbegrenzt teilbare CF eines endlichen Maßes hat kei-ne Nullstelle.

Bew: Sei ϕ die unbegrenzt teilbare CF und ϕn mit ϕ = ϕnn. OEdA seien allesCF zu W-maßen.• Fur jedes t ∈ IR konvergiert |ϕn(t)| in n gegen 1 falls |ϕ(t)| > 0 gilt und

gegen 0 falls |ϕ(t)| = 0 gilt.Die Teilbehauptung folgt aus |ϕ(t)| = |ϕn(t)|n.• Die CF |ϕn|2 konvergiert punktweise gegen eine CF.Mit t 7→ ϕn(t) ist auch t 7→ ϕn(−t) eine CFW und damit auch das Pro-

dukt t 7→ ϕ(t)ϕ(−t) = |ϕ(t)|2. Das Produkt konvergiert punktweise und derGrenzwert ist stetig in 0. Nach dem Stetigkeitssatz von Levy ist der Grenz-wert uberall stetig. Da er die Werte 0 oder 1 annimmt, ist der Grenzwerteine Konstante. Dies kann nur 1 sein. q.e.d.

Hier einige Beispiele fur unbegrenzt teilbare Verteilungen.

• Punktmaße δb, b ∈ IR mit CFW t 7→ eibt

• Gaussverteilung G(m,σ),m ∈ IR, σ2 > 0 mit CF t 7→ eitm−σ2t2

2

• Poissonverteilung Poi(λ), λ > 0 mit CF t 7→ eλ(eit−1)

• Cauchyverteilung Cau(a), a > 0, mit CF t 7→ e−a|t|

• Negative Binomialverteilung Neg(r, p), r > 0, 0 < p ≤ 1 mit CFt 7→ ( p

1−(1−p)eit )r

• Die Bernoulliverteilung ist nicht unendlich oft teilbar.

Eine weitere große Klasse von unbegrenzt teilbaren W-maßen sind die zu-sammengesetzten Poissonverteilungen (compound Poisson distributions CPoi).Die CF einer Poissonverteilung zum endlichen Maß ν ist

Poi(ν) := e−ν(IR)∑

k

ν∗k

k!


mit der CFWPoi(ν)(t) = e

∫(eitx−1)ν(dx)

Insbesondere ist diese unbegrenzt teilbar, da

Poi(ν1)Poi(ν2) = Poi(ν1 + ν2)

gilt. In Termen von Zgn, seien Y,X1, X2, X3 . . . unabhangig, Y habe einePoissonverteilung zum Parameter λ = ν(IR) und die X seien verteilt nachdem W-maß ν = ν

λ. Sei Sn die n-te Partialsumme. Dann hat SY eine zusam-

mengesetzte Poissonverteilung Poi(ν).

EeitSY = e−λ∑

k

λk

k!EeitSk = e−λ

∑

k

λk

k!ϕkX(t)

= e−λeλϕX(t) = eλ∫(eitx−1)ν(dx) = ϕPoi(ν)(t)

Als Beispiele betrachten wir

• Poi(δ1)=Poi(1)

• Poi(λδλ)=Poi(λ)

• Neg(r, p)=Poi(rν) mit ν(k) = (1−p)kk

, k ∈ IN0.

• Poi(rν)−1r

→r→0 ν punktweise

Poi(rν)(A)− 1

r=e−rν(IR) − 1

r+

∞∑

k=1

rkν∗k(A)

rk!→r ν(A)

Wir verwenden µ∗r, r > 0, falls existent, fur das W-maß mit CFW (µ)r.

Proposition 93 Sei µ ∈Mu.

• Die Menge Mu der unbegrenzt teilbaren W-maße enthalt alle zusam-mengesetzten Poissonverteilungen.

• Mu ist abgeschlossen bzgl. Verteilungskonvergenz.

• Die W-maße µ∗r, r > 0 sind in Mu und bilden eine Halbgruppe

µ∗r ∗ µ∗s = µ∗(r+s)

von unbegrenzt teilbaren Verteilungen.


• ln µ = limn n(µ∗ 1n − 1) punktweise

• µ ist ein Verteilungsgrenzwert von zusammengesetzten Poissonvertei-lungen.

Bew: i) Klar. ii) SeiMu ∋ µm → µ eine gegen das W-maß µ konvergente Folge

aus Mu. Dann konvergiert µm punktweise gegen µ. Die CFW ϕm,n := elnϕmn

erfullt µm = ϕnm,n. Der Grenzwert in m

ϕm,n = eln µmn →m e

ln µn

ist die n-te Wurzel aus µ.iii) Fur r ∈ IN folgt dies sofort aus der Definition. Fur rationale r = m

n

tut es µ∗r = emln µn . Fur irrationale approximiere r durch rationale rn und

µ∗rn = ern ln µ →n erµ ist nach dem Stetigkeitssatz von Levy eine CFW. Alle

sind in Mu und die Halbgruppeneigenschaft gilt.iv) Fur eine Folge zn ∈ CI gilt

limn

ln(zn − 1) = limnn ln zn

sofern eine der Grenzwerte existiert und endlich ist. Fur die Hinrichtungverwende die Ungleichung

| ln(z)− (z − 1)| ≤ |z − 1|2

fur |z − 1| ≤ 1/2. Fur die Ruckrichtung verwende |ez − 1 − z| ≤ c|z|2 furein c > 0 in einer Umgebung der 0. (Beide Abschatzungen folgen aus derReihenentwicklung.)

Eine Anwendung liefert die Aussage unter Berucksichtigung dass µ keineNullstelle hat.

v) Dies ist eine direkte Folgerung aus iv)

en(µ∗1/n(t)−1) →n= eln µ(t) = µ(t)

q.e.d.Fur den folgenden Satz benutzen wir die Laplacetransformierte

(L(µ))(t) :=∫e−tXµ(dx)

t ≥ 0 fur Maße, wenn immer wohldefiniert.


Satz 94 Es gibt eine Bijektion zwischen den unbegrenzt teilbaren W-maßenµ auf den positiven reellen Zahlen und Tupeln (b, ν). Hierbei ist b ∈ IR+ undν ein Maß auf (0,∞) mit

∫1 ∧ xν(dx) < ∞. Diese kann gegeben werden

durchL(µ)(t) = e−tb+

∫(1−e−tx)ν(dx) (8.1)

Bew: • (b, ν)→Mu ist wohldefiniert.OEdA sei b = 0. Das Integal uber ν ist wohldefiniert wegen 1− e−x ≤ x.

Wahle eine gegen ν aufsteigende Folge νn von endlichen Maßen. Die Poisson-verteilungen Poi(νn) konvergieren in Verteilung gegen ein unbegrenzt teilba-res W-maß. Dieses tut’s.• Surjektivitat.Sei µ ∈ Mu. Dann ist µ ein Verteilungsgrenzwert einer Folge zusammen-

gesetzter Poissonverteilungen Poi(νn). Die νn sind endliche Maße auf [0,∞)mit νn(0) = 0. Wegen

− lnL(µ)(t) = limn

∫(1− e−tx)νn(dx)

konvergiert un(t) :=∫(1 − e−tx)νn(dx) gegen einen endlichen Grenzwert,

genannt u(t). Das Maß νn(dx) = (1−e−xun(1)

νn(dx) ist ein W-maß mit Laplace-transformierten

L(νn)(t) =un(t+ 1)− un(t)

un(t)→n

u(t+ 1)− u(t)u(t)

fur jedes t ≥ 0. Damit ist der Grenzwert eine Laplacetransformierte einesW-maß auf IR+, genannt ν. Dann tun es

ν(dx) :=u(1)

1− e−x11(0,∞)ν(dx)

und b = ν(0)u(1).Betrachte die stetige beschrankten Funktionen ft, t ≥ 0 auf IR+

ft(x) :=1− e−tx1− e−x

x > 0 mit der stetigen Erganzung ft(0) := limx→0 ft(x) = t.∫(1− e−tx)νn(dx) = un(1)

∫ft(x)νn(dx)→n u(1)

∫ft(x)ν(dx)

= u(1)ft(0)ν(0) +∫(0,∞)(1− e−tx)ν(dx)


• Eindeutigkeit.Angenommen fur (b1, ν1) 6= (b2, ν2) haben wir Gleichheit

−tb1 +∫(1− e−tx)ν1(dx) = −tb2 +

∫(1− e−tx)ν2(dx)

fur alle t > 0. Teile beide Seiten durch t und lasse t gegen 0 konvergieren.Dies zeigt b1 = b2.

Betrachte die W-maße νj(dx) =1−e−xc

νj(dx) mit c =∫(1− e−x)ν1(dx) =∫

(1−e−x)ν2(dx). Eine kurze Rechnung zeigt L(ν1) = L(ν2) und damit ν1 = ν2bzw. ν1 = ν2. q.e.d.

Wie sehen die zugehorigen W-maße bzw. Zgn zu (b, ν) aus? Die MengenIl := (1

l, 1l−1

], l ∈ IN mit 1t= ∞ bilden eine Partition von (0,∞). Seien

Xl, l ∈ IN unabhangige Zgn mit Xl ist zusammengesetzt Poi(νl) poissonver-teilt mit νl die Einschrankung von ν auf Il. Dann tut’s

b+X1 +∞∑

l=2

Xl

Alle Terme sind positiv und die Summe existiert. Sie ist f.s. endlich, da derErwartungswert endlich ist.

Nun zum allgemeinen, reellen Fall. Ein Tripel k = (b, σ2, ν) mit b ∈IR, σ2 ≥ 0, ν einem Maß ν auf IR\0 mit

∫(1 ∧ x2)ν(dx) < ∞ heißt Levy-

Khinchin Tripel oder auch kanonisches Tripel . Die Levy-Khinchin Dar-stellung zu einem LK-Tripel k ist

ψk(t) = ibt− σ2t2

2+∫(eitx − 1− itx11|x|<1)ν(dx) (8.2)

Obige Formel ψk bzw. Darstellung heißt Levy-Khinchin Formel oder Levy-Khinchin Darstellung .

Die Wohldefierheit von Obigem ergibt sich aus:

Proposition 95 Zu jedem LK-Tripel ist eψk eine unbegrenzt teilbare CFW.

Bew: Sei k = (b, σ2, ν) ein LK-Tripel. Die Mengen

Il = [− 1

l − 1,−1

l) ∪ (

1

l,

1

l − 1]


l ∈ IN mit 10

= ∞ bilden eine Partition von IR\0. Seien νl die Ein-schrankungen von ν auf Il. Seien Xl, Y, l ∈ IN unabhangige Zgn mit Xl habedie zusammengesetzte Poissonverteilung Poi(νl) und Y die GaussverteilungG(0, σ2). Dann hat

b+ Y +X1 +∞∑

l=2

(Xl − E(Xl))

die CFW ϕk = eψk . Die Summe ist f.s. endlich, da

Var∑

l≥2

(Xl − EXl) =∑

l≥2

Var(Xl) =∑

l≥

∫x2νl(dx) =

∫11|x|≤1x

2ν(dx) <∞

gilt.Die Summe unbegrenzt teilbarer Zgn ist unbegrenzt teilbar. q.e.d.Bem: Fur endliche Maße ν gilt

∫(eitx − 1)ν(dx) =

∫(eitx − 1− itx11|x|<1)ν(dx) + it

∫x11|x|<1ν(dx)

Fur nicht endliche Maße gilt allgemein:∫(eitx − 1 − itx11|x|<1)ν(dx) ist

wohldefiniert und stetig in 0 genau dann, wenn∫(1 ∧ |x|2)ν(dx) <∞ gilt.

Alle unbegrent teilbaren Verteilungen (CFW) haben ein Levy-KhinchinDarstellung.

Satz 96 Es gibt eine Bijektion zwischen unbegrenzt teilbaren W-maßen µund Levy-Khinchin Tripel k. Diese kann gegeben werden durch die Levy-Khinchin Darstellung (8.2)

ϕµ = eψk

Bew: Die obige Proposition zeigt die Abbildung k → µ ∈ Mu ist wohldefi-niert.

Definiere

ψ(t) = ψ(t)− 1

2

∫ t+1

t−1ψ(s)ds

und h(x) = 1− sin(x)x

fur x 6= 0. Sei h(x) = h(x)1∧x2 mit der Festsetzung h(0) = 1

6

und ν(dx) = h(x)(1∧x2)ν(dx). Man rechnet nach h > 0 und h ist stetig undbeschrankt mit

0 < 1− sin(1) ≤ h(x) ≤ 3

2


fur alle x ∈ IR.• ψb,σ2,ν(t) =

σ2

3+∫eitxν(dx)

Der bt-Term verschwindet, da∫ t+1t−1 sds = 2t gilt. Ebenso der t2σ2-Term

wegen∫ t+1t−1 s

2ds = 2t2 + 23. Damit erhalten wir

ψk(t)−σ2

3=∫eitx(1− 1

2

∫ 1

−1eistds)ν(dx) =

∫eitxh(x)ν(dx)

• Die Abbildung injektiv.Seien k1, k2 zwei LK-Tripel mit ψk1 = ψk2 . Wir erhalten mit obiger Nota-

tionψkj =

∫eitxh(x)νj(dx)

hangt nicht von j ab.Die Funktion gt(x) := eitx − 1− itx11|x|<1 erfullt

2 ≥∣∣∣∣∣

gt(x)

t2(1 ∧ x2)

∣∣∣∣∣→t→∞ 0

fur alle x 6= 0 und t ∈ IR. Dominierte Konvergenz liefert

∞lim−∞

gt(x)

t2(1 ∧ x2)(1 ∧ x2)ν(dx) = 0

und wir erhalten ψ(t)t2→t→∞= σ2

2. Daher sei oEdA σ2

1 = σ22 = 0

ψkj ist die CF des endlichen Maßes νj(dx). Damit gilt Gleichheit dieserMaße und auch Gleichheit von ν1 und ν2.

Jetzt ist es einfach b1 = b2 zu zeigen.• SurjektivitatJedes µ ∈ Mu laßt sich durch zusammengesetzte Poissonverteilungen

Poi(νn) mit endlichen Maßen νn approximieren. Eine zusammengesetzte Pois-sonverteilung Poi(νn) Verteilung hat die LK-Darstellung (bn, 0, νn) mit bn =∫x11|x|<1ν(dx). Mit der Notation ψ wie oben erhalten wir

ψ(bn,0,νn)(t) =∫eitxνn(dx)

Aus der Konvergenz von ψ(bn,0,νn) →n ψ = ln µ = ψ erhalten wir die punkt-weise Konvergenz auf der linken Seite. Die rechte Seite ist die CF des endli-chen Maßes νn und konvergiert punktweise gegen eine in 0 stetige Funktion


mit Funktionswert ψ(0) ≥ 0. Der Fall ψ(0) = 0 entspricht µ ein Punktmaß.Sei µ kein Punktmaß.

Nach dem Levyschen Stetigkeitssatz gibt es genau ein endliches Maß νauf IR mit νn konvergiert in Verteilung gegen ν.

Definiere das Maß ν(dx) = 1h(x)

ν(dx) auf IR\0. Setze σ2 = 6ν(0) undb = limn bn. Dann tut es das Tripel (b, σ2, ν).

Die Funktion x → ft(x) = gt(x)h(x)

ist stetig auf IR\0 und wird stetig

erganzt durch −3t2 fur t 6= 0 und 0 sonst.

limx→0

ft(x) = limxeitx − xx− sin(x)

= lim ... = −3t2

ψ(t) ←n ψ(bn,0,νn) =∫ft(x)νn + itbn

→n

∫ft(x)ν(dx) + itb

ψ(t) =∫gt(x)ν(dx)− 3t2ν(0) + itb

Dies zeigt auch b ist wohldefiniert. q.e.d.Bem:Wir konnen nicht b =

∫x11|x|<1ν(dx) setzen, da eventuell

∫x110<x<1ν(dx) =

∞ = − ∫ x11−1<x<0ν(dx) gilt. Das Integral ware nicht wohldefiniert im Le-besguesinne.

Bem: Zu einer unbegrenzt teilbaren Verteilung gibt es ein unabhangiges,asymptotisch venachlassigbares Schema mit Sn konvergiert in Verteilung da-gegen. Die Umkehrung gilt auch: Konvergiert das Sn eines unabhangigen,asymptotisch vernachlassigbaren Schemas gegen eine Verteilung, so ist dieseunbegrenzt teilbar.

8.4.2 Tschebyscheff-Markoff

Kapitel 9

Große Abweichungen

Heuristik: Konvergiert µn schwach gegen ein Punktmaß δp, ist p ∈ A und Aoffen, so konvergiert µn(A) gegen 1. Ist p nicht aus A und A abgeschlossen,so konvergiert µn(A) gegen 0. Aber wie schnell? Ublicherweise exponentiellschnell.

Das Standardbeispiel ist die Verteilung µn von Snn, wobei Sn die n-te

Partialsumme von uiv Zg ist. Wie verhalt sich P (Sn−ESnn

≥ a) fur a > 0?Sei µ(t) := E(e−tX), t ∈ IR, die Laplacetransformierte der Zg X mit

Verteilung µ. Der Einfachheit halber sei µ(t) stets endlich. Beachte µ istunendlich oft differenzierbar mit (Dnµ)(t) = E((−X)ne−tX) ∈ IR und ln µist eine konvexe Funktion.

Definiere dieCramer Transformierte bzw. Fenchel-Legendre Trans-formierte I : IR 7→ [0,∞] zu µ durch

I(a) := inft≤0∈IR

(ln µ(t) + at)

I(a) ist wohldefiniert, da der rechte Term 0 wird fur t = 0. Das Infimum in twird angenommen fur ein t ≤ 0. (Zeige hierzu die Funktion t 7→ ln µ(t) + atist konvex und hat eine positive Ableitung in t = 0.

D(ln µ(t) + at)|t=0 =

(−EXe−tX

µ(t)+ a

)|t=0 = −EX + a ≥ 0.

Die Konvexitat folgt aus einer positiven zweiten Ableitung

DD(ln µ(t) + at) = D(−E(XetX)

µ(t)+ a) =

E(X2e−tX)

µ(t)− E2(Xe−tX)

µ2(t)

=E(e−tX)E(X2e−tX)− E2(Xe−tX)

µ2(t)≥ 0.

121

122 KAPITEL 9. GROSSE ABWEICHUNGEN

(Wir haben hier die Cauchy-Schwarz Ungleichung verwendet).

Satz 97 (Große Abweichungen) Seien Xn, n ∈ IN, unabhangige Zgn mitVerteilung µ und die Laplacetransformierte sei stets endlich. Dann gilt furdie n-te Partialsumme Sn =

∑i≤nXi und a > E(X)

limn

lnP (Sn ≥ an)

n= I(a)

√n(lim

n

lnP (Sn ≥ an)

n− I(a)) = 0

Beweis: OEdA seien die Zgn zentriert und keine Konstanten. Die obereAbschatzung fur beide Aussagen folgt aus der Markoffungleichung fur dasje-nige t ≤ 0 mit D ln µ(t) + a = 0, d.h. I(a) = ln µ(t) + at.

Ee−tSn = En∏

i=1

e−tXi =n∏

i=1

µ(t) = µn(t)

lnP (Sn ≥ an)

n≤ 1

nlnEe−tSn

e−tan= ln µ(t) + at = I(a)

Durch Infimumsbildung folgt die Teilaussage.Nun zur unteren Abschatzung. Definiere das W-maß Qn durch

∫fdQn =∫

f e−tSnµn(t)

dP fur alle meßbaren positiven Funktionen f und alle n. BeachteX1, X2, . . . , Xn sind unabhangig identisch veteilt unterQn und haben dieselbeVerteilung wie X1 = X unter Q1. (Nachrechnen.) Es gilt

EQn(Xi) = EQ1(X) = EP (Xe−tX

µ(t)) = D ln µ(t) = −a

EQn(X2i ) = EQ1(X

2) = EP (X2 e

tX

µ(t)) =

D2µ(t)

µ(t)=: σ2 ∈ (0,∞)

Wir erhalten fur c > 0

P (Sn ≥ an) = EP (1Sn≥an) = EQn(11Sn≥anµn(t)e+tSn)

≥ µn(t)e+t(an+c√n)EQn110≤Sn−an≤c

√n

Nach dem ZGS konvergiert EQn110≤Sn−an≤cσ√n gegen Φ(c) − 1/2 > 0. Dies

ergibt

lnP (Sn ≥ an)

n= ln µ(t) +

tc√n+ lnEQn110≤S∗

n≤ cσ

n→n I(a)

123

Nun zur unteren Schranke der zweiten Aussage.

√n(lim

n

lnP (Sn ≥ an)

n− I(a)) ≥ tc+

1√nlnEQn110≤S∗

n≤cσ →n tc→c→0 0

q.e.d.

124 KAPITEL 9. GROSSE ABWEICHUNGEN

Kapitel 10

diverses

10.0.3 m-abhangige Zufallsgroßen

Eine Folge von Zgn Xn, n ∈ IN heißt m-abhangig , falls fur alle n ∈ INdie Zgn (X1, X2, . . . , Xn) unabhangig sind von (Xn+k+1, Xn+k+2, . . .). Andersformuliert, die σ-Algebren Fn0 , F∞

n+m sind unabhangig fur alle n ∈ IN. Hierbeibenutzen wir F lk als die kleinste σ-Algebra erzeugt von Xk+1, Xk+2, . . . , Xl. ldarf den Wert ∞ annehmen.

Ein stationarer Prozess ist eine Folge Xn, n ∈ IN von Zgn mit (Xi)i∈Ihat dieselbe Verteilung wie (Xi+j)i∈I fur alle j ∈ IN und endliche TeilmengenI der naturlichen Zahlen.

Interessant fur stationare Prozesse sind die Covarianzen γ(n) = Cov(X1, Xn+1)und die Varianzen σ2

n = Var(X1 + . . .+Xn).

Satz 98 (ZGS fur m-abhangige Zgn) Sei Xn, n ∈ IN ein stationarer,m-abhangiger Prozess mit endlichen Kovarianzen γ(l) = E(XnXn+l) < ∞fur alle n ∈ IN, l ∈ IN0. Dann gilt fur die Partialsumme Sn =

∑nj=1Xj der

zentrale GrenzwertsatzSn√nv

D→n N(0, 1)

mit v = γ(0) + 2∑ml=1 γ(l).

Beweis: OEdA seien die Xi zentriert. Einfaches Ausrechnen liefert VarSn =nγ(0) + 2

∑nl=1(n − l)γ(l). Beachte γ(l) = 0 fur l > m. Dies impliziert

Var Sn√n→n→∞ v.

125

126 KAPITEL 10. DIVERSES

Wir betrachten jetzt grose Blocke der Lange k > 2m getrennt durchBlocke der Lange m. Definiere Tn =

∑nr=1 S

k(r+1)−mrk mit

Sba = Xa+1 +Xa+2 + . . .+Xb.

Die Zgn Sk(r+1)−mrk , r ∈ IN sind unabhangig. Es gilt der ZGS

Tn√n(k −m)

D→n N(0,VarSk−mk −m )

D→k→∞ N(0, v).

(Die zweite Aussage folgt durch Rechnung.)Betrachte die Differenz

Sn − Tnk−1 =

n/k∑

r=1

Srk+krk+k−m)) = I

fur n/k eine naturliche Zahl. (Ansonsten gibt es Restterme, die leicht zubehandeln sind, hier aber nur storen.) Die Tchebycheffungleichung, die Dif-ferenz ist eine Summe von iid Zgn, liefert I√

nkonvergiert stochastisch gegen

0.Damit ergibt sich

Sn√nv

=Tnk−1√nv

+Sn − Tn

k−1√

nv.

Die Konvergenz gegen die Standardnormalverteilung ergibt sich aus folgenderallgemeiner Tatsache:

XnD→n X, Yn

s→n 0⇒ Xn + YnD→n X

Lasse zuerst n gegen ∞ streben und dann k. Dies ergibt die Behauptung.q.e.d.

Beispiel: Seien Zn, n ∈ ZZ uiv Zgn mit Erwartungswert 0 und Varianz0 < σ2y∞. Definiere

Xn =m∑

j=0

θjZn−j.

Hierbei sind θj reelle Koeffizienten mit θ0 = 1 und∑mj=0 6= 0. Die Folge (Xn)

ist m-abhangig undSn√n

D→n N(0, σ2(m∑

j=0

θj)2).

Die Bedingung∑mj=0 θj 6= 0 ist wichtig. Betrachte speziell m = 1 und

θ0 = 1 = −θ1. Der ProzessXn := Zn−Zn−1 ist 1-abhangig. Die PartialsummeSn = Zn − Z0 konvergiert in Verteilung ohne zusatzliche Normierung.

10.1. STATIONARE PROZESSE 127

10.1 Stationare Prozesse

10.1.1 Integrale bzgl. stationaren Prozessen

Sei Zt, t ∈ T ein Prozess mit unabhangigen, quadratintegrierbaren Zuwachsenund T ein Intervall. Sei µ das Maß definiert via

µ(a, b) = E(Zb − Za)2

fur alle a < b.Definiere das Integral

∫dZ zuerst fur eine Treppe g = 11(a,b), a < b, durch

∫gdZ =

∫g(t)dZt = Zb − Za.

Diese Abbildung erweitern wir linear zuerst auf alle Treppenfunktionen g =∑k akgk mit rellen Koeffizienten ak und Treppen gk.Nun zum Abschluß bezuglich konvergenter Folgen. Die Treppenfunktio-

nen bilden einen Prahilbertraum V1 mit der Bilinearform

< f, g >1=∫fgdµ

und der Norm ‖g‖1 :=∫g2dµ. Die Menge der Zgn

∫gdZ mit Treppenfunk-

tionen g bilden einen Prahilbertraum V2 mit der Bilinearform

<∫fdZ,

∫gdZ >2=< f, g >1

mit der Norm ‖ ∫ gdZ‖2 =∫g2dµ. Seien H1, H2 die Hilbertraume der Ab-

schlusse von V1, V2 bezuglich der jweiligen Norm.Die Abbildung

∫dZ ist ein Prahilbertraumisomorphismus von V2 nach V1.

Diesen erweitern wir stetig zum Hilbertraumisomorphismus∫dZ : H2 → H1.

Hintergrund ist das Lemma:Ein Tupel (X1, . . . , Xn) ist normalverteilt dann und nur dann, wenn jede

Linearkombination∑k akXk normalverteilt ist.

Satz 99 Sei X ein komplexwertiger Gausscher Prozess mit SpektralfunktionF. Dann existiert ein komplexwertiger, Gaussscher Prozess Zt, t ∈ (−π, π]mit unkorrelierten Zuwachsen, so daß die Abbildung

∫fdZ 7→ f


f : (−π, π]→ CI,∫ffdF <∞ ein Hilbertraumisomorphismus ist. Insbeson-

dere gilt

E(∫fdZ)(

∫gdZ) =

∫fgdF

und

Xn =∫eintdZt

fur alle n ∈ IN.

Beweis: Sei V1 der komplexe Vektorraum erzeugt von der Folge (Xn)n mitder Bilinearform

< Xm, Xn >1= EXmXn

versehen mit der zugehorigen Norm. Sei V2 der komplexe Vektorraum er-zeugt von allen Funktionen (−π, π] ∋ x 7→ einx, n ∈ IN versehen mit derBilinearform

< f, g >2=∫

(−π,π]f(x)g(x)F (dx)

und der dazugehorigen Norm. Sei Hi der Abschluß von ViDefiniere die Abbildung A : V1 → V2 durch Xn 7→ einI mit n ∈ IN und I

die Identitat. Dann erweitere die Abbildung linear durch

A(∑

k

akXk) =∑

k

akA(Xk).

• A ist wohldefiniert.Zu zeigen ist

∑k akXk = 0 impliziert alle ak = 0.

0 = ‖∑

k

akXk‖21 = E∑

k

akXk

∑

l

alXl

=∑

k

∑

l

akγ(k − l)al =∑

k

∑

l

ak

∫ei(k−l)xF (dx)al.

• A ist ein linearer, normerhaltender Vektorraumisomorphismus.Die Abbildung ist linear und bijektiv. Normerhaltung folgt aus

‖∑

k

akXk‖21 = E∑

k

akXk

∑

l

alXl =∑

k

∑

l

akγ(k − l)al

=∑

k

∑

l

ak

∫ei(k−l)xF (dx)al =

∫ ∑

k

akeikx∑

l

aleilxF (dx) = ‖∑

k

akeikI‖22.

10.1. STATIONARE PROZESSE 129

Erweitere A stetig zu einer Abbildung : H1 → H2. A ist ein Hilbertrau-misomorphismus. (H2 ist der Hilbertraum aller komplexwertigen meßbarenFunktionen f auf (−π, π] mit

∫f 2dF <∞.)

Definiere (Zt) als das Urbild von 11(−π,t]

Zt := A−1(11(−π,t].

Das Urbild von f ∈ H2 ist

A−1(f) =∫f(t)dZt.

(Beweis durch Approximation via Treppenfunktionen.)• ∫ fdZt 7→ A(

∫fdZ) = f bzgl. der jeweiligen Norm.

Dies ist richtig fur f eine Indikatorfunktion, dann auch fur eine Trep-penfunktion und schlie”lich fur alle Limiten von f in der entsprechendenHilbertraumnorm.• Xn =

∫eintdZt

Nach Konstruktion A(Xn) = einI und Xn = A−1(einI) =∫eintdZt.

Es verbleibt die Eigenschaften von Z zu zeigen.• Z ist ein komplexwertiger Gaussscher Prozess.Sei jetzt t1 < . . . < tn. Wir haben zu zeigen

∑k akZk ist normalverteilt.

Diese Summe kann ich im L2-raum beliebig gut durch eine Kombination∑k bkXk approximieren. Diese neue Summe ist normalverteilt. Der Grenzwert

(bzgl L2) normalverteilter Zgn ist normalverteilt.• Der Prozess Z hat unkorrelierte Zuwachse.Es ist zu zeigen fur t1 < t2 < t3 < t4 E(Zt2 − Zt1)(Zt4 − Zt3) = 0. Dies

ist offensichtlich da die linke Seite gleich dem Integral∫11(t1,t2]11(t3,t4]dF ist.

q.e.d.


Literaturverzeichnis

[1] M. Abramowitz und I. Stegun Handbook of Mathematical Functions withFormulas, Graphs, and Mathematical Tables. Dover Publications (ISBN0-486-61272-4)

[2] H. Bauer Wahrscheinlichkeitstheorie und Grundzuge der Maßtheorie DeGruyter, Berlin 1968

[3] P.J. Bickel and D.A. Freedman Some asymptotic theory for the bootstrap.Annals of Statistic 9 1196-1217, 1981.

[4] L. Breiman Probability ISBN-13: 978-0898712964 ISBN-10: 0898712963

[5] N. Dunford und J. Schwartz Linear Operators, Part I to III Wiley In-terscience 1988.

[6] K.J. Falconer The Geometry of Fractal Sets. Cambridge University Press1985

[7] W. Feller An Introduction to Probability Theory and Its ApplicationsISBN-13: 978-0471257080 ISBN-10: 0471257087

[8] P. Gaenssler und W. Stute, Seminar on empirical processes. DMV Se-minar, Bd. 9, Birkhuser Verlag.

[9] B.W. Gnedenko und A.N. Kolmogoroff Grenzverteilungen von Sum-men unabhngiger Zufallsgren. Akademie-Verlag, Berlin 1959 DOI:10.1002/bimj.19610030308

[10] Hahn-Rosenthal Set Functions Albuquerque, New Mexico 1948.

[11] P. R. Halmos Measure Theory Springer-Verlag 1974.

131

132 LITERATURVERZEICHNIS

[12] A. Klenke Wahrscheinlichkeitstheorie Springer ISBN 978-3-540-76317-8

[13] Kuipers und Niederreiter, Uniform distributions of sequences. Pure andapplied mathematics, Wiley, 1974.

[14] P. Major

[15] P. A. Meyer Probability and Potentials Waltham-Toronto-London 1966

[16] Pedersen Analysis Now Springer-Verlag 1988,

[17] V.V. Petrov Sums of independent random variables ISBN: 978-3-642-65811-2, 978-3-642-65809-9

[18] U. Roesler A limit theorem for ”Quicksort”. Informatique theorique etApplications/Theoretical Informatics and Applications 25 (1991), 85-100

[19] D.Sozanov

[20] Trotter, H.F. Elementary proof of the central limit theorem. Archiv derMathematik, 10 226-234, 1959.

[21] E.T. Whittaker and G.N. Watson A Course of Modern Analysis ISBN-10: 1438513909 ISBN-13: 978-1438513904

[22] V.M. Zolotarev Probability metrics Teor. Veroyatnost. i Primenen, 1983,28:4, 821

Index

[SatzZentraler Grenzwert-, 82

Beispielpaarweise unabhangig, 7

Cramer Transformierte, 121

DarstellungLevy-Khinchin, 117

DichteGauss-, 81Normal-, 81

DiffbarkeitFourier, 107

Fenchel-Legendre Transformierte, 121Formel

Levy-Khinchin, 117Stirling, 83

Funktioncharakteristische, 99

GausGeodater, 89

Gaussdichte, 81Gaussverteilung

standardisiert, 81Gesetz

Gesetz der Grosen Zahl, 55

integrierbar

p-gleichgradig, 31gleichgradig, 31gleichmasig, 31

kanonisches Tripel, 117Konvergenz, 23

Lp, 27lp, 37p-tes Mittel, 27fast sicher, 27schwach, 23stochastisch, 27vage, 24

konvex, 13

Laplacetransformierte, 121Legendre Transformierte, 121Levy

Satz, 106Lindeberg

Funktion, 92

m-abhaengig, 125Metrik

Totalvariation, 69Satz von De Moivre-Laplace, 83

nicht negativdefinit, 109

Normalverteilungstandardisiert, 81

Normierung

133

134 INDEX

standard, 82

positivdefinit, 109

Schema, 91separabel, 23standardisiert

Schema, 92Standardisierung, 82stationarer, 125straff, 24

TransformierteFourier, 99

trennend, 23Tripel

Levy-Khinchin, 117

UmkehrabbidllungFourier, 104

unabhangigSchema, 91

unabhangign-, 7

unbegrenztteilbar, 112

Unendlich oftteilbar, 112

vernachlassigbarSchema, 92

VerteilungGauss, 81Normal, 81vom reinen Typ, 46

Verteilungsfunktionempirische, 62Gauss, 81

Normal, 81

zentriertSchema, 91

Documents

Inhaltsverzeichnis · Gefälschte M unzen¨ Seien X1,X2 die Ergebnisse von zwei unabhängi-gen Wurfen einer eventuell gef¨ älschten M ünze. Die beiden Ereignisse X1 = 1, X1