42
Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 1 Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Kurzzusammenfassung

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

  • Upload
    others

  • View
    6

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 1

Zufallsexperimente, Zufallsvariable undStochastische Prozesse

Kurzzusammenfassung

Page 2: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 2

Zufallsexperimente

Ein Zufallsexperiment oder Zufallsversuch ist ein Experiment, dessen Durchfuhrung zufallsabhangige

(ungewisse) Resultate liefert und das sich im Prinzip unter gleichen Bedingungen (zumindest gedanklich)

beliebig oft wiederholen lasst. Die moglichen Resultate eines Zufallsversuchs heißen auch Ergebnisse,

Ausgange oder Resultate. Beispiel: Werfen eines (fairen) Wurfels.

Ein mogliches Resultat eines Zufallsexperiments heißt Ergebnis und wird im Folgenden mit ω bezeich-

net. Die moglichen Ergebnisse des Experiments “Wurfel” sind die Augenzahlen ω1 =“1”, ω2 =“2”, . . .,

ω6 =“6”.

Die Menge aller Versuchsausgange wird Merkmalraum oder Ergebnisraum genannt und mit Ω=ω be-

zeichnet. Fur den Wurfel ist der Ergebnisraum die Menge aller moglichen Augenzahlen,

Ω = “1”,“2”,. . .,“6”.

Jede Zusammenfassung von Ergebnissen stellt ein Ereignis dar. Beim Wurfelbeispiel sind mogliche

Ereignisse z. B.

A = ω1 Ereignis “Augenzahl 1”

A = ω1, ω3 Ereignis “Augenzahl ist 1 oder 3”

A = ω1, ω3, ω5 Ereignis “Augenzahl ist ungerade”

A = ω4, ω5, ω6 Ereignis “Augenzahl ist großer als 3”

Page 3: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 3

Sind die Ergebnisse eines Zufallsexperiments diskret wie z. B. beim Wurfel, so stellen die Ergebnisse selbst

Ereignisse dar, die sog. Elementarereignisse. Wenn es k Elementarereignissen ωi gibt, so lassen sich daraus

2k verschiedene Ereignisse Aj bilden (ein Ereignis kann ein Elementareregnis enthalten oder nicht ⇒ 2k

Moglichkeiten).

Die Ergebnisse eines Zufallsexperiments konnen andererseits auch kontinuierlich sein (kontinuierlicher

Merkmalraum), z. B. die Abtastung eines wertkontinuierlichen Signals. Ein mogliches Ergebnis ist beispiel-

sweise die Zahl 3.1436. . .. Das Intervall [3,4] stellt im Gegensatz dazu ein Ereignis dar. Genau den Wert

3.1436. . . wird man praktisch nie messen (die Wahrscheinlichkeit, exakt diesen Wert zu messen, ist gleich

null, wie im nachsten Kapitel deutlich wird); die Wahrscheinlichkeit fur das Ereignis [3,4], d. h. das der

Abtastwert eine Zahl zwischen 3 und 4 ist, ist dagegen i. a. von null verschieden. Das ist der Grund,

warum zwischen den Begriffen “Ergebnis” und “Ereignis” sorgfaltig unterschieden wird.

Ein Ereignis das nie auftreten kann, wird “unmogliches Ereignis” ∅ genannt. Die Wahrscheinlichkeit des

unmoglichen Ereignisses ist null, Prob∅=0.

Der Merkmalraum Ω (die Menge aller moglichen Ergebnisse) stellt das “sichere Ereignis” dar, d. h. das

Ereignis das immer auftritt. Die Wahrscheinlichkeit des sicheren Ereignisses ist gleich eins, ProbΩ=1.

Als komplementares Ereignis AC wird das Ereignis “A tritt nicht auf” bezeichnet. Es ist also

AC = ωi|ωi /∈ A.

Page 4: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 4

Aus zwei Ereignissen A und B lassen sich andere Ereignisse C durch folgende Verknupfungen gewinnen:

Vereinigung: C = A ∪ B = ωi | ωi ∈ A oder ωi ∈ B = ”Ereignis A oder Ereignis B (oder beide)

treten auf”.

Wurfelbeispiel: “Augenzahl ungerade” ∪ “Augenzahl>3” = ω1, ω3, ω5 ∪ ω4, ω5, ω6 =

ω1, ω3, ω4, ω5, ω6.

Durchschnitt: C = A ∩ B = AB = ωi | ωi ∈ A und ωi ∈ B = “Ereignis A und Ereignis B treten

gleichzeitig auf”.

Wurfelbeispiel: “Augenzahl ungerade” ∩ “Augenzahl>3” = ω1, ω3, ω5 ∩ ω4, ω5, ω6 = ω5.

Differenz: C = A \ B = ωi | ωi ∈ A und ωi /∈ B = “Ereignis A tritt auf und Ereignis B

tritt nicht auf”.

Wurfelbeispiel: “Augenzahl ungerade” \ “Augenzahl>3” = ω1, ω3, ω5 \ ω4, ω5, ω6 = ω1, ω3.

Zwei Ereignisse heißen disjunkt (unvereinbar, unvertraglich), wenn sie nie gleichzeitig auftreten konnen,

d. h. AB = ∅. Elementarereignisse sind immer disjunkt. Weiter gilt fur die Implikation A ⊂ B (A

entspricht einer Teilmenge von B) ωi ∈ A ⇒ ωi ∈ B.

Wurfelbeispiel: ω2, ω6 ⊂“Augenzahl gerade”.

Page 5: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 5

Ein sehr nutzliches Hilfsmittel zur Illustration ist das so genannte Venn-Diagramm, in welchem Ereignisse

durch Flachen dargestellt werden:

A B

Ω

Ω Ω

Ω Ω

Ω

Ω

A BAC

A

AB

B

A\B

BA

AB=∅

B

A⊂B

A ∪ B

Es gilt (vgl. Venn-Diagramm) ΩC = ∅, ∅C = Ω, AC = Ω \ A, (AC)C = A, A \ B = ABC,

A ∪ A = AA = A, A ∪ AC = Ω, AAC = ∅, A ∪ Ω = Ω, AΩ = A, A ∪ ∅ = A, A∅ = ∅.

Weiter gelten folgende Kommutativ-, Assoziativ- und Distributivgesetze: A ∪ B = B ∪ A, AB = BA,

A∪ (B∪C) = (A∪B)∪C, A(BC) = (AB)C, A∪ (BC) = (A∪B)(A∪C), A(B∪C) = AB∪AC,

A(B \ C) = AB \ AC, sowie die

De Morganschen Regeln (A ∪ B)C = ACBC, (AB)C = AC ∪ BC.

Page 6: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 6

Die Wahrscheinlichkeit ProbA eines Ereignisses A ist axiomatisch definiert, wobei folgende Eigen-

schaften (Axiome) gefordert werden (Kolmogoroff, 1933):

Axiom 1: 0 ≤ ProbA ≤ 1

Axiom 2: ProbΩ = 1

Axiom 3: AB = ∅ ⇒ ProbA ∪ B = ProbA + ProbB

Aus den Axiomen folgen weitere Eigenschaften der Wahrscheinlichkeit

Prob∅ = 0

A ⊂ B ⇒ ProbA ≤ ProbB

ProbAC = 1 − ProbA

ProbA = ProbAB + ProbABC

ProbA ∪ B = ProbA + ProbB − ProbAB ≤ ProbA + ProbB

ProbA \ B = ProbA − ProbAB

Page 7: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 7

Laßt sich ein Ereignis A als Vereinigung von paarweise disjunkten Ereignissen Ai darstellen,

A = A1 ∪ A2 ∪ . . . ∪ AK =

K⋃

i=1

Ai mit AiAj = ∅ fur i 6= j ,

dann gilt fur die Wahrscheinlichkeit von A

ProbA =K

i=1

ProbAi.

Die bedingte Wahrscheinlichkeit ProbA|B eines Ereignisses A unter der Bedingung B (das heißt

unter der Bedingung daß das Ereignis B bereits eingetreten ist), ist definiert als

ProbA|B =ProbAB

ProbBwobei ProbB 6= 0.

Aus dieser Definition ergeben sich unmittelbar die folgenden Regeln:

AB = ∅ (A,B disjunkt) ⇒ ProbAB = 0 ⇒ ProbA|B = 0

A ⊂ B ⇒ ProbAB = ProbA ⇒ ProbA|B = ProbA/ProbB ⇒ ProbA|B ≥ ProbA

B ⊂ A ⇒ ProbAB = ProbB ⇒ ProbA|B = 1

ProbA|A = 1, ProbA|Ω = ProbA, ProbΩ|B = 1, Prob∅|B = 0.

Page 8: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 8

Bayes Theorem: Aus der Definition fur die bedingte Wahrscheinlichkeit folgt fur die Verbundwahrschein-

lichkeit der Ereignisse A und B

ProbAB = ProbA|BProbB = ProbB|AProbA.(1)

Daraus ergibt sich das fur Berechnungen wichtige Bayessche Theorem

ProbB|A = ProbA|BProbB

ProbA, (ProbA 6= 0).(2)

Zwei Ereignisse A und B heißen statistisch unabangig, wenn ProbA|B = ProbA gilt. Fur die

Verbundwahrscheinlichkeit folgt daraus

ProbAB = ProbAProbB.

Gl.1 laßt sich auch auf K Ereignisse A1, A2, . . . , AK verallgemeinern (Kettenregel):

ProbA1A2 . . . AK = ProbAK|(AK−1AK−2 . . . A1) . . . ProbA3|(A2A1)ProbA2|A1ProbA1.

K Ereignisse A1, A2, . . . , AK heißen statistisch unabhangig, wenn ProbAi1Ai2 . . . Ain|Aj1Aj2 . . . Ajm =

ProbAi1Ai2 . . . Ain fur beliebige verschiedene Gruppen Ai1, Ai2, . . . , Ain und Aj1, Aj2, . . . , Ajm, die

kein Ereignis gemeinsam haben, gilt. Notwendig und hinreichend ist hier

ProbA1A2 . . . AK = ProbA1ProbA2 . . . ProbAK.

Page 9: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 9

Laßt sich das Ereignis A als Vereinigung von K disjunkten Ereignissen Ai darstellen, dann gilt

ProbA|B =

K∑

i=1

ProbAi|B with A =

K⋃

i=1

Ai, AiAj = ∅ for i 6= j.

Durch Anwendung des Bayesschen Theorems gilt umgekehrt

ProbB|A =1

ProbA

K∑

i=1

ProbB|AiProbAi =

K∑

i=1

ProbB|AiProbAi

K∑

i=1

ProbAi

.

Gilt nun speziell A = Ω, d. h.K⋃

i=1

Ai = Ω, ergibt sich der Satz von der vollstandigen Wahrschein-

lichkeit

ProbB =

K∑

i=1

ProbB|AiProbAi, bzw. ProbB =

K∑

i=1

ProbBAi.

Page 10: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 10

Zufallsvariable

Wenn man den Ergebnissen ω eines Zufallsexperiments durch eine Abbildung x = x(ω) eine reelle Zahl

zuordnet, erhalt man eine zufallige Zahl x, die Zufallsvariable genannt wird.

Ergebnisse des Zufallserxperiments werden auf Punkte der Zahlengerade abgebildet.

Den Ereignissen des Zufallsexperiments entsprechen dann Vereinigungen von Intervallen bzw. isolierter

Punkte der Zahlengerade, z. B.

A = ω|a ≤ x(ω) < b

B = ω|x(ω) = c

C = A ∪ B = ω|(a ≤ x(ω) < b) oder (x(ω) = c)

Disjunkte Ereignisse werden durch disjunkte (nicht uberlappende) Intervalle der Zahlengerade reprasentiert.

Page 11: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 11

Eine Zufallsvariable wird somit aus einem Zufallsexperiment mit Ergebnissen ω und einer Abbildung

x = x(ω) gebildet. Streng genommen ist daher eine Zufallsvariable keine Variable, sondern eine Funktion

(Abbildung) uber dem Merkmalraum Ω . In vielen Fallen liefern die Ergebnisse eines Zufallsexperiments

schon automatisch eine reelle Zahl (z. B. Wurfel); hier wird die Abbildung x = x(ω) inharent mitgeliefert.

In anderen Anwendungen muss diese Abbildung explizit definiert werden. Aus dem Zufallsexperiment “Wer-

fen einer Munze” mit den Ergebnissen ω1=“Kopf” und ω2=“Zahl” kann z. B. durch die vollig willkurliche

Festlegung x(ω1) = −1 und x(ω2) = +1 eine Zufallsvariable x gemacht werden.

Verteilungsfunktion und Verteilungsdichtefunktion

Bei einer Zufallsvariablen x entspricht jedem Intervall der Zahlengerade ein Ereignis A des zugrundeliegen-

den Zufallsexperiments. Die Wahrscheinlichkeit eines Intervalls ist daher durch die Wahrscheinlichkeit des

Ereignisses A gegeben. Man schreibt z. B.

ProbA = Proba ≤ x < b fur A = ω|a ≤ x(ω) < b.

Im weiteren wird auf das theoretisch zugrundeliegende Ereignis A nicht mehr Bezug genommen, sondern

nur noch von Wahrscheinlichkeiten von Intervallen gesprochen. Die Berechnung der Wahrscheinlichkeit

eines Intervalles erfolgt mit Hilfe der Verteilungsfunktion (cumulative distribution function) (CDF)

oder der Verteilungsdichtefunktion (probability density function) (PDF).

Page 12: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 12

Die CDF einer Zufallsvariablen x, Px(ξ), ist definiert als die Wahrscheinlichkeit des Intervalles

−∞ < x ≤ ξ, d. h. die Wahrscheinlichkeit dafur, daß die Zufallsvariable einen Wert kleiner oder gle-

ich ξ annimmt,

Px(ξ) = Probx ≤ ξ.(3)

Die PDF einer Zufallsvariablen x, px(ξ), ist die erste Ableitung der CDF

px(ξ) =d

dξPx(ξ) = lim

∆ξ→0

Probξ < x ≤ ξ + ∆ξ

∆ξ.(4)

Die CDF kann durch Integration der PDF berechnet werden,

Px(ξ) =

ξ∫

−∞

px(α)dα.

Eigenschaften der CDF:

Px(ξ) ≥ 0; Px(−∞) = 0; Px(∞) = 1; ξa < ξb ⇒ Px(ξa) ≤ Px(ξb);

Eigenschaften der PDF:

px(ξ) ≥ 0; px(−∞) = px(∞) = 0;

∞∫

−∞

px(ξ)dξ = 1;

Page 13: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 13

Eine Zufallsvariable x, die nur diskrete Werte xi mit Wahrscheinlichkeiten Probxi = Probx = xi

annimmt, heißt diskrete Zufallsvariable. Die CDF und PDF einer diskreten Zufallsvariable sind gegeben

durch

Px(ξ) =∑

i

Probxiǫ(ξ − xi) =∑

(xi≤ξ)

Probxi, px(ξ) =∑

i

Probxiδ(ξ − xi),

wobei ǫ(ξ) und δ(ξ) die Sprungfunktion und die Dirac-Funktion darstellen.

Die CDF ist eine Treppenfunktion mit Sprungen an den Stellen xi (Sprunghohe Probxi); die PDF

besteht aus Dirac-Impulsen an den Stellen xi mit Gewichten Probxi;

0 1 2 3 4 5 6

1

0 1 2 3 4 5 6ξ

Px(ξ)

1

6

ξ

px(ξ)

1

6

CDF und PDF einer diskreten Zufallsvariable (Wurfel)

Page 14: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 14

Eine Zufallsvariable, deren CDF stetig ist, wird kontinuierlich genannt. Im Falle einer kontinuierlichen

Zufallsvariable x ist die Wahrscheinlichkeit eines isolierten Punktes x0 stets null:

Probx = x0 = limε→0

Probx0 − ε < x ≤ x0 + ε = limε→0

[Px(x0 + ε) − Px(x0 − ε)]

= Px(x0) − Px(x0) = 0.

Die Wahrscheinlichkeit eines Intervalles der Zufallsvariable x, Proba < x ≤ b, kann gemaß

(a < x ≤ b) = (x ≤ b) \ (x ≤ a) durch die CDF bzw. PDF berechnet werden:

Proba < x ≤ b = Px(b) − Px(a) =

b∫

a

px(ξ)dξ.

Mehrdimensionale Zufallsvariable: Werden bei einem zusammengesetzten Zufallsexperiment mit

Ergebnissen (ω1ω2) mittels Abbildungen x1 = x(ω1), x2 = x(ω2) den Ergebnissen ω1 und ω2 der einzelnen

Zufallesexperimente reelle Zahlen x1 und x2 zugeordnet, erhalt man eine zweidimensionale Zufallsvariable

(x1, x2). Die Verbund-Verteilungsfunktion Px1,x2(ξ1, ξ2) ist definiert als die Wahrscheinlichkeit des zusam-

mengesetzten Ereignisses (ω1ω2)|(x1(ω1) ≤ ξ1), (x2(ω2) ≤ ξ2), d. h.

Px1,x2(ξ1, ξ2) = Probx1 ≤ ξ1 ∩ (x2 ≤ ξ2).

Page 15: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 15

x2

x1ξ1

ξ2 Illustration: (Verbund-) CDF einer zweidimensionalen Zu-

fallsvariable entspricht der Wahrscheinlichkeit der schraffierten

Flache

Die (Verbund-) PDF px1,x2(ξ1, ξ2) erhalt man durch Ableitung der (Verbund-) Verteilungsdichte

px1,x2(ξ1, ξ2) =

∂ξ1

∂ξ2Px1,x2

(ξ1, ξ2), Px1,x2(ξ1, ξ2) =

ξ1∫

−∞

ξ2∫

−∞

px1,x2(α1, α2)dα1dα2.

px1,x2(ξ1, ξ2) wird auch als Verbund-Verteilungsdichte der Zufallsvariablen x1 und x2 bezeichnet. Die

Wahrscheinlichkeit des Ereignisses (a1 < x1 ≤ b1) ∩ (a2 < x2 ≤ b2) kann mit Hilfe der (Verbund-) CDF

bzw. der (Verbund-) PDF berechnet werden:

Prob(a1 < x1 ≤ b1) ∩ (a2 < x2 ≤ b2) = Px1,x2(b1, b2) − Px1,x2

(a1, b2) − Px1,x2(b1, a2) + Px1,x2

(a1, a2)

=

b1∫

a1

b2∫

a2

px1,x2(α1, α2)dα1dα2.

Page 16: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 16

Eigenschaften der (Verbund-) CDF:

Px1,x2(ξ1, ξ2) ≥ 0

Px1,x2(−∞, ξ2) = Px1,x2

(ξ1,−∞) = 0 Px1,x2(∞,∞) = 1

Px1,x2(ξ1,∞) = Px1

(ξ1) Px1,x2(∞, ξ2) = Px2

(ξ2)

Eigenschaften der (Verbund-) PDF:

px1,x2(ξ1, ξ2) ≥ 0

px1,x2(±∞, ξ2) = px1,x2

(ξ1,±∞) = 0+∞∫

−∞

px1,x2(ξ1, ξ2)dξ2 = px1

(ξ1)

+∞∫

−∞

px1,x2(ξ1, ξ2)dξ1 = px2

(ξ2)

+∞∫

−∞

+∞∫

−∞

px1,x2(ξ1, ξ2)dξ1dξ2 = 1.

Die eindimensionalen PDFs (die sog. Randdichten) px1(ξ1) und px2

(ξ2) lassen sich durch Integration

nach der jeweils wegfallenden Variablen aus der zweidimensionalen PDF px1,x2(ξ1, ξ2) berechnen.

Page 17: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 17

Definition Beschreibung zweidimensionaler Zufallsvariable (x1, x2) lassen sich auf den allgemeinen Fall

N -dimensionaler Zufallsvariable (x1, x2, . . . , xN) erweitern. CDF und PDF sind dann N -dimensionale

Funktionen,

Px1,x2,...,xN(ξ1, ξ2, . . . , ξN) bzw. px1,x2,...,xN

(ξ1, ξ2, . . . , ξN).

Bedingte Verteilungsdichte: Analog zum Begriff der bedingten Wahrscheinlichkeit gibt es den Begriff

der bedingten PDF. Diese ist definiert als

px1|x2(ξ1|ξ2) =

px1,x2(ξ1, ξ2)

px2(ξ2)

.

Die bedingte Wahrscheinlichkeit Proba < x1 ≤ b|x2 = ξ2 laßt sich dadurch als Integral uber die

bedingte PDF anschreiben

Proba < x1 ≤ b|x2 = ξ2 =

b∫

a

px1|x2(ξ1|ξ2)dξ1.

Die bedingte PDF erfullt alle Eigenschaften herkommlicher PDFs,

px1|x2(ξ1|ξ2) ≥ 0, px1|x2

(±∞|ξ2) = 0,

+∞∫

−∞

px1|x2(ξ1|ξ2)dξ1 = 1.

Page 18: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 18

Analog zu den bedingten Wahrscheinlichkeiten gelten außerdem folgende Beziehungen:

px1,x2(ξ1, ξ2) = px1|x2

(ξ1|ξ2)px2(ξ2) = px2|x1

(ξ2|ξ1)px1(ξ1),

px2|x1(ξ2|ξ1) = px1|x2

(ξ1|ξ2)px2

(ξ2)

px1(ξ1)

(Bayes Theorem),

px1(ξ1) =

+∞∫

−∞

px1|x2(ξ1|ξ2)px2

(ξ2)dξ2 (Satz der vollstandigen Wahrscheinlichkeit).

Statistische Unabhangigkeit: Zwei Zufallsvariable heißen statistisch unabhangig, wenn die bedingte

PDF der einen Zufallsvariable gleich der “unbedingten” PDF ist und daher nicht von der Bedindung bzw.

der anderen Zufallsvariable abhangt,

px1|x2(ξ1|ξ2) = px1

(ξ1), px2|x1(ξ2|ξ1) = px2

(ξ2).

Die Verbung-PDF zweier statistisch unabhangiger Zufallsvariablen ist gleich dem Produkt der beiden

einzelnen PDFs:

px1,x2(ξ1, ξ2) = px1

(ξ1)px2(ξ2).

Page 19: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 19

!! Im allgemeinen reichen die einzelnen PDFs px1(ξ1) und px2

(ξ2) nicht aus, um zwei Zufallsvariable

vollstandig zu beschreiben, da sie nichts uber die statistischen Bindungen zwischen den Zufallsvariablen

aussagen. Diese statistische Bindungen werden durch die bedingten PDFs beschrieben. Eine vollstandige

Beschreibung zweier Zufallsvariable erfolgt durch die Verbund-PDF px1,x2(ξ1, ξ2) aus der man alle anderen

PDFs berechnen kann. Nur im Spezialfall zweier statistisch unabhangiger Zufallsvariablen liefern die

einzelnen PDFs px1(ξ1) und px2

(ξ2) eine komplette Beschreibung.

Erwartungswerte, schwache Beschreibung einer Zufallsvariable

Eine Zufallsvariable x ist durch ihre PDF px(ξ) vollstandig (streng) beschrieben. Diese Beschreibung

ist jedoch manchmal zu unhandlich, bzw. ist die PDF nicht immer verfugbar. Eine zweckmaßige (aber

unvollstandige) Charakterisierung einer Zufallsvariable ist durch die Momente erster und zweiter Ordnung

der PDF gegeben:

Mittelwert: Der (lineare) Mittelwert (bzw. Erwartungswert) mx einer Zufallsvariable x ist definiert

als das Moment erster Ordnung der PDF px(ξ),

mx =∼∼x =

+∞∫

−∞

ξpx(ξ)dξ.

Page 20: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 20

∼· ist der “Erwartungswertoperator”, der seinem Argument (hier der Zufallsvariablen x) einen Wert zuweist.

Der berechnete Erwartungswert ist keine zufallige Zahl mehr, sondern eine determinierte Große.

Fur eine diskrete Zufallsvariable x, die die Werte xi mit Wahrscheinlichkeiten Probxi = Probx = xi

annimmt, erhalt man fur den Mittelwert

mx =∼∼x =

+∞∫

−∞

ξpx(ξ)dξ =

∞∫

−∞

ξ∑

i

Probxiδ(ξ − xi)dξ =∑

i

xiProbxi.

Fur eine determinierte Zahl, d.h. eine Zufallsvariable x, die bei jeder Versuchsdurchfuhrung die selbe Zahl

x annimmt, ist die PDF eine Dirac-frmiger Impuls an der Stelle x, px(ξ) = δ(ξ−x); Der Mittelwert ergibt

sich dann zu

mx =∼∼x =

∼∼x = x ;

Der Erwartungswert einer determinierten Zahl ist also die Zahl selbst.

Der Erwartungswertoperator∼· hat zwei fur die Praxis wichtige Eigenschaften:

1. Der Erwartungswertoperator∼· ist ein linearer Operator, d. h.

∼∼∼∼∼∼∼∼∼∼∼∼∼∼

ax + by = a∼∼x + b

∼∼y (a,b determiniert).

Page 21: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 21

2. Der Erwartungswert der transformierten Zufallsvariable y=g(x) laßt sich mit Hilfe der PDF der ur-

sprunglichen Zufallsvariable x berechnen,

∼∼∼∼∼∼∼

g(x) =

+∞∫

−∞

g(ξ)px(ξ)dξ.

Die Funktion g(x) = xn fuhr auf das Moment n-ter Ordnung der Zufallsvariable x,

∼∼∼∼

xn =

∞∫

−∞

ξnpx(ξ)dξ.

Mit n=1 erhalt man den linearen Mittelwert mx; n=2 ergibt den quadratischen Mittelwert ρ2x

ρ2x =

∼∼∼

x2 =

∞∫

−∞

ξ2px(ξ)dξ.

Die Varianz σ2x ist definiert als die mittlere quadratische Abweichung der Zufallsvariable x von ihrem

linearen Mittelwert

σ2x =

∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼

(x − mx)2 =

∞∫

−∞

(ξ − mx)2px(ξ)dξ.

Page 22: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 22

Die Varianz ist ein Maß fur die Breite der PDF, die Quadratwurzel der Varianz wird auch Standardabwe-

ichung bzw. Streuung genannt.

Varianz, quadratischer Mittelwert und Mittelwert hangen zusammen uber

σ2x = ρ2

x − m2x resp.

∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼

(x − mx)2 =

∼∼∼

x2 −(

∼∼x)2

.

Mittelwert mx und Varianz σ2x ergeben zusammen die schwache Beschreibung der Zufallsvariable x. Im

Gegensatz zur vollstandigen (strengen) Beschreibung mittels der PDF ist die schwache Beschreibung i. a.

unvollstandig (es gibt unendlich viele verschieden Zufallsvariable mit dem gleichen Mittelwert und der

gleichen Varianz). Eine Ausnahme stellen Gaussverteilte Zufallsvariable dar.

Page 23: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 23

Korrelation und Kovarianz. Im Falle zweier Zufallsvariablen x1 und x2 mit Verbund PDF px1,x2(ξ1, ξ2)

sagen die Mittelwerte mx1, mx2

und die Varianzen σ2x1

, σ2x2

der einzelnen Zufallsvariablen nichts uber die

statistischen Bindungen zwischen ihnen aus. Deshalb wird zusatzlich die Korrelation

ϕx1,x2=

∼∼∼∼∼∼∼x1x2 =

∞∫

−∞

∞∫

−∞

ξ1ξ2px1,x2(ξ1, ξ2)dξ1dξ2

und die Kovarianz

µx1,x2=

∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼

(x1 − mx1)(x2 − mx2

) =

∞∫

−∞

∞∫

−∞

(ξ1 − mx1)(ξ2 − mx2

)px1,x2(ξ1, ξ2)dξ1dξ2

definiert.

Kovarianz, Korrelation und die Mittelwerte sind verknupft uber

µx1,x2= ϕx1,x2

− mx1mx2

.

Ist zumindest eine der beiden Zufallsvariable mittelwertfrei, dann sind Korrelation und Kovarianz identisch.

Page 24: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 24

Korrelation und Kovarianz werden insbesondere zur Berechnung von quadr. Mittelwert und Varianz einer

Linearkombination z = ax + by von Zufallsvariablen benotigt:

ρ2z = a2ρ2

x + b2ρ2y + 2abϕx,y, σ2

z = a2σ2x + b2σ2

y + 2abµx,y.

Zwei Zufallsvariable heißen unkorreliert, wenn

µx1,x2= 0 bzw. ϕx1,x2

= mx1mx2

bzw..∼∼∼∼∼∼∼x1x2 =

∼∼∼x1

∼∼∼x2.

Unkorreliertheit bedeutet also verschwindende Kovarianz, nicht verschwindende Korrelation. Sind zwei

Zufallsvariable statistisch unabhangig, so folgt aus px1,x2(ξ1, ξ2) = px1

(ξ1)px2(ξ2) das sie auch unkorreliert

sind. Umgekehrt folgt aus der Unkorreliertheit nicht automatisch die statistische Unabhangigkeit.

Zwei Zufallsvariable mit verschwindender Korrelation

ϕx1,x2= 0

werden orthogonal genannt (durch∼∼∼∼∼∼∼x1x2 kann ein inneres Produkt zwischen den Zufallsvariablen erklart

werden).

Page 25: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 25

Stochastische Prozesse

Bei einer Zufallsvariable x wurde jedem Ergebnis eines zugrundeliegenden Zufallsexperiments eine relle

Zahl uber eine Abbildung x = x(ω) zugeordnet.

Ein Zufallssignal bzw. einen stochastische Prozess x(t) kann man sich analog generieren: Jedem Versuch-

sausgang (Ergebnis) ω eines Zufallsexperiments wird ein Signal x(t). uber eine Abbildung x(t) = x(t, ω)

zugeordnet. Die Menge aller moglichen Signale x(t) wird Schar bzw. Ensemble genannt. Die einzelnen

Signale der Schar heißen Realisierungen bzw. Musterfunktionen

Page 26: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 26

Der Abtastwert x(t0) eines stochastischen Prozesses x(t) zum Zeitpunkt t0 stellt eine Zufallsvariable dar,

x(t0; ω) = x0(ω). Zu jedem Zeitpunkt ti erhalt man i. a. eine andere Zufallsvariable xi. Man kann sich

also den stochastischen Prozess x(t) auch als Abfolge von (zeitlich geordneten) Zufallsvariablen vorstellen.

Zwischen diesen Zufallsvariablen bestehen i. a. statistische Abhangigkeiten.

Es gibt also zwei Interpretationen eines stochastischen Prozesses:

1. als Schar von Signalen (den Realisierungen), aus der ein Signal zufallig in Abhangigkeit eines Zufall-

sexperiments ausgewahlt wird oder

2. als Menge von (zeitlich geordneten) Zufallsvariablen.

Page 27: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 27

Strenge Beschreibung eines stochastischen Prozesses

Der Abtastwert x(t0) eines stochastischen Prozesses x(t) zum Zeitpunkt t0 ist eine Zufallsvariable

x0 = x(t0). Jedem Zeitpunkt t entspricht somit eine Zufallsvariable xt, deren PDF p(1)x (ξ; t) Verteilungs-

dichtefunktion 1.Ordnung genannt wird (welche i. a. zeitabhangig ist). Diese PDF ist aber keine

vollstandige Beschreibung des stochastischen Prozesses, da sie nichts uber die statistischen Bindungen

zwischen den einzelnen Zeitpunkten (bzw. zwischen den den einzelnen Zeitpunkten zugeordneten Zu-

fallsvariablen xti) aussagt.

Die Abtastwerte eines stochastischen Prozesses zu N Zeitpunkten t1, t2, . . . , tN stellen N Zufallsvari-

ablen x1 = x(t1), x2 = x(t2), . . . , xN = x(tN) dar, die durch die N-dimensionale Verbund-

Verteilungsdichtefunktion

p(N)x1,x2,...,xN

(ξ1, ξ2, . . . , ξN) = p(N)x (ξ1, ξ2, . . . , ξN ; t1, t2, . . . , tN)

beschrieben werden. Diese N-dimensionale Verbund PDF wird auch als Verteilungsdichtefunktion N-ter

Ordnung des stochastischen Prozesses x(t) bezeichnet. Ein stochastischer Prozess ist vollstandig (streng)

beschrieben, wenn die PDF N-ter Ordnung fur beliebige Ordnung N und beliebige Wahl der Abtastzeit-

punkte t1, t2, . . . , tN bekannt ist.

Page 28: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 28

Schwache Beschreibung eines stochastischen Prozesses, Erwartungswerte

Das Konzept der schwachen Beschreibung von Zufallsvariablen kann direkt auf stochastische Prozesses

angewendet werden. Der lineare (Schar-) Mittelwert mx(t) eines stochastischen Prozesses x(t) wird

definiert als der lineare Mittelwert der dem Zeitpunkt t zugeordneten Zufallsvariable xt = x(t),

mx(t) =∼∼∼∼∼∼∼

x(t) =

∞∫

−∞

ξp(1)x (ξ; t)dξ.

Der (Schar-) Mittelwert ist i. a. eine zeitabhangige Große. Analog wird der quadratische Mittelwert ρ2x(t)

des stochastischen Prozesses definiert als

ρ2x(t) =

∼∼∼∼∼∼∼∼∼∼∼∼

(x(t))2 =

∞∫

−∞

ξ2p(1)x (ξ; t)dξ,

und die Varianz σ2x(t) als

σ2x(t) =

∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼

[x(t) − mx(t)]2 =

∞∫

−∞

[ξ − mx(t)]2 p(1)

x (ξ; t)dξ.

Die Mittelung erfolgt dabei immer in Scharrichtung und nicht uber die Zeit. Man spricht deshalb von

Scharmittelwerten.

Page 29: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 29

Zwei Zeitpunkte des stochastischen Prozesses werden durch die PDF 2-ter Ordnung p(2)x (ξ1, ξ2; t1, t2)

streng beschrieben. Die Autokorrelationsfunktion (AKF) ϕx,x(t1, t2) eines stochastischen Prozesses

ist definiert als die Korrelation zwischen den den beiden Zeitpunkten t1 und t2 zugeordneten Zufallsvari-

ablen,

ϕx,x(t1, t2) =∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼

x(t1)x(t2) =

∞∫

−∞

∞∫

−∞

ξ1ξ2p(2)x (ξ1, ξ2; t1, t2)dξ1dξ2.

Die AKF ist eine Funktion der beiden Zeitpunkte t1 und t2.

Die Autokovarianzfunktion µx,x(t1, t2) eines stochastischen Prozesses ist definiert als

µx,x(t1, t2) =∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼

[x(t1) − mx(t1)] [x(t2) − mx(t2)]

=

∞∫

−∞

∞∫

−∞

[ξ1 − mx(t1)] [ξ2 − mx(t2)] p(2)x (ξ1, ξ2; t1, t2)dξ1dξ2.

Die unvollstandige Charakterisierung eines stochastischen Prozesses durch den Mittelwert mx(t) und die

AKF ϕx,x(t1, t2) heißt die schwache Beschreibung des stochastischen Prozesses (es gibt wie bei den

Zufallsvariablen i. a. unendlich viele stochastische Prozesse, die den gleichen Mittelwert und die gleiche

AKF besitzen).

Page 30: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 30

Stationaritat

Ein stationarer stochastischer Prozess ist ein Prozess, dessen statistische Eigenschaften invariant gegen

eine beliebige zeitliche Verschiebung des stochastischen Prozesses sind.

Ein stochastischer Prozess heißt streng stationar, wenn seine PDF p(N)x (ξ1, . . . , ξN ; t1, . . . , tN) (fur

beliebiges N) invariant gegen eine beliebige Zeitverschiebung T ist,

p(N)x (ξ1, . . . , ξN ; t1 + T, . . . , tN + T ) = p(N)

x (ξ1, . . . , ξN ; t1, . . . , tN).

D. h. das die PDF N-ter Ordnung nicht mehr von den absoluten Zeitpunkten t1, . . . , tN abhangt, son-

dern nur noch von den zeitlichen Differenzen ti − tj (i, j = 1, . . . , N). Die PDF 1.Ordnung p(1)x (ξ; t)

insbesondere ist uberhaupt nicht mehr vom betrachteten Zeitpunkt t abhangig, und die PDF 2.Ordnung

p(2)x (ξ1, ξ2; t1, t2) wird nur noch durch die Differenz t2 − t1 bestimmt,

p(1)x (ξ; t) = p(1)

x (ξ), p(2)x (ξ1, ξ2; t1, t2) = p(1)

x (ξ1, ξ2; τ ).

Daraus folgt fur die Elemente der schwachen Beschreibung eines stochastischen Prozesses

mx(t) = mx, ρ2x(t) = ρ2

x, σ2x(t) = σ2

x,

ϕx,x(t1, t2) = ϕx,x(t2 − t1) = ϕx,x(τ ), µx,x(t1, t2) = µx,x(t2 − t1) = µx,x(τ ).

Der lineare (Schar-) Mittelwert, der quadratische (Schar-) Mittelwert und die Varianz sind zeitunabhangig

und die Autokorrelation und Autokovarianz sind Funktionen der Zeitdifferenz τ = t2 − t1.

Page 31: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 31

Ein stochastischer Prozess heißt schwach stationar wenn die Elemente der schwachen Beschreibung die

vorhergenannten Eigenschaften besitzen (d. h. dass ein streng stationarer Prozess auch immer schwach

stationar ist, aber schwache Stationaritat impliziert noch nicht die strenge Stationaritat)

Mittelung im Zeitbereich, Ergodizitat

Bis jetzt wurden alle Erwartungswerte wie

der (lineare) Mittelwert mx =∼∼∼∼∼∼∼

x(t) =

∞∫

−∞

ξ p(1)x (ξ) dξ

oder

die AKF ϕx,x(τ ) =∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼

x(t + τ )x(t) =

∞∫

−∞

∞∫

−∞

ξ1 ξ2 p(2)x (ξ1, ξ2; τ ) dξ1 dξ2

mittels der PDF p(1)x (ξ) bzw. der PDF p

(2)x (ξ1, ξ2; τ ) berechnet. D. h. dass alle Erwartungswerte durch

eine Mittelung uber alle Realisierungen des stochastischen Prozesses gewonnen werden. Die berechneten

Werte werden deshalb auch Scharmittelwerte genannt.

Page 32: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 32

In der Praxis kann jedoch i. a. nur eine einzige Realisierung x(t) des SP x(t) beobachtet, bzw. gemessen

werden. Es stellt sich daher die Frage, ob man die Scharmittelwerte durch entsprechende Zeitmittelwerte,

die aus einer einzigen Realisierung gewonnen werden, ersetzen kann. Die Zeitmittelwerte fur eine gegebene

Realisierung x(t) des SP x(t) (bzw. fur ein determiniertes Signal x(t)) sind wie folgt definiert:

EmpirischerMittelwert : mx;T =1

T

T/2∫

−T/2

x(t) dt

Emp.mittlereLeistung : ρ2x;T =

1

T

T/2∫

−T/2

x2(t) dt

Emp.Varianz : σ2x;T =

1

T

T/2∫

−T/2

[x(t) − mx,T ]2 dt

Emp.AKF : ϕx,x;T (τ ) =1

T

T/2∫

−T/2

x(t + τ )x(t) dt

Page 33: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 33

Emp.Autokovarianz : µx;T (τ ) =1

T

T/2∫

−T/2

[x(t + τ ) − mx,T ][x(t) − mx,T ] dt

Emp.Leistungsdichtespektr : Φx;T (f) = F ϕx,T (τ )

Diese Großen heißen empirisch, weil sie aus einer einzigen beobachteten Realisierung berechnet werden

konnen. Die obigen Definitionen tragen dem Umstand Rechnung, daß in der Praxis die Realisierung

x(t) nur in einem endlichen Zeitintervall (-T/2,T/2) beobachtet wird, bzw. die Integration nur in einem

endlichen Zeitraum durchgefuhrt werden kann. Fur theoretische Betrachtungen benotigt man auch Zeit-

mittelwerte, die durch Integration uber die gesamte Zeitachse gebildet werden; diese erhalt man durch den

Grenzubergang T → ∞. Z. B. gilt dann

mx;∞ = limT→∞

mx;T = limT→∞

1

T

T/2∫

−T/2

x(t) dt

σ2x;∞ = lim

T→∞σ2

x;T = limT→∞

1

T

T/2∫

−T/2

[x(t) − mx;T ] dt

usw..

Page 34: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 34

Dualitat von Schar- und Zeitmittelwerten: Mit den empirischen Großen kann eine Theorie schwach

stationarer Prozesse gebildet werden, die vollig strukturgleich der auf der Wahrscheinlichkeits-basierenden

Theorie ist. Aus der ”probabilistischen” Theorie (die auf dem Wahrscheinlichkeitsbegriff basiert und daher

Scharmittelwerte verwendet) laßt sich also eine duale Theorie bilden, wenn man die Scharmittelwerte durch

die entsprechenden Zeitmittelwerte ersetzt. Das bedeutet insbesondere, daß die Beziehungen zwischen

den Zeitmittelwerten mit den Beziehungen zwischen den entsprechenden Scharmittelwerten vollkommen

ubereinstimmen. Insbesondere gilt z. B. auch im Fall der Zeitmittelwerte fur beliebige Mittelungsdauer T

ρ2x;T = ϕx;T (0), σ2

x;T = µx,T (0), σ2x;T = ρ2

x;T − m2x;T ,

ϕx;T (−τ ) = ϕx;T (τ )

Fur unendliche Mittelungsdauer T → ∞ gilt weiter

µx;∞ = ϕx;∞ − m2x;∞ Φx;∞(f) ≥ 0

und auch die Eingangs-Ausgangs-Beziehungen fur LTI-Systeme konnen ubertragen werden: fur

y(t) = (x ∗ h)(t) erhalt man

my;∞ = mh · mx;∞ = H(0) · mx;∞

ϕy;∞ = (ϕh ∗ ϕx;∞)(t), Φy;∞(f) = |H(f)|2 · Φx;∞(f).

Page 35: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 35

Empirische Wahrscheinlichkeiten: Die Dualitat von Schar- und Zeitmittelwerten laßt sich auch math-

ematisch charakterisieren. Alle Zeitmittelwerte konnen formal als Erwartungswerte (Scharmittelwerte)

geschrieben werden, wenn man auf geeignete Weise ”empirische Verteilungsdichtefunktionen” einfuhrt.

Zunachst kann man fur eine gegebene Realisierung x(t) die empirische Verteilungsfunktion 1.Ordnung,

P(1)x;T (ξ), als die ”empirische Wahrscheinlichkeit” des ”Ereignisses” x(t) ≤ ξ im Zeitintervall (-T/2,T/2)

definieren:

P(1)x;T (ξ) = PT [x(t) ≤ ξ] =

=Summe der Langen der Zeitintervalle in (-T/2,T/2), auf denen x(t) ≤ ξ

T=gesamte zeitliche Lange von (-T/2,T/2)

Mit der Indikatorfunktion (ǫ(ξ) ist die Sprungfunktion)

ǫ (ξ − x(t)) =

1, x(t) ≤ ξ

0, x(t) > ξ

des ”Ereignisses” x(t) ≤ ξ laßt sich die empirische Verteilungsfunktion P(1)x;T (ξ) anschreiben als

P(1)x;T (ξ) =

1

T

T/2∫

−T/2

ǫ (ξ − x(t)) dt.

Page 36: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 36

Indikatorfunktion des ”Ereignisses” x(t) ≤ ξ

Die empirische Verteilungsdichtefunktion 1.Ordnung ist dann wie gewohnt als Ableitung der em-

pirischen Verteilungsfunktion 1.Ordnung definiert:

p(1)x;T (ξ) =

d

dξP

(1)x;T (ξ) .

Die empirische Verteilungsdichtefunktion 1.Ordnung kann somit ausgedruckt werden als

p(1)x;T (ξ) =

d

1

T

T/2∫

−T/2

ǫ (ξ − x(t)) dt

=

1

T

T/2∫

−T/2

[

d

dξǫ (ξ − x(t))

]

dt =

=1

T

T/2∫

−T/2

δ (ξ − x(t)) dt;

Page 37: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 37

ihre Eigenschaften stimmen mit denen einer ”echten” Verteilungsdichtefunktion uberein:

p(1)x;T (ξ) ≥ 0,

∞∫

−∞

p(1)x;T (ξ) dξ = 1, p

(1)x;T (±∞) = 0.

Analog zur empirischen Verteilungsdichtefunktion 1.Ordnung konnen auch empirische Verteilungsdichte-

funktionen hoherer Ordnung definiert werden, insbesondere die empirische Verteilungsdichtefunktion

2.Ordnung:

p(2)x;T (ξ1, ξ2; τ ) =

1

T

T/2∫

−T/2

δ (ξ1 − x(t + τ )) δ (ξ2 − x(t)) dt.

Mit den empirischen Verteilungsdichtefunktionen ist nun formal der Anschluß an die probabilistische The-

orie stationarer Stochastischer Prozesse hergestellt worden. Unter Verwendung der Verteilungsdichtefunk-

tionen 1. und 2. Ordnung lassen sich insbesondere alle Zeitmittelwerte formal als ”Scharmittelwerte”

anschreiben.

Page 38: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 38

Fur den empirischen Mittelwerte gilt z. B.:

mx;T =1

T

T/2∫

−T/2

x(t) dt =1

T

T/2∫

−T/2

∞∫

−∞

ξ δ (ξ − x(t)) dξ

dt =

=

∞∫

−∞

ξ

1

T

T/2∫

−T/2

δ (ξ − x(t)) dt

dξ =

∞∫

−∞

ξ p(1)x;T (ξ) dξ,

und fur die empirische Autokorrelationsfunktion erhalt man auf analoge Weise

ϕx;T (τ ) =1

T

T/2∫

−T/2

x(t + τ )x(t) dt =

∞∫

−∞

∞∫

−∞

ξ1 ξ2 p(2)x;T (ξ1, ξ2; τ ) dξ1 dξ2.

Zeitmittelwerte als Zufallsgroßen: Die oben definierten Zeitmittelwerte werden aus einer einzigen

Realisierung x(t) des Stochastischen Prozesses x(t) berechnet. Fur verschiedene Realisierungen werden

sich daher i. a. unterschiedliche Zeitmittelwerte ergeben. Da die Realisierungen zufallig ausgewahlt werden,

sind also auch die Zeitmittelwerte zufallig. Z. B. ist dann das empirische Mittel selbst eine Zufallsvariable:

mx;T =1

T

T/2∫

−T/2

x(t) dt.

Page 39: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 39

Durch Auswahlen einer bestimmten Realisierung x(t) von x(t) erhalt man eine entsprechende Realisierung

mx;T von mx;T . Ebenso sind die empirischen Verteilungsdichtefunktionen zufallig. Diese als Zufallsgroßen

aufgefaßten Zeitmittelwerte haben (ebenso wie jede andere Zufallsgroße) bestimmte statistische Eigen-

schaften.

Fur (zumindest) schwach stationare Stochastische Prozesse gilt fur beliebige Mittelungsdauer T:

∼∼∼∼∼∼∼∼∼mx;T = mx,

∼∼∼∼∼∼∼∼∼∼∼∼∼∼

ϕx;T (τ ) = ϕx(τ ),∼∼∼∼∼∼∼∼∼∼∼∼∼∼

Φx;T (f) = Φx(f), usw.

Fur streng stationare Stochastische Prozesse gilt weiter auch:

∼∼∼∼∼∼∼∼∼∼∼∼∼

p(1)x;T (ξ) = p(1)

x (ξ),∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼∼

p(2)x;T (ξ1, ξ2; τ ) = p(2)

x (ξ1, ξ2; τ ), usw.

Die Erwartungswerte der ”zufalligen Zeitmittelwerte” stimmen also mit den Scharmittelwerten uberein;

ebenso sind die Erwartungswerte der empirischen Verteilungsdichtefunktionen beliebiger Ordnung gle-

ich den tatsachlichen Verteilungsdichtefunktionen des Stochastischen Prozesses. Im statistischen Mit-

tel ergeben die Zeitmittelwerte (empirische Verteilungsdichtefunktionen) somit die Scharmittelwerte

(Verteilungsdichtefunktionen). Fur eine einzelne Realisierung kann man jedoch daraus noch nicht schließen.

Page 40: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 40

Ergodizitat: Von einem ergodischen Prozeß spricht man dann, wenn fur unendliche Mittelungsdauer

T → ∞ die Zeitmittelwerte bzw. empirischen Verteilungsdichtefunktionen selbst und nicht bloß ihre Er-

wartungswerte mit den entsprechenden Scharmittelwerten bzw. Verteilungsdichtefunktionen im folgenden

Sinn ubereinstimmen:

Man nennt einen streng stationaren Stochastischen Prozeß streng ergodisch, wenn fur fast jede Real-

isierung x(t) gilt:

p(1)x;∞(ξ) = lim

T→∞p

(1)x;T (ξ) = p(1)

x (ξ),

p(2)x;∞(ξ1, ξ2; τ ) = lim

T→∞p

(2)x;T (ξ1, ξ2; τ ) = p(2)

x (ξ1, ξ2; τ ),

usw.

Aus der strengen Ergodizitat folgt insbesondere auch die Gleichheit von Zeitmittelwerten und Scharmit-

telwerten fur beliebige Realisierungen x(t),

mx;∞ = limT→∞

mx;T = mx, ϕx;∞(τ ) = limT→∞

ϕx;T (τ ) = ϕx(τ ), usw.,

die als schwache Ergodizitat bezeichnet wird. Aus der strengen Ergodizitat folgt somit die schwache

Ergodizitat; der Umkehrschluß ist i. a. nicht zulassig.

Page 41: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 41

Die strenge bzw. schwache Ergodizitat bedeutet also, daß die empirischen Verteilungsdichtefunktionen

bzw. Zeitmittelwerte von beliebigen Realisierungen x1(t), x2(t), . . . gleich sind und somit die als Zu-

fallsgroßen aufgefaßten empirischen Verteilungsdichtefunktionen bzw. Zeitmittelwerte determiniert sind,

d. h.

p(1)x;∞(ξ) = lim

T→∞p

(1)x;T (ξ) = p(1)

x (ξ),

p(2)x;∞(ξ1, ξ2; τ ) = lim

T→∞p

(2)x;T (ξ1, ξ2; τ ) = p(1)

x (ξ1, ξ2; τ ), usw.

bzw.

mx;∞ = limT→∞

mx;T = mx, ϕx;∞(τ ) = limT→∞

ϕx;T (τ ) = ϕx(τ ) usw.

Eine notwendige und hinreichende Bedingung fur die strenge Ergodizitat ist somit, daß die Varianz der auf

(-T/2,T/2) gebildeten empirischen Verteilungsdichtefunktionen fur T → ∞ gegen Null geht,

limT→∞

var

p(1)x;T (ξ)

= 0, limT→∞

var

p(2)x;T (ξ1, ξ2; τ )

= 0, usw.

Ebenso erhalt man als notwendige und hinreichende Bedingung fur die schwache Ergodizitat:

limT→∞

var mx;T = 0, limT→∞

var ϕx;T (τ ) = 0, usw.

Page 42: Zufallsexperimente, Zufallsvariable und Stochastische Prozesse · Zufallsexperimente, Zufallsvariable und Stochastische Prozesse Information Technology · University of Ulm 3 Sind

Zufallsexperimente, Zufallsvariable und Stochastische Prozesse

Information Technology · University of Ulm 42

Die Eigenschaft der Ergodizitat ist in der Praxis von sehr großer Bedeutung, da sie es erlaubt, statistische

Kenngroßen von Stochastischen Prozessen aus einer einzigen, beliebigen Realisierung zu bestimmen. Die

Uberprufung der Ergodizitat ist allerdings nicht trivial, da dazu Kenntnis uber die statistischen Eigen-

schaften des SP (also der gesamten Schar) notwendig ist und sich nicht mit einer einzigen Realisierung

durchfuhren laßt. In der Praxis ist man daher oft gezwungen, die Eigenschaft der Ergodizitat einfach zu

postulieren.

Der Begriff der strengen bzw. schwachen Ergodizitat ist nur fur streng bzw. schwach stationare Stochastis-

che Prozesse sinnvoll, denn bei der Zeitmittelung fallt jegliche Zeitabhangigkeit weg - ein Zeitmittelwert

kann nie einem zeitabhangigen Scharmittelwert eines instationaren Prozesses gleich sein.

Literaturverzeichnis:

[1] Weinrichter H., Hlawatsch F.: Stochastische Grundlagen nachrichtentechnischer Signale., Springer

Verlag, ISBN 3-211-82-303-4, 1991