MultivariateStatistik - Statistische Abteilung ... Inhalt: 1. Grundlagen 2. MultivariateVerteilungen 3. Regressionsanalyse 4. Varianzanalyse 5. AllgemeineVerfahrenzumTestenvonHypothesen

Multivariate Statistik

Inhalt:

1. Grundlagen

2. Multivariate Verteilungen

3. Regressionsanalyse

4. Varianzanalyse

5. Allgemeine Verfahren zum Testen von Hypothesen

6. Hauptkomponentenanalyse

7. Faktoranalyse

8. Kon�rmatorische Faktoranalyse, LISREL

9. Kontingenztafeln und Korrespondenzanalyse

Literatur:

Härdle, W. und Simar, L. (2003). Applied Multivariate StatisticalAnalysis. Springer Verlag

Jobson, J.D. (1991). Applied Multivariate Data Analysis. SpringerVerlag (zwei Bände)Multivariate Statistik@LS-Kneip 0�1

Einführung

Multivariate Datenanalyse• Daten in der Form einer Datenmatrix

• Statistische Verfahren zur� Explorativen Datenanalyse (�DataMining�)� Modellierung und statistische Inferenz (kon�rmatorische

Datenanalyse)

Ziele:

• Beschreibung, Zusammenfassung und Darstellung der in ei-nem Datensatz enthaltenen Informationen

• Entdeckung von (verborgenen) Strukturen in den Daten

• Identi�kation von untypischen Beobachtungen (Ausreiÿern)

• Aufbau eines statistischen Modells, das die entdeckten Struk-turen erklären kann

• Überprüfung eines Modells durch Kontrolle von zufallsbe-dingten Ungenauigkeiten

• Überprüfung von Hypothesen

• Prognose, Klassi�zierung

• Varianzanalyse: Verfahren zur statistischen Inferenz

Multivariate Statistik@LS-Kneip 0�2

Beispiel: Eine Firma betreibt ihre Produkte in verschiedenenLändern. Von Interesse für die Firmenleitung hinsichtlich gewis-ser Marketing Strategien ist zu erfahren, ob sich bestimmte Pro-dukte vergleichbaren Typs in manchen Ländern besser umsetzenlassen als in anderen.

Daten für zufällig herausgegri�ene Monate:

Produkt I Produkt IIA 42 45 42 41 38 39 37 41

Land B 36 36 35 35 39 40 36 36C 33 32 32 33 36 34 36 33


Beispiel 0.1 (Car Data)Im �car data��Datensatz (Chambers et al.; 1983) wurden 13 ver-schiedene Variablen von 74 unterschiedlichen Autotypen erhoben.Die Abkürzungen im Datensatz sind wie folgt:

X1: P PriceX2: M Mileage (in miles per gallone)X3: R78 Repair record 1978 (rated on a 5-point scale;

5 best, 1 worst)X4: R77 Repair record 1977 (scale as before)X5: H Headroom (in inches)X6: R Rear seat clearance (distance from front seat

back to rear seat, in inches)X7: Tr Trunk space (in cubic feet)X8: W Weight (in pound)X9: L Length (in inches)X10: T Turning diameter (clearance required to make

a U-turn, in feet)X11: D Displacement (in cubic inches)X12: G Gear ratio for high gearX13: C Company headquarter (1 for U.S., 2 for Ja-

pan, 3 for Europe)


Model P M R78 R77 H R Tr1 AMC-Concord 4099.00 22.00 3 2 2.50 27.50 11.002 AMC-Pacer 4749.00 17.00 3 1 3.00 25.50 11.003 AMC-Spirit 3799.00 22.00 . . 3.00 18.50 12.004 Audi-5000 9690.00 17.00 5 2 3.00 27.00 15.005 Audi-Fox 6295.00 23.00 3 3 2.50 28.00 11.006 BMW-320i 9735.00 25.00 4 4 2.50 26.00 12.007 Buick-Century 4816.00 20.00 3 3 4.50 29.00 16.008 Buick-Electra 7827.00 15.00 4 4 4.00 31.50 20.009 Buick-Le-Sabre 5788.00 18.00 3 4 4.00 30.50 21.0010 Buick-Opel 4453.00 26.00 . . 3.00 24.00 10.0011 Buick-Regal 5189.00 20.00 3 3 2.00 28.50 16.0012 Buick-Riviera 10372.00 16.00 3 4 3.50 30.00 17.0013 Buick-Skylark 4082.00 19.00 3 3 3.50 27.00 13.0014 Cad.-Deville 11385.00 14.00 3 3 4.00 31.50 20.0015 Cad.-Eldorado 14500.00 14.00 2 2 3.50 30.00 16.0016 Cad.-Seville 15906.00 21.00 3 3 3.00 30.00 13.0017 Chev.-Chevette 3299.00 29.00 3 3 2.50 26.00 9.0018 Chev.-Impala 5705.00 16.00 4 4 4.00 29.50 20.0019 Chev.-Malibu 4504.00 22.00 3 3 3.50 28.50 17.0020 Chev.-Monte-C. 5104.00 22.00 2 3 2.00 28.50 16.0021 Chev.-Monza 3667.00 24.00 2 2 2.00 25.00 7.0022 Chev.-Nova 3955.00 19.00 3 3 3.50 27.00 13.0023 Datsun-200−SX 6229.00 23.00 4 3 1.50 21.00 6.0024 Datsun-210 4589.00 35.00 5 5 2.00 23.50 8.0025 Datsun-510 5079.00 24.00 4 4 2.50 22.00 8.0026 Datsun-810 8129.00 21.00 4 4 2.50 27.00 8.0027 Dodge-Colt 3984.00 30.00 5 4 2.00 24.00 8.0028 Dodge-Diplomat 5010.00 18.00 2 2 4.00 29.00 17.0029 Dodge-Magnum 5886.00 16.00 2 2 3.50 26.00 16.0030 Dodge-St.-Regis 6342.00 17.00 2 2 4.50 28.00 21.00


Beispiel 0.2 (U.S. Companies Data)Im �U.S. Companies Data�� Datensatz wurden 6 verschiedeneVariablen für 79 amerikanische Unternehmen aus den Top 500Unternehmen erhoben. Die verwendeten Abkürzungen sind diefolgenden:

X1: A AssetsX2: S SalesX3: MV Market ValueX4: P Pro�tsX5: CF Cash FlowX6: E Employees


Company A S MV P CF E Sector1 19788.00 9084.00 10636.00 1092.90 2576.80 79.40 Communic.2 5074.00 2557.00 1892.00 239.90 578.30 21.90 Communic.3 13621.00 4848.00 4572.00 485.00 898.90 23.40 Energy4 1117.00 1038.00 478.00 59.70 91.70 3.80 Energy5 1633.00 701.00 679.00 74.30 135.90 2.80 Energy6 5651.00 1254.00 2002.00 310.70 407.90 6.20 Energy7 5835.00 4053.00 1601.00 −93.80 173.80 10.80 Energy8 3494.00 1653.00 1442.00 160.90 320.30 6.40 Energy9 1654.00 451.00 779.00 84.80 130.40 1.60 Energy

10 1679.00 1354.00 687.00 93.80 154.60 4.60 Energy11 1257.00 355.00 181.00 167.50 304.00 0.60 Energy12 1743.00 597.00 717.00 121.60 172.40 3.50 Energy13 1440.00 1617.00 639.00 81.70 126.40 3.50 Energy14 14045.00 15636.00 2754.00 418.00 1462.00 27.30 Energy15 3010.00 749.00 1120.00 146.30 209.20 3.40 Energy16 3086.00 1739.00 1507.00 202.70 335.20 4.90 Energy17 1995.00 2662.00 341.00 34.70 100.70 2.30 Energy18 3614.00 367.00 90.00 14.10 24.60 1.10 Finance19 2788.00 271.00 304.00 23.50 28.90 2.10 Finance20 327.00 542.00 959.00 54.10 72.50 2.80 Finance21 5401.00 550.00 376.00 25.60 37.50 4.10 Finance22 44736.00 16197.00 4653.00 −732.50 −651.90 48.50 Finance23 401.00 176.00 1084.00 55.60 57.00 0.70 Finance24 4789.00 453.00 367.00 40.20 51.40 3.00 Finance25 2548.00 264.00 181.00 22.20 26.20 2.10 Finance26 5249.00 527.00 346.00 37.80 56.20 4.10 Finance27 3720.00 356.00 211.00 26.60 34.80 2.40 Finance28 33406.00 3222.00 1413.00 201.70 246.70 15.80 Finance29 12505.00 1302.00 702.00 108.40 131.40 9.00 Finance30 8998.00 882.00 988.00 93.00 119.00 7.40 Finance


Beispiel 0.3 (French Food Data)Der Datensatz beschreibt die durchschnittlichen Ausgaben für Nah-rungsmittel von verschiedenen Familientypen in Frankreich(MA=Handwerker , EM=Angestellte, CA=Manager) mit unter-schiedlich vielen Kindern (2,3,4 oder 5 Kinder). Die Daten stam-men von Lebart, Morineau and Fénelon (1982).

Brot Gemüse Früchte Fleisch Ge�ügel Milch Wein1 MA2 332.00 428.00 354.00 1437.00 526.00 247.00 427.002 EM2 293.00 559.00 388.00 1527.00 567.00 239.00 258.003 CA2 372.00 767.00 562.00 1948.00 927.00 235.00 433.004 MA3 406.00 563.00 341.00 1507.00 544.00 324.00 407.005 EM3 386.00 608.00 396.00 1501.00 558.00 319.00 363.006 CA3 438.00 843.00 689.00 2345.00 1148.00 243.00 341.007 MA4 534.00 660.00 367.00 1620.00 638.00 414.00 407.008 EM4 460.00 699.00 484.00 1856.00 762.00 400.00 416.009 CA4 385.00 789.00 621.00 2366.00 1149.00 304.00 282.0010 MA5 655.00 776.00 423.00 1848.00 759.00 495.00 486.0011 EM5 584.00 995.00 548.00 2056.00 893.00 518.00 319.0012 CA5 515.00 1097.00 887.00 2630.00 1167.00 561.00 284.00

x̄ 446.7 737.8 505.0 1886.7 803.2 358.2 368.6Var(Xi) 102.6 172.2 158.1 378.9 238.9 112.1 68.7


1 Grundlagen

1.1 Charakterisierung von eindimensionalen Ver-teilungen

Wichtige Grundbegri�e

Man betrachte eine eindimensionale Zufallsvariable X.z.B.: Haushaltseinkommen in Deutschland, Renditen auf dem ameri-kanischen Aktienmarkt, Körpergröÿe japanischer Frauen, ...

Verteilungsfunktion F von X:F (x) = P (X ≤ x) für jedes x ∈ R

• diskrete Zufallsvariable: X nimmt nur abzählbar viele Wertex1, x2, x3, . . . anP (X = xi) = fi, i = 1, 2, . . . ,

F (x) =∑

xi≤x

fi

• stetige Zufallsvariable: Es existiert eine Dichtefunktion f , sodaÿF (x) =

x∫−∞

f(z)dz


Stetige Zufallsvariablen=50

00

.20

.4H

isto

gra

mm

n=500

00

.20

.4H

isto

gra

mm

n=5000

00

.20

.4H

isto

gra

mm

Model

00

.20

.4D

ich

te


Wahrscheinlichkeitsdichte:f(x) � 0; Z +1�1 f(x)dx = 1:Verteilungsfunktion:F(x) monoton wachsendF(�1) = 0; F(+1) = 1:

Dichtefunktion

-3 -2 -1 0 1 2 3

x

0.2

0.4

0.6

0.8

1f(

x)

f(x)

bF(b)

Verteilungsfunktion

-3 -2 -1 0 1 2 3

x

00.2

0.4

0.6

0.8

1F

(x)

F(x)

b

F(b)


Wichtige Parameter einer stetigen Z.v. X

• Mittelwert (Erwartungswert)

µ = E(X) =∫ ∞

−∞xf(x)dx

• Varianz

σ2 = V ar(X) = E((X − µ)2

)= E(X2)− µ2

• Erwartungswert einer transformierten Zufallsvariablen X →g(X)

E(g(X)) =∫ ∞

−∞g(x)f(x)dx

Schätzer auf der Grundlage einer einfachen Zufallsstichpro-be X1, . . . , Xn

• Mittelwert: X̄ = 1n

∑ni=1 Xi

• Varianz: S2 = 1n−1

∑ni=1(Xi − X̄)2


1.2 Die Normalverteilung N(µ, σ2)

Viele statistische Verfahren basieren auf der Annahme, daÿ eineZ.v. X normalverteilt ist, d.h. X ∼ N(µ, σ2)

Wahrscheinlichkeitsdichte:

f(x) = 1σ√

2πe−(x−µ)2/2σ2

für −∞ < x < ∞, σ > 0

• E(X) = µ, V ar(X) = σ2

Standardisierte Normalverteilung N(0, 1)

• X ∼ N(µ, σ2) ⇒ Z = X−µσ ∼ N(0, 1)

• Standardisierte Dichtefunktion und Verteilungsfunktion

φ(x) =1√2π

e−x2/2, Φ(z) =∫ z

−∞φ(x)dx

• N(0, 1) ist tabelliert und

P (X ≤ x) = P (X − µ

σ≤ x− µ

σ) = P (Z ≤ x− µ

σ)


Dichtefunktion (Normalverteilung)

-3 -2 -1 0 1 2 3 4 5 6x

0.20.4

0.60.8

11.2

f(x)

N(0,1)

N(2,1/3)

N(2,1)

N(2,2)

Dichtefunktion (Standard-Normalverteilung N(0,1))

-4 -3 -2 -1 0 1 2 3 4x

00.1

0.20.3

0.4

f(x)

Verteilungsfunktion (Standard-Normalverteilung N(0,1))

-4 -3 -2 -1 0 1 2 3 4x

00.2

50.5

0.75

1

F(x)


1.3 Schätzer und ihre Verteilungen

Sei X ∼ N(µ, σ2)

Einfache Zufallsstichprobe: X1, . . . , Xn

Dann gilt:

X̄ ∼ N(µ,σ2

n)

⇒ Kon�denzintervall zum Niveau 1 − α für µ bei bekanntenσ

µ ∈ [X̄ ± z1−α/2σ√n

]

z1−α/2 - 1−α/2-Quantil der Standardnormalverteilung; z0.975 =1.96

√n(X̄ − µ)

S∼ Tn−1

Tn−1 - Studentsche t-Verteilung mit n− 1 Freiheitsgraden⇒ Kon�denzintervall für µ bei unbekannter Varianz

µ ∈ [X̄ ± t1−α/2;n−1S√n

]


(n− 1)S2

σ2∼ χ2

n−1

χ2n−1 - χ2 Verteilung mit n− 1 Freiheitsgraden

Zentraler Grenzwertsatz

Seien X1, . . . , Xn unabhängig und identisch verteilte Zufallsva-riablen mit E(Xi) = µ und V ar(Xi) = σ2 > 0.

• Die Folge von Zufallsvariablen

Zn =∑n

i=1 Xi − nµ√nσ2

=√

n

(X̄ − µ

σ

)

konvergiert mit steigendem n gegen die standardisierte Nor-malverteilung N(0, 1)

• Für genügend groÿes n sind die Beziehungen X̄ ∼ N(µ, σ2

n ),√n(X̄−µ)

S ∼ Tn−1, (n− 1)S2

σ2 ∼ χ2n−1 approximativ erfüllt.


1.4 Konstruktion von Schätzstatistiken

Es stellt sich die Frage, wie man bei einem gegebenen Schätzpro-blem vorgehen kann, um eine geeignete Schätzfunktion für einenunbekannten Parameter (z.B. Mittelwert, Varianz, Quantile) zu�nden, der hier allgemein mit θ bezeichnet werden soll.

In der Statistik wurden hierzu eine ganze Reihe verschiedenerVerfahren entwickelt. In diesem Abschnitt werden dei Verfahrendiskutiert: Die Momentenmethode, die Kleinste-QuadrateMethode und der Maximum-Likelihood Ansatz.

Der Schwerpunkt liegt auf dem sehr allgemeinen Maximum-Likelihood-Prinzip, das auch in komplexen Schätzsituationenanwendbar ist. Theoretische Resultate zeigen zudem, dass dieMaximum-Likelihood-Methode i.Allg. sehr wirksame Schätzer lie-fert.

Wir setzen jeweils voraus, dass X1, . . . , Xn unabhängig und iden-tisch verteilt sind (unabhängige Wiederholungen von X).


1.4.1 Die Momentenmethode

In seiner einfachsten Form ist der Ansatz der Momentenmethode,ein interessierendes Moment von X (wie E(X), E(X2)) durch dasentsprechenden Moment der beobachteten Daten zu schätzen.Erwartungswerte werden durch arithmetische Mittel ersetzt.Beispiele:Schätzung von µ = E(X) durch X̄ = 1

n

∑ni=1 Xi

Schätzung von µ = E(X3) durch X̄ = 1n

∑ni=1 X3

i

1.4.2 Die Kleinste-Quadrate Methode

Der Ansatz der Kleinste-Quadrate Methode besteht darin, dieaufsummierten quadratischen Abweichungen zwischen Beobach-tungswert und geschätztem Wert zu minimieren. Dieses Prinzip�ndet insbesondere Anwendung in der Regressionsanalyse.Beispiel: Zur Bestimmung der zentralen Tendenz wird µ so ge-schätzt, dass

n∑

i=1

(Xi − µ)2 minimal

Daraus resultiert nach einfacher Ableitung als Schätzer das arith-metische Mittel X̄


1.4.3 Maximum Likelihood-Schätzung

Beispiel: Eine Firma besitze einen relativ groÿen Lagerbestandan Glühbirnen. Um sich einen Eindruck von dem Anteil defek-ter Glühbirnen zu verscha�en, wird eine Zufallsstichprobe von 5Birnen gezogen. 3 davon sind defekt.

Statistisches Modell:

• Zufallsvariable X =

1 falls Glühbirne defekt0 sonst

X ∼ Bernoulli(p)

p = P [X = 1] - Anteil der defekten Glühbirnen

• Einfache Zufallsstichprobe X1, . . . , X5. Die beobachtetenWer-te sindx1 = 1, x2 = 0, x3 = 1, x4 = 1, x5 = 0

Problem: Schätzung des wahren Wertes von p?

Idee der Maximum Likelihood-Schätzung: Man betrachtetalle möglichen Werte 0 ≤ p ≤ 1 und wählt dann denjenigenaus, der die beobachteten Daten am besten erklärt.


DieWahrscheinlichkeit, genau die beobachtete Stichprobe x1, . . . , x5

zu ziehen, hängt von p ab:

P [X1 = x1, X2 = x2, X3 = x3, X4 = x4, X5 = x5|p]

= P [X1 = x1] · P [X2 = x2] · P [X3 = x3]

· P [X4 = x4] · P [X5 = x5]

= p · (1− p) · p · p · (1− p)

= p3(1− p)2

⇒ Für alle p ∈ [0, 1]: Falls p der wahre Wert ist, so gilt

L(p) = P [X1 = x1, . . . , X5 = x5|p] = p3(1− p)2

L(p) wird als Likelihoodfunktion bezeichnet.

Für alle 0 ≤ p ≤ 1 gibt L(p) also die Wahrscheinlichkeit an,dass die beobachteten Werte x1, . . . , x5 auftreten, falls der be-trachtete Wert p gleich dem wahren Wert ist. Der Ansatz derMaximum Likelihood-Schätzung besteht nun darin, denjenigenWert auszuwählen für den diese Wahrscheinlichkeit maximal ist.

• p = 0 ⇒ L(p) = 0 ⇒ beobachtete Werte unmöglich!

• p = 0, 1 ⇒ L(p) = 0, 13 · 0, 92 = 0, 00081

• p = 0, 2 ⇒ L(p) = 0, 23 · 0, 82 = 0, 00512


0.0 0.2 0.4 0.6 0.8 1.0

p

0.00

0.01

0.02

0.03

0.04

L(p)

L(p) wird am Punkt p = 0.6 maximal ⇒ p̂ = 0.6 ist die Maxi-mum Likelihood-Schätzung des unbekannten wahren Wertesvon p.p̂ = 0.6 ist im Beispiel derjenige Wert von p ∈ [0, 1], für den dieWahrscheinlichkeit, dass gerade die beobachtetenWerte x1, . . . , x5

auftreten, maximal ist.


Das Maximum Likelihood-PrinzipDas obige Beispiel liefert eine Illustration des Maximum Likelihood-Prinzip zur Konstruktion einer Schätzfunktion. Allgemein lässtsich dieses Prinzip folgendermaÿen darstellen:Statistisches Modell:

• Man betrachtet eine einfache ZufallsstichprobeX1, . . . , Xn (unabhängige Wiederholungen von X). Die Ver-teilung von X hängt von einem Parameter θ ab, dessen wah-rer Wert unbekannt ist.

• beobachtete (realisierte) Werte: x1, . . . , xn

Problem: Schätze θ

¤£

¡¢1. Schritt: Berechnen der Likelihoodfunktion L(θ)

Die Likelihoodfunktion ergibt sich in Abhängigkeit von allen prin-zipiell möglichen Werten von θ. Sie quanti�ziert (bei diskretenZufallsvariablen) die Wahrscheinlichkeit, dass gerade die beob-achteten Werte x1, . . . , xn auftreten, falls der wahre Wert desParameters mit dem betrachteten Wert θ übereinstimmt.


• Diskrete Verteilung mit Wahrscheinlichkeitsfunktion f(x) ≡f(x|θ)

L(θ) ≡ L(x1, . . . , xn|θ) = P [X1 = x1, . . . , Xn = xn|θ]= P [X1 = x1|θ] · P [X2 = x2|θ] · · ·P [Xn = xn|θ]= f(x1|θ) · f(x2|θ) · · · f(xn|θ)

• Stetige Verteilung mit Dichtefunktion f(x) ≡ f(x|θ)

L(θ) ≡ L(x1, . . . , xn|θ) = f(x1|θ) · f(x2|θ) · · · f(xn|θ)

¨

§

¥

¦

2. Schritt: Maximieren von L(θ) über alle prinzipiell möglichenWerten θ liefert die Maximum Likelihood-Schätzung θ̂ deswahren Parameterwertes,

L(θ̂) = maxθ

L(θ)

Schätzwert: θ̂ ⇔ arg maxθ

L(x1, . . . , xn|θ)

Schätzfunktion: θ̂ ⇔ arg maxθ

L(X1, . . . , Xn|θ)


Illustration:Maximum Likelihood-Schätzung des Mittelwerts µ

einer Normalverteilung mit bekannter Varianz σ2 = 1

n = 20 Beobachtungen; f(x|µ) = 1√2π

exp(− (x−µ)2

2

)

µ = 2 ⇒ Likelihood L(2) klein:

-2 -1 0 1 2 3 4

x

0.0

0.1

0.2

0.3

0.4

f(xi| 2)

µ = 1 ⇒ Likelihood L(1) > L(2)

-2 -1 0 1 2 3 4x

0.0

0.1

0.2

0.3

0.4

f(xi| 1)

Maximale Likelihood für µ = x̄ = −0.29 ⇒ µ̂ = −0.29

-2 -1 0 1 2 3 4x

0.0

0.1

0.2

0.3

0.4

f(xi|-0.29)


Anwendung: Maximum Likelihood-Schätzung ei-nes Anteilswertes• X1, . . . , Xn einfache Zufallsstichprobe;

X ∼ Bernoulli(p);zu schätzen: wahrer Anteilswert p

• beobachtet: s =n∑

i=1

xi mal �1� und n− s mal �0�

• Damit ergibt sich

L(p) = P [X1 = x1] · P [X2 = x2] · · ·P [Xn = xn]

= ps(1− p)n−s

• Maximum-Likelihood: p̂ maximiert L(p)

• Eine Lösung des Maximierungsproblems ergibt sich durchAbleiten und Nullsetzen:

∂L(p)∂p

= sps−1(1− p)n−s − ps(n− s)(1− p)n−s−1

⇒ 0 = sp̂s−1(1− p̂)n−s − p̂s(n− s)(1− p̂)n−s−1

⇒ p̂ =s

n=

∑ni=1 xi

n= x̄

• durch Berechnen der zweiten Ableitung ist leicht zu über-prüfen, dass L(p) an der Stelle p̂ ein (eindeutig bestimmtes)Maximum annimmt.

⇒ X̄ ist Maximum Likelihood-Schätzer des Anteilswertes


1.4.4 Logarithmierte Likelihood

Vorgehen zur Bestimmung einer Maximum Likelihood-Schätzung:Ableiten von L(θ) und anschlieÿendes Nullsetzen.Problem: Oft �unfreundliche� AusdrückeAusweg: Verwendung der

Log-Likelihoodfunktion ln L(θ)

• θ̂ maximiert L(θ) ↔ θ̂ maximiert ln L(θ)

• Summen an Stelle von Produkten bei der Log-Likelihoodfunktion:

L(θ) = f(x1|θ) · f(x2|θ) · · · f(xn|θ)

⇒ ln L(θ) =n∑

i=1

ln f(xi|θ)

Ansatz zur Berechnung von θ̂:

1. Di�erenzieren: l(θ) = ddθ ln L(θ)

2. Nullsetzen: θ̂ Lösung von l(θ̂) = 0

3. Veri�kation, dass θ̂ wirklich ein Maximum ist (zweite Ablei-tung)


Anwendung: Maximum Likelihood-Schätzung desMittelwerts einer Normalverteilung• X1, . . . , Xn einfache Zufallsstichprobe;

X ∼ N(µ, σ2); σ2 bekanntzu schätzen: wahrer Mittelwert µ

• beobachtet: x1, . . . , xn

• Likelihoodfunktion:

L(µ) = f(x1|θ) . . . f(xn|θ)

=1√2πσ

exp

(− (x1 − µ)2

2σ2

). . .

1√2πσ

exp

(− (xn − µ)2

2σ2

)

• Log-Likelihoodfunktion:

ln L(µ) = n · ln 1√2πσ

+n∑

i=1

− (xi − µ)2

2σ2

• Ableitung nach µ:

l(µ) =d

dθln L(µ) =

n∑

i=1

(xi − µ)σ2


• Berechnung von µ̂:

0 = l(µ̂) =n∑

i=1

xi − µ̂

σ2

⇒ 0 =n∑

i=1

(xi − µ̂) =n∑

i=1

xi − nµ̂

⇒ µ̂ =∑n

i=1 xi

n= x̄

Anmerkung: Falls σ2 ebenfalls unbekannt ist, ist dieLog-Likelihoodfunktion

ln L(µ, σ2) = n · ln 1√2πσ

+n∑

i=1

− (xi − µ)2

2σ2

über µ und σ2 zu maximieren

• Partielle Ableitungen:l1(µ, σ2) = ∂

∂µ ln L(µ, σ2), l2(µ, σ2) = ∂∂σ2 ln L(µ, σ2)

• Nullsetzen: µ̂, σ̂2 Lösungen des Gleichungssystemsl1(µ̂, σ̂2) = 0, l2(µ̂, σ̂2) = 0

Durch analoge Rechnungen wie oben ergibt sich µ̂ = x̄. Als Ma-ximum Likelihood-Schätzung von σ2 ergibt sich

s̃2 =1n

n∑

i=1

(xi − x̄)2


Eigenschaften von ML-Schätzern• ML-Prinzip sehr direkt:

Maximierung der (Log-)Likelihoodfunktion

• Anwendung in komplexen Situationen:numerische, rechnergestützte Lösungen unter Verwendunggeeigneter Optimierungsalgorithmen

• Vollständige asymptotische statistische Theorie� Asymptotische Theorie ⇒ Approximation für wachsende

Stichprobengröÿe n (n →∞, Schreibweise: θ̂ ≡ θ̂n)

• Eigenschaften von ML-Schätzern (asymptotische Theorie):Unter schwachen Regularitätsbedingungen

� Asymptotisch erwartungstreu: E(θ̂n) → θ0 für n →∞

� Konsistenz: θ̂n →p θ0 für n →∞

� Asymptotisch wirksamste (e�ziente) Schätzer von θ0


1.5 Statistische Testverfahren

Beipiel: t-TestEinfache Zufallsstichprobe:X1, . . . , Xn unabhängig und iden-tisch N(µ, σ2) verteilt.

• Einseitiger TestNullhypothese H0: : µ = µ0

Alternative H1: µ > µ0

• Zweiseitiger TestNullhypothese H0: µ = µ0

Alternative H1: µ 6= µ0

Statististischer Test:Verfahren zur Entscheidung zwischenH0 und H1 auf der Grundlage der beobachteten Daten

Fehler 1. Art: H0 wird abgelehnt, obwohl H0 richtig istFehler 2. Art: H0 wird angenommen, obwohl H0 falsch ist

Test zum Niveau α (z.B. α = 5%)

P ( Fehler 1. Art ) ≤ α


Teststatistik des t-Tests:

T =√

n(X̄ − µ0)S

Test zum Niveau α

• Einseitiger Test: Ablehnung von H0, falls

Tbeobachtet ≥ tn−1;1−α

• Zweiseitiger Test: Ablehnung von H0, falls

|Tbeobachtet| ≥ tn−1;1−α/2

Der p-Wert (Überschreitungswahrscheinlichkeit):• Einseitiger Test:

p-Wert = P (Tn−1 ≥ Tbeobachtet)

• Zweiseitiger Test:

p-Wert = P (|Tn−1| ≥ |Tbeobachtet|)


Allgemein: p-Wert = Wahrscheinlichkeit, unter H0 den beob-achteten Prüfgröÿenwert oder einen in Richtung der Alternativeextremeren Wert zu erhalten.

Interpretation:• �Glaubwürdigkeit� von H0: H0 ist wenig glaubwürdig, falls

der p-Wert sehr klein ist

• Der in einer konkreten Anwendung berechnete p-Wert hängtvon dem beobachteten Datensatz ab. Er liefert Informa-tionen über die Resultate der zugehörigen Signi�kanztestszu den verschiedenen Niveaus α :

α > p-Wert ⇒ Ablehnung von H0

α < p-Wert ⇒ Beibehaltung von H0

In der Praxis:• Test �signi�kant�, falls p-Wert < 0.05 (d.h. ein Test zum

Niveau 5% führt zur Ablehnung von H0)

• Häu�g: Test �schwach �signi�kant, falls 0.05 > p-Wert > 0.01(d.h. ein Test zum Niveau 5% führt zur Ablehnung von H0;ein Test zum Niveau 1% führt dagegen zur Beibehaltung vonH0)


Beispiel 1.1

Daten:X1 = 19.20, X2 = 17.40, X3 = 18.50, X4 = 16.50, X5 = 18.90,n = 5.

⇒ X̄ = 18.1

Testproblem: H0 : µ = 17 gegen H1 : µ 6= 17

Tbeobachtet =√

5(18.1− 17)1.125

= 2.187

⇒ p-Wert = P (|Tn−1| ≥ 2.187) = 0.094

Tests zu verschiedenen Niveaus α:α = 0.2 ⇒ 2.187 > t4,0.9 = 1.533 ⇒ Ablehnung von H0

α = 0.1 ⇒ 2.187 > t4,0.95 = 2.132 ⇒ Ablehnung von H0

α = 0.094 = p-Wert ⇒ 2.187 = t4,0.953 = 2.187⇒ Ablehnung von H0

α = 0.05 ⇒ 2.187 < t4,0.975 = 2.776 ⇒ Annahme von H0

α = 0.01 ⇒ 2.187 < t4,0.995 = 4.604 ⇒ Annahme von H0


1.6 Gra�sche Darstellung von Verteilungen

1.6.1 BoxplotGraphische Darstellung einigerMa�zahlen der Lage und der VariationBoxplot (Box{Whisker{Plot, Schachtelzeichnung)

x0;25 � 3QAx0;25 � 1;5QA (lower fence)x0;25x0;75x0;75+1;5QA (upper fence)x0;75+3QA

x0;5 QAÆ?

Æ?


Fortsetzung Beispiel 0.1 (Car Data)Die Daten in der Graphik stammen aus der zweiten Spalte im�Car data��Datensatz und beschreiben den Benzinverbrauch (mi-les per gallon) für amerikanische, japanische und europäischeAutomobilproduzenten.

U.S. Autos japanische Autos Europ. Autos

1520

2530

3540

Boxplot für Benzinverbrauch

Ben

zinv

erbr

auch

(in

mile

s pe

r G

allo

n)

Plym. Champ

VW Rabbit Diesel


1.6.2 Histogramm

f(x)^

{

h{

h

{h

{

h

{h

X 0

��

��

��

��

��

��

��

�� X

• Ausgehend von einem Punkt x0 zeichne über alle Intervalleder Form [x0 + jh, x0 + (j + 1)h) Rechtecke mit� Breite: h

� Höhe :Anzahl Datenpunkte in [x0 + jh, x0 + (j + 1)h)

nh

=1h·

n∑i=1

I (xi ∈ [x0 + jh, x0 + (j + 1)h))

n

=1h· relative Häu�gkeit f̂j

� Fläche :

n∑i=1

I (xi ∈ [x0 + jh, x0 + (j + 1)h))

n

• x0, h frei wählbare Parameter,h - �Binbreite� (binwidth)


1.6.3 Empirische Verteilungsfunktion

Die empirische Verteilungsfunktion beantwortet die Frage, wel-cher Anteil der Daten kleiner oder gleich einem interessiertemx-Wert ist. Um diese Frage zu beantworten, bildet man die biszur Schranke x aufsummierten relativen Häu�gkeiten. Die em-pirische Verteilungsfunktion eines diskreten Merkmals lässt sichfolgendermaÿen beschreiben:

F (x) =H(x)

n=

Anzahl der Werte xi mit xi ≤ x

n

Die empirische Verteilungsfunktion bei diskreten Merkmalen isteine monoton wachsende Treppenfunktion, die an den Ausprä-gungen a1, . . . , ak um die entsprechende relative Häu�gkeit nachoben springt.

0 1 2 3 4 5

0.0

0.2

0.4

0.6

0.8

1.0

empirische Verteilungsfunktion

x

Fn(

x)


Fortsetzung Beispiel 0.1 (Car Data)

10 15 20 25 30 35 40

0.0

0.2

0.4

0.6

0.8

1.0

empirische Verteilungsfunktion Benzinverbrauch Car−Data

miles per Gallon

empir

ische

Ver

teilu

ngsfu

nktio

n

Mit zunehmender Anzahl an realisierten Ausprägungen wird diesprunghafte Treppenfunktion immer glatter und geht in eine ste-tige, monoton wachsende Verteilungsfunktion über.

−3 −2 −1 0 1 2 3 4

0.0

0.2

0.4

0.6

0.8

1.0

empirische Verteilungsfunktion einer normalverteilten Zufallsvariablen (n=200)

x

Fn(x

)


1.6.4 Normal-Quantil-Plots (NQ-Plots)

• Quantile der Standardnormalverteilungp 0.5 0.75 0.95 0.975 0.99

zp 0 (Median) 0.67 1.64 1.96 2.33

• Für eine N(µ, σ2)-Verteilung gilt folgende Beziehung zwi-schen den zugehörigen Quantilen ψp und den entsprechendenQuantilen zp der Standardnormalverteilung:

ψp = µ + σ · zp

• Daten: X1, X2, . . . , Xn

• Geordnete Urliste der Daten X(1) ≤ · · · ≤ X(n)

⇒ X(i) schätzt das i−0.5n -Quantil der zugrundeliegen-

den Verteilung von X

• Der Normal-Quantil-Plot besteht aus den Punkten(z 0,5

n, X(1)), (z 1,5

n, X(2)), (z 2,5

n, X(3)), · · · , (zn−0,5

n, X(n))

im z-x-Koordinatensystem

• Falls die Verteilung von X wirklich eine Normalverteilungist, sollten die Punkte (z i−0,5

n, X(i)) approximativ auf einer

Gerade liegen,

X(i) = β0 + β1z i−0,5n

+ Zufallsschwankungen


−2 −1 0 1 2

−2

−1

01

2

NQ−Plot einer Normalverteilung (a)

Theoretical Quantiles

Sam

ple

Qua

ntile

s

−2 −1 0 1 2

−5

05

1015

NQ−Plot einer linkssteilen Verteilung (b)


Sam

ple

Qua

ntile

s

−2 −1 0 1 2

−10

−6

−4

−2

02

4

NQ−Plot einer rechtssteilen Verteilung (c)


Sam

ple

Qua

ntile

s

−2 −1 0 1 2

−5

05

NQ−Plot einer symmetrischen, stark gekümmten Verteilung (d)


Sam

ple

Qua

ntile

s

Falls weiterhin x̄ = 0 gilt, aber die Verteilung linkssteil ist, sosind die z-Quantile gröÿer als die x-Quantile, so dass der NQ-Plotdurchhängt, in der Tendenz also konvex ist (siehe b). Für einerechtssteile Verteilung erhält man ganz analog einen konkavenNQ-Plot (siehe c).Für eine symmetrische Verteilung, die bei barx = 0 einen imVergleich zur Standardnormalverteilung spitzeren Gipfel, d.h. ei-ne stärkere Wölbung hat und dafür dickere Enden links undrechts besitzt, erhält man einen NQ-plot wie in Abbildung d.


2 Multivariate Verteilungen und die Be-schreibung hochdimensionaler Daten

2.1 Elementare Matrixalgebra

• A− (n× d) Matrix

A =

a11 . . . a1d

...an1 . . . and

• Transponierte einer (n× d)-Matrix A

AT =

a11 . . . an1

...a1d . . . and

⇒ AT − (d× n) Matrix

• Spezialfall: n = d ⇒ Eine (d× d)-Matrix A heiÿt �quadrati-sche Matrix�

• Sei A eine quadratische (d × d)-Matrix; A heiÿt �symme-trisch�, fallsAT = A ⇔ aij = aji für alle i, j = 1, . . . , d


• Summe zweier (n× d)-Matrizen A,B

A + B =

a11 . . . a1d

...an1 . . . and

+

b11 . . . b1d

......

bn1 . . . bnd

=

a11 + b11 . . . a1d + b1d

...an1 + bn1 . . . and + bnd

• Produkt einer (n1× d)-Matrix A und einer (d×n2)-MatrixB

A ·B =

a11 . . . a1d

...an11 . . . an1d

·

b11 . . . b1n2

...bd1 . . . bdn2

=

d∑i=1

a1ibi1 . . .d∑

i=1

a1ibin2

...d∑

i=1

an1ibi1 . . .d∑

i=1

an1ibin2

︸︷︷︸(n1×n2)−Matrix

• Rang einer (n× d)-Matrix A:rang(A) = Anzahl der voneinander linear unabhängigen Zei-len bzw. Spalten


• Determinante einer quadratischen (d× d)-Matrix

| A |=∑

±a1ia2i . . . adm

Summierung über alle Permutationen i, j, . . . ,m) von (1, 2, . . . , d);positives Vorzeichen bei geraden Permutationen, negativesVorzeichen bei ungeraden Permutationen

• Spur einer quadratischen (d× d)-Matrix

spur(A) =d∑

i=1

aii = Summe der Diagonalelemente

• Inverse einer symmetrischen (d×d)-Matrix A, rang(A) = d:

A−1 ·A = A ·A−1 = Id

� A−1 - Inverse von A

� Id - (d× d)-Einheitsmatrix:

Id =

1 0. . .

0 1


Terminologie: Vektoren und Matrixen

Name De�nitionen BeispielSkalar a ∈ R (d = n = 1) 3

Spaltenvektor a =

a1

a2

...ap

(d = 1)

1

3

Zeilenvektor aT = (a1, . . . , ap) (n = 1) (1 3)

Vektor von Einsen 1n = (1, . . . , 1)︸︷︷︸n

T

1

1

Vektor von Nullen 0n = (0, . . . , 0)︸︷︷︸n

T

0

0

Diagonalmatrix aij = 0, i 6= j, n = p

1 0

0 2


Name De�nitionen Beispiel

Einheitsmatrix (p× p) Ip =

1 0. . .

0 1

︸︷︷︸p

1 0

0 1

symmetrische Matrix(p× p)

aij = aji (AT = A)

1 2

2 3

Null-Matrix aij = 0

0 0

0 0

OberereDreiecksmatrix

aij = 0 i < j

1 2 4

0 1 3

0 0 1

Idempotente Matrix A2 = A

1/2 1/2

1/2 1/2

Orthogonale Matrix AT A = AAT = I

1√2

1√2

1√2

− 1√2


Wichtige Rechenregeln

• spur(A + B) = spur(A) + spur(B) , falls A, B (n × p)-Matrizen

• spur(cA) = c · spur(A) , falls A (n× p)-Matrix, c Skalar

• spur(AB) = spur(BA) , falls A (n× p)-Matrix,B (p× n)-Matrix

• |cA| = cp|A| , falls A (p× p)-Matrix, c Skalar

• |AB| = |A||B| , falls A,B (p× p)-Matrizen

• |AB| = |BA|, falls A (n× p)-Matrix, B (p× n) Matrix

• |A−1| = |A|−1 , falls A (p× p)-Matrix, rang(A) = p


Eigenwerte und Eigenvektoreneiner quadratischen (d× d)-Matrix A:

γ = (γ1, . . . , γd]T ∈ IRd Eigenvektor zum Eigenwert λ ∈ IR genaudann wenn

A · γ = λ · γA symmetrische (d× d)-Matrix⇒ Es existieren d orthonormale Eigenvektoren γ1, . . . , γd ∈ IRd

und d zugehörige reele Eigenwerte λ1, . . . , λd, so dass

• A · γi = λi · γi, i = 1, . . . , d

• spur(A) =d∑

i=1

λi

• | A |= λ1 · λ2 · . . . · λd

Orthonormal: γTi γi = 1, γT

i γj = 0 für alle i, j = 1, . . . , d

Beispiel: Sei A =

2 0

0 3

• Eigenwerte von A: λ1 = 3, λ2 = 2

• Eigenvektoren: γ1 =

0

1

, γ2 =

1

0


2.2 Charakterisierung multivariaterVerteilungen

• Ein d-dimensionaler Zufallsvektor ist ein Spaltenvektor X =(X1, . . . , Xd)T , dessen einzelne Elemente alle Zufallsvaria-blen sind.

• Ziel: Analyse von X auf der Grundlage einer Zufallsstich-probe Xi = (X1i, X2i, . . . , Xdi)T , i = 1, . . . , n

• Gra�sche Darstellung: Scatterplot

Diskrete Zufallsvariable: X nimmt nur abzählbarviele Werte x1, x2, · · · ∈ IRd an:Wahrscheinlichkeitsfunktion: p(xi) = P (X = xi)

⇒ P (X ∈ [a1, b1]× · · · × [ad, bd]) =∑

xi∈[a1,b1]×···×[ad,bd]

p(xi)

Stetige Zufallsvariable:Dichtefunktion: f(x1, . . . , xd)

⇒P (X ∈ [a1, b1]× · · · × [ad, bd])

=

b1∫

a1

. . .

bd∫

ad

f(x1, . . . , xd)dx1 . . . dxd


ScatterplotAlter vs. Stundenlohn

20 30 40 50 60Alter

1020

3040

Stun

denlo

hn

3D-ScatterplotAlter vs. Stundenlohn vs. Ausbildungsjahre

2633

4149

(Alter) 8

16

23

30

(Lohn)

5

7

10

13

(Ausbildung)


Scatterplot-Matrix Alter

Stundenlohn

Ausbildungsjahre


Eigenschaften von Dichtefunktionen:• f(x1, . . . , xd) ≥ 0

•∫ ∞

−∞. . .

∫ ∞

−∞f(x1, . . . , xd)dx1 . . . dxd = 1

Anmerkung: Eine allgemeine Möglichkeit zur Darstellung vonWahrscheinlichkeiten ist wiederum die Verteilungsfunktion F :

F (a1, . . . , ad) = P (X1 ≤ a1, . . . , Xd ≤ ad)

Zur Vereinfachung der Schreibweise werden im folgenden nur ste-tige Zufallsvariablen betrachtet.

Jedes Element Xj von X besitzt eine Randverteilung(oder �Marginalverteilung�). Dies ist nichts anderes als dieunivariate Verteilung von Xj (ohne Berücksichtigung deranderen Variablen).

Formal:

• Verteilungsfunktion der Randverteilung von Xj :

Fj(x) = P (Xj ≤ x)

• Randdichte fj , z.B. für j = 1

f1(x1) =∫ ∞

−∞. . .

∫ ∞

−∞f(x1, x2 . . . , xd)dx2 . . . dxd


Exkurs: Mehrdimensionale Integrale

Die Berechnung von∫ b1

a1

∫ b2

a2

g(x, y)dxdy erfolgt in zwei Schrit-ten:

1. Berechnung der Funktion G(y) =∫ b2

a2

g(x, y)dx für jeden

Wert y

2. Berechnung von∫ b1

a1

G(y)dy

Beispiel:∫ 1

0

∫ 1

0

4xy dxdy =∫ 1

0

{4y[

12x2]10

}dy =

∫ 1

0

2y dy = 1

Rechenregeln:∫ b1

a1

∫ b2

a2

g(x, y)dxdy =∫ b2

a2

∫ b1

a1

g(x, y)dydx

∫ b1

a1

∫ b2

a2

g1(y)g2(x, y)dxdy =∫ b1

a1

g1(y)∫ b2

a2

g2(x, y)dxdy

Abkürzungen:∫g(x, y) dxdy =

∫ ∞

−∞

∫ ∞

−∞g(x, y)dxdy

∫

[a1,b1]×[a2,b2]

g(x, y) dxdy =∫ b1

a1

∫ b2

a2

g1(y)g2(x, y)dxdy


Bedingte Verteilungen

Bedingte Verteilung von Xj gegebenX1 = x1, . . . , Xj−1 = xj−1, Xj+1 = xj+1, . . . , Xp = xd

= Verteilung von Xj bei festgehaltenen Werten vonX1 = x1, . . . , Xj−1 = xj−1, Xj+1 = xj+1, . . . , Xd = xd

Beispiel: bedingte Dichte von X1 gegeben X2 = x2, . . . , Xd = xd:

f(x1 | x2, . . . , xd) =f(x1, x2, . . . , xd)

fX2,...,Xd(x2, . . . , xd)

wobei fX2,...,Xdgemeinsame Dichte von X2, . . . , Xd

Von zentraler Bedeutung in der Regressionsanalyse sind bedingteErwartungswerte:

Bedingter Erwartungswert von X1 für gegebene WerteX2 = x2, . . . , Xd = xd:m(x2, . . . , xd) := E(X1|X2 = x2, . . . , Xd = xd)

=∫

x1f(x1 | x2, . . . , xd)dx1

m(x2, . . . , xd) - Regressionsfunktion


Unabhängigkeit:

Die Zufallsvariablen X1, . . . , Xd sind voneinanderunabhängig, wenn für alle x = (x1, . . . , xd)T giltF (x1, . . . , xd) = F1(x1) · F2(x2) · . . . · Fd(xd) bzw.f(x1, . . . , xd) = f1(x1) · f2(x2) · . . . · fd(xd)

Folgerungen: Ist Xj unabhängig von Xk, so gilt

• Die Randdichte von Xj ist gleich der bedingten Dichte vonXj gegeben Xk = xk

fj(xj) = f(xj | xk) für alle xk

• Der bedingte Erwartungswert von Xj gegeben Xk = xk istgleich dem unbedingten Erwartungswert von Xj (die Regres-sionsfunktion ist eine Konstante)

E(Xj | Xk = xk) = E(Xj) für alle xk


Beispiel

X1 - verfügbares HaushaltseinkommenX2 - Alter des Haushaltsvorstandes

Daten: Britischer �Family Expenditure Survey�; Zufallstichprobevon ungefähr 7000 Haushalten im Jahr 1976

Geschätzte gemeinsame Dichte von relativem Einkom-men und Alter

0.5

1

1.5

2

20

40

60

80

100

00.0

10.0

20.0

3


Geschätzte Dichte der Randverteilung des relativen Ein-kommens

0.0 22.8 45.6 68.4 91.2 114.0 136.8 159.6 182.4income

0.000

0.004

0.008

0.012

Regression von Einkommen auf Alter

20 30 40 50 60 70

age

0.5

0.9

1.3

1.7

inco

me


Beispiel: Sei X = (X1, X2)T und

f(x1, x2) =

12x1 + 3

2x2 falls 0 ≤ x1, x2 ≤ 1

0 sonst

f ist eine Dichtefunktion, da f(x1, x2) ≥ 0 und∞∫

−∞

∞∫

−∞f(x1, x2)dx1dx2 =

12

[x2

1

2

]1

0

+32

[x2

2

2

]1

0

=14

+34

= 1

Dichte der Randverteilungen:

f1(x1) =

∞∫

−∞f(x1, x2)dx2 =

1∫

0

f(x1, x2)dx2 =12x1 +

34

f2(x2) =

∞∫

−∞f(x1, x2)dx1 =

1∫

0

f(x1, x2)dx1 =32x2 +

14

Man beachte:

f(x1, x2) =12x1+

32x2 6=

(12x1 +

34

)·(

32x2 +

14

)= f1(x1)·f2(x2)

⇒ X1 und X2 sind nicht unabhängig


Bedingte Dichte von X2 gegeben X1 = x1

f(x2 | x1) =12x1 + 3

2x2

12x1 + 3

4

⇒ Regressionsfunktion: Bedingter Erwartungswert von X2 gege-ben X1 = x1

m(x1) = E(X2 | X1 = x1)

=

1∫

0

x2f(x2 | x1)dx2 =

1∫

0

x2

12x1 + 3

2x2

12x1 + 3

4

dx2 =14x1 + 1

212x1 + 3

4

Anmerkung: Dies ist eine nichtlineare Funktion von x1


2.3 Erwartungswerte multivariater Verteilun-gen

Die wichtigsten Parameter einer univariaten Verteilung sind derErwartungswert (Zentrum der Verteilung) und die Varianz (Maÿfür die Streuung).Die entsprechenden Parameter einer multivariaten Verteilung sindder Vektor der Erwartungswerte und die Kovarianzmatrix.

Erwartungswert (�Mittelwert�) der Zufallsvariable Xj , j =1, . . . , d :

µj = E(Xj) =

∞∫

−∞xfj(x)dx

⇒ Erwartungsvektor

µ =

µ1

...µd

= E(X) =

E(X1)...

E(Xd)


Allgemeine Berechnung von Erwartungswerten(zur Vereinfachung: d = 2).Sei X = (X1, X2)T und g : R2 → R eine stetige Funktion vonx = (x1, x2)T

⇒ E(g(X)) =

∞∫

−∞

∞∫

−∞g(x1, x2)f(x1, x2)dx1dx2

Rechenregeln

• Sei a = (a1, . . . , ad)T ein fest vorgegebener Vektor. Dann gilt

E(a) = a, E(aT X) = aT E(X) = aT µ

• Sei a = (a1, . . . , am)T und A eine (m× d)-Matrix. Dann gilt

E(A ·X + a) = A · E(X) + a = A · µ + a


2.4 Die Kovarianzmatrix

Maÿ für die Streuung der Z.v. Xj , j = 1, . . . , d :

Varianz von Xj

Var(Xj) = σ2j = E((Xj − µj)2)

Maÿ für den Zusammenhang zweier Z.v. Xj und Xk:Kovarianz zwischen Xj und Xk

σjk := Cov(Xj , Xk) = E[(Xj − µj) · (Xk − µk)]

Eigenschaften der Kovarianz:

• Cov(Xj , Xk) > 0 ⇒ tendenziell Xj ↗⇔ Xk ↗• Cov(Xj , Xk) < 0 ⇒ tendenziell Xj ↗⇔ Xk ↘• Xj , Xk unabhängig ⇒ Cov(Xj , Xk) = 0

Bei höherdimensionalen Zufallsvektoren ordnet man die Varian-zen und Kovarianzen der einzelnen Komponenten in einer Matrixan. Dies ergibt die Kovarianzmatrix Σ des Zufallsvektors X


Kovarianzmatrix von X = (X1, . . . , Xd)T

Σ = COV(X) =

σ21 σ12 σ13 · · · σ1d

σ21 σ22 σ23 · · · σ2d

......

......

σd1 σd2 σd3 · · · σ2d

Es gilt

Σ = E[(X − µ)(X − µ)T ]

=

E((X1 − µ1)2) . . . E[(X1 − µ1)(Xd − µd)]...

...E[(Xd − µd)(X1 − µ1)] . . . E[(Xd − µd)2]

• Σ = COV(X) ist eine symmetrische (d× d)-Matrix

• Σ = COV(X) ist eine positiv semide�nite Matrix: Für jedenVektor a = (a1, . . . , ad)T gilt

aT Σa ≥ 0

Schreibweise: Σ ≥ 0


Standardisiertes Zusammenhangsmaÿ: Korrelation

ρ(Xj , Xk) = ρjk =σjk

σj · σk=

Cov(Xj , Xk)√Var(Xj)Var(Xk)

Eigenschaften der Korrelation:

• ρ(Xj , Xk) > 0 ⇒ tendenziell Xj ↗⇔ Xk ↗• ρ(Xj , Xk) < 0 ⇒ tendenziell Xj ↗⇔ Xk ↘• Xj , Xk unabhängig ⇒ ρ(Xj , Xk) = 0

• −1 ≤ ρ(Xj , Xk) ≤ 1

• ρ(Xj , Xk) = 1 ⇒ Xj = β0 + β1Xk für ein β1 > 0

• ρ(Xj , Xk) = −1 ⇒ Xj = β0 + β1Xk für ein β1 < 0

Korrelationsmatrix

P =

1 ρ12 ρ13 · · · ρ1d

ρ21 1 ρ23 · · · ρ2d

......

......

ρd1 ρd2 ρd3 · · · 1

P ist die Kovarianzmatrix der standardisierten VariablenZj = (Xj − µj)/σj .


Zusammenhang von Korrelation und Lage derPunktewolkePerfekte Korrelation*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

**

*

*

*

*

*

**

*

*

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

*

**

*

*

*

*

**

*

*

**

*

*

*

*

*

*

**

*

*

*

*

*

*

*

***

*

*

*

*

*

**

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

***

*

*

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

*

*

*

*

**

*

*

*

*

*

*

**

**

*

*

*

*

*

**

**

*

-2.0 -1.0 0.0 1.0 2.0X[,1]

-2.0

-1.0

0.0

1.0

2.0

X[,2]

r=+1

*

*

**

**

*

***

*

*

*

**

*

**

**

**

*

*

*

*

***

*

*

*

*

*

*

*

*

***

*

****

*

*

*

*

*

*

*

**

*

**

**

*

*

**

*

*

*

*

*

*

**

**

*

**

*

*

*

*

*

*

*

**

*

*

*

*

*

**

**

*

**

**

*

**

*

*

*

*

**

*

*

*

*

*

**

*

*

*

*

**

*

*

*

*

*

*

*

*

**

*

*

**

*

*

*

**

*

*

**

**

**

*

*

-3.0 -2.0 -1.0 0.0 1.0 2.0X[,1]

-2.0

-1.0

0.0

1.0

2.0

3.0

X[,2]

r=-1


Starke Korrelation*

**

*

*

*

*

*

*

*

*

*

*

*

*

**

*

*

**

*

**

*

*

* *

**

*

*

*

*

*

**

*

*

*

*

*

*

**

*

*

*

*

*

*

*

*

*

*

*

*

*

**

*

*

*

*

*

*

*

**

*

*

*

*

*

**

*

*

*

* *

*

**

*

*

*

*

*

**

*

*

*

*

**

*

*

*

*

*

* **

**

*

*

*

*

*

**

*

*

*

*

*

*

*

*

*

* ***

** *

*

**

*

*

* *

*

*

*

*

*

**

*

**

*

*

*

-2.0 -1.0 0.0 1.0 2.0 3.0 4.0X[,1]

-2.0

-1.0

0.0

1.0

2.0

X[,2]

r=+0.8

*

*

**

*

*

*

**

***

*

*

*

**

*

**

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*** *

*

*

*

*

*

*

**

*

**

*

* *

*

*

*

**

**

*

*

*

* *

*

**

*

**

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

**

*

*

* *

*

*

**

*

**

*

*

*

*

*

*

*

*

*

*

*

*

* *

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

**

*

*

*

*

-3.0 -2.0 -1.0 0.0 1.0 2.0X[,1]

-2.0

-1.0

0.0

1.0

2.0

X[,2]

r=-0.8


Schwache Korrelation*

*

*

*

*

*

*

*

*

*

*

*

*

*

**

* **

**

*

**

*

*

*

*

***

*

*

**

*

* *

*

*

**

**

*

**

* *

*

*

*

*

*

**

*

*

*

*

* *

*

*

*

*

**

*

*

*

*

*

**

*

*

* *

*

*

*

*

*

*

**

*

*

*

*

*

*

*

**

* ** *

*

*

**

** *

*

*

*

*

****

****

*

*

*

*

*

*

*

*

*

*

*

* *

*

*

*

*

*

* *

*

*

*

*

**

**

*

* *

-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0X[,1]

-3.0

-2.0

-1.0

0.0

1.0

2.0

3.0

X[,2]

r=+0.2

*

*

*

*

*

*

*

*

*

*

**

**

*

*

*

*

*

*

**

*

*

**

*

*

* *

*

*

*

*

*

*

*

**

**

*

*

* *

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

**

*

*

*

*

*

*

*

**

*

*

*

* *

*

*

*

*

*

*

**

*

*

*

***

*

*

*

*

*

*

*

*

*

*

***

*

*

**

* *

*

**

*

**

*

*

*

*

*

* **

*

*

*

*

* *

**

*

-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0X[,1]

-2.0

-1.0

0.0

1.0

2.0

X[,2]

r=-0.2


Keine Korrelation

**

*

*

* *

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

**

*

*

*

**

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

**

*

*

**

*

*

*

*

*

*

*

*

*

*

*

*

**

**

*

*

*

**

*

*

*

**

*

*

*

*

*

*

*

*

*

*

*

**

*

*

** *

**

**

***

*

*

**

*

*

*

*

*

*

**

**

*

**

*

***

* **

*

*

*

*

*

*

-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0X[,1]

-2.0

-1.0

0.0

1.0

2.0

X[,2]

r=0


Rechenregeln:

• Σ = COV(X) = E[XXT ]−E(X) · E(X)T

• Für einen fest vorgegebenen Vektor a ∈ IRd:

COV(aT X) = aT · COV(X) · a

• Für einen festen Vektor a ∈ IRm und eine (m× d)-Matrix A

COV(A ·X + a) = A · COV(X) ·AT

• Für zwei d-dimensionale Z.v. X und Y

COV(X + Y ) =COV(X) + COV(Y ) + E[(X − E(X))(Y − E(Y ))T ]

+ E[(Y − E(Y )(X − E(X))T ]


Daten: Xi = (X1i, X2i, . . . , Xdi)T , i = 1, . . . , n

Schätzung von µ durch

X̄ =1n

n∑

i=1

Xi =

1n

∑ni=1 X1i

...1n

∑ni=1 Xdi

=

X̄1

...X̄d

Empirische Varianzen:

s2j =

1n− 1

n∑

i=1

(Xji − X̄j)2

Empirische Kovarianzen:

sjk =1

n− 1

n∑

i=1

(Xji − X̄j)(Xki − X̄k)

Empirischer Korrelationskoe�zient

rjk =sjk

sjsk

⇒ Empirische Kovarianzmatrix S und empirische Korrelations-matrix R (Schätzungen von Σ und P )


Anwendung: Marktstudie über den Verkauf einer bestimm-ten Pullovermarke (�Classic blue pullover�)

X1 - Anzahl der verkauften PulloverX2 - Preis des PulloversX3 - Ausgaben für WerbungX4 - Zeitliche Dauer der Anwesenheit eines Verkäufers (in Stun-den)

Daten für n = 10 Perioden

Ergebnisse:

X̄1 = 172.7, X̄2 = 104.7, X̄3 = 104.0, X̄4 = 93.8

Σ̂ = S =

1037.21

−80.02 219.84

1430.70 92.10 2624.00

271.44 −91.58 210.30 177.36

P̂ = R =

1

−0.168 1

0.867 0.121 1

0.633 −0.464 0.308 1


2.5 Die Spektralzerlegung

Problem: Allgemeine Darstellung, Berechnung von Matrizenwie Σ−1,Σ−

12 bei gegebenen Σ?

Spektralzerlegung: Sei A eine symmetrische (d × d)-Matrix.Dann lässt sich A in der folgenden Form umschreiben:

A = ΓΛΓT

=d∑

j=1

λjγjγTj

wobei

• λ1, λ2, . . . , λd - Eigenwerte von A und

Λ =

λ1

λ2 0. . .

0 λd

• γ1, γ2, . . . , γd orthonormale Eigenvektoren zu den Eigenwer-ten λ1, . . . , λd

undΓ = (γ1 . . . γd)

Γ ist eine orthogonale Matrix


Beispiel:

Sei A =

1 2

2 3

Die Eigenwerte von A ergeben sich als Nullstellen von∣∣∣∣∣∣1− λ 2

2 3− λ

∣∣∣∣∣∣= (1− λ)(3− λ)− 4 = 0

⇒ Eigenwerte:

λ1 = 2 +√

5, λ2 = 2−√

5

Eigenvektoren:

γ1 =

0.5257

0.8506

, γ2 =

0.8506

−0.5257

Somit ergibt sich:

A =

0.5257 0.8506

0.8506 −0.5257

2 +

√5 0

0 2−√5

0.5257 0.8506

0.8506 −0.5257

A−1 =

0.5257 0.8506

0.8506 −0.5257

1

2+√

50

0 1

2−√5

0.5257 0.8506

0.8506 −0.5257


Zerlegung einer Kovarianzmatrix Σ (nichtsingulär)Da Σ > 0 gilt λ1, . . . , λd > 0

Spektralzerlegung:

Σ = ΓΛΓT = Γ

λ1

λ2 0. . .

0 λd

ΓT

Σ−1 = ΓΛ−1ΓT mit Λ−1 =

1λ1

1λ2

0. . .

0 1λd

Σ−12 = ΓΛ−

12 ΓT mit Λ−

12 =

1√λ1

1√λ2

0. . .

0 1√λd


Beispiel: Sei

Σ =

1 1

2

12 1

Eigenwerte:λ1 =

32, λ2 =

12

Eigenvektoren:

γ1 =

1√2

1√2

, γ2 =

1√2

− 1√2

⇒ Σ =

1√2

1√2

1√2

− 1√2

32 0

0 12

1√2

1√2

1√2

− 1√2

Σ−1 =

1√2

1√2

1√2

− 1√2

23 0

0 2

1√2

1√2

1√2

− 1√2

Σ−12 =

1√2

1√2

1√2

− 1√2

√23 0

0√

2

1√2

1√2

1√2

− 1√2


2.6 Die multivariate Normalverteilung

Die wichtigste multivariate Verteilung ist die sogenannte �multi-variate Normalverteilung�.Als Vorstufe betrachten wir die gemeinsame Verteilung von d un-abhängig normalverteilten Zufallsvariablen X1, X2, . . . , Xd, wo-bei Xi ∼ N(µi, σ

2i ). Die Dichtefunktion fi von Xi ist dann gege-

ben durch

fi(xi) =1√

2πσi

exp(−12(xi − µi

σi)2)

Unabhängigkeit impliziert

f(x1, x2, . . . , xd) = f1(x1)f2(x2) . . . fd(xd)

=1

(2π)d/2σ1 · · ·σdexp(−1

2

d∑i=1

(xi − µi

σi)2)

Matrizielle Form: Mit x = (x1, . . . , xd)T ,µ = (µ1, . . . , µd)T und

Σ :=

σ21 0 0 · · · 0

0 σ22 0 · · · 0

· · · ·· · · ·· · · ·0 0 0 · · · σ2

d

gilt

f(x1, . . . , xd) =1

(2π)d/2|Σ|1/2exp(−1

2(x− µ)T Σ−1(x− µ))


De�nition: Ein Zufallsvektor X = (X1, . . . , Xd)T mit dem Er-wartungswertvektor µ = (µ1, . . . , µd)T und nichtsingulärer Ko-varianzmatrix

Σ :=

σ21 σ12 σ13 · · · σ1d

σ21 σ22 σ23 · · · σ2d

· · · ·· · · ·· · · ·

σd1 σd2 σd3 · · · σ2d

heiÿt multivariat normalverteilt (mit Parametern µ und Σ),wenn die Dichtefunktion des Zufallsvektors X durch

f(x1, . . . , xd) =1

(2π)d/2|Σ|1/2exp(−1

2(x− µ)T Σ−1(x− µ))

gegeben ist.

Wir schreiben dann kurz

X = (X1, . . . , Xd)T ∼ Nd(µ, Σ)


Dichte der zweidimensionalen Standardnormalverteilung N2(0, I):


Wichtige Eigenschaften:

• Sei X = (X1, . . . , Xd)T ∼ Nd(µ, Σ). Unkorreliertheit zweierVariablen Xi und Xj impliziert dann Unabhängigkeit.

Cov(Xi, Xj) = 0 ⇔ Xi unabhängig von Xj

• Lineare Transformationen:Sei X = (X1, . . . , Xd)T ∼ Nd(µ, Σ). A sei eine (m, d)-Matrixmit vollem Zeilenrang m ≤ d und b ∈ IRm sei ein m-Vektor.Dann gilt

Y = AX+ b ∼ Nm(Aµ + b, AΣAT )

• Spezialfall: Mahalanobis Transformation.Sei Y ∼ Nd(µ,Σ). Die Matrix Σ−1 sei de�niert durch

Σ−12 · Σ− 1

2 = Σ−1

⇒ Z = Σ−12 (Y − µ) ∼ Nd(0, Id)

undZT Z ∼ χ2

d


• Spezialfall: Linearkombinationen.Für Y = c1X1 + c2X2 + · · ·+ cdXd = cTX gilt:

Y ∼ N(cT µ, cT Σc)

• Satz von Cramer-World: Y = (Y1, . . . , Yd) ist genau dannmultivariat normalverteilt, wenn jede mögliche Linearkom-bination cT Y eine univariate Normalverteilung besitzt

• Dieses Resultat impliziert insbesondere, dass alle Randver-teilungen einer multivariaten Normalverteilung univariat nor-mal sind. Gilt X = (X1, . . . , Xd)T ∼ Nd(µ, Σ), so erhält man

Xj ∼ N(µj , σ2j ), j = 1, . . . , d

• Achtung: Die Umkehrung gilt nicht! Aus Xj ∼ N(µj , σ2j , j =

1, . . . , d lässt sich nicht automatisch schlieÿen, dass X =(X1, . . . , Xd)T ∼ Nd(µ, Σ). Normale Randverteilungen sindnur eine notwendige, aber keine hinreichende Bedingung fürmultivariate Normalität. Es ist zusätzlich nötig, dass alle Li-nearkombinationen der Variablen Xj normalverteilt sind.Satz von Cramer-World: X = (X1, . . . , Xd) ist genaudann multivariat normalverteilt, wenn für jeden d-dimensionalenVektor c 6= 0d die resultierende Zufallsvariable cTX =

∑dj=1 cjXj

eine univariate Normalverteilung besitzt.


Bedingte Verteilungen: Ist ein Zufallsvektor X multivariatnormalverteilt, so sind auch alle zugehörigen bedingten Vertei-lungen multivariat normal.Man betrachte einen ZufallsvektorX = (X1, . . . , Xd)T ∼ Nd(µ,Σ).Für ein 0 < q < d seienX1 = (X1, . . . , Xq)T undX2 = (Xq+1, . . . , Xd)T .Die führt auf folgenden Partitionierung von Σ:

Σ =

Σ1 Σ12

Σ21 Σ2

mit

Σ1 =

σ21 . . . σ1q

......

σq1 . . . σ2q

, Σ2 =

σ2q+1 . . . σq+1,d

......

σd,q+1 . . . σ2d

,

Σ12 =

σ1,q+1 . . . σ1d

......

σq,q+1 . . . σ2qd

= ΣT

21

MitΣ1|2 := Σ1 − Σ12Σ−1

2 Σ21

ergibt sich dann:

• Die bedingte Verteilung von X1 gegeben X2 = x2 ist multi-variat normal:

(X1|X2 = x2) ∼ Nq

(µ1 + Σ12Σ−1

2 (x2 − µ2),Σ1|2)

• Die Zufallsvariablen X2 und ε := X1−µ1−Σ12Σ−12 (X2−µ2)

sind voneinander unabhängig.


Anwendung: Lineare EinfachregressionMan betrachte zwei eindimensionale Zufallsvariablen Y, X. In derRegressionsanalyse interessiert man sich für die Modellierung derVariation von Y in Abhängigkeit von X.Zusatzannahme: Die gemeinsame Verteilung von (Y, X) seimultivariat normalverteilt:

Y

X

∼ N(µ, Σ), Σ =

σ2

1 σ12

σ21 σ22

Σ1.2 ist eine positive reelle Zahl mit Σ1.2 = σ21 − σ2

12σ22. Für ε :=

Y − µ1 − σ12σ22

(X − µ2), µ1 = E(Y ), µ2 = E(X), ergibt sich ausden obigen Resultaten:

Y = µ1 +σ12

σ22

(X − µ2) + ε

= µ1 − σ12

σ22

µ2

︸︷︷︸β0

+σ12

σ22︸︷︷︸

β1

X + ε

E(ε) = 0, ε ∼ N(0, Σ1.2︸︷︷︸σ2

), ε unabhängig von X

Die Regressionsfunktion ist gegeben durch die lineare FunktionE(Y |X = x) = β0 + β1x.Falls also die gemeinsame Verteilung von (Y, X) multivariat nor-mal ist, so ist das Standardmodell der linearen Einfachregressionnotwendigerweise gültig.


Documents

MultivariateStatistik - Statistische Abteilung ... Inhalt: 1. Grundlagen 2. MultivariateVerteilungen 3. Regressionsanalyse 4. Varianzanalyse 5. AllgemeineVerfahrenzumTestenvonHypothesen