Vektoren und Matrizen

Die multivariate Statistik behandelt statistische Eigenschaften und Zusammenhange mehrerer

Variablen, im Gegensatz zu univariaten Statistik, die in der Regel nur eine Variable untersucht.

Formeln mit mehreren Variablen werden am einfachsten mit Hilfe von Vektoren und Matrizen

angeschrieben, daher behandeln wir im folgenden deren zugrundeliegenden Rechenregeln.

1. Grundlegendes

Skalare, also einzelne Zahlen, werden als Kleinbuchstaben und kursiv, manchmal auch als

griechische Buchstaben geschrieben. z.B.

c = 3, ξ = −5.2

Ein Vektor wird haufig durch n Zahlen dargestellt und in der Statistik als ein fetter Klein-

buchstabe geschrieben1. Ein Vektor wird ublicherweise als Spaltenvektor angegeben2. Ein

transponierter Spaltenvektor (gekennzeichent durch ein hochgestelltes t oder ’) ist ein Zeilen-

vektor.

(1) x =

x1

x2

...

xn

z.B.

u =

3

1

5

,vt = (2, 8, 1, 12),w =

4

0

1

3

Ein Vektor konnte z.B. eine an n Objekten gemessene Variable sein, etwa die Korperhohe von

20 Personen (ergibt einen Vektor mit 20 Komponenten, also mit der Dimension 20). Ein Vektor

kann aber auch mehrere Messung an einem Fall beinhalten, z.B. 14 physiologische Variablen von

einem Patienten.

1. In der Mathematik und Physik wird ein Vektor meist als ein kleiner Buchstabe mit einem Pfeil darubergeschrieben. Die Notation von Vektoren und Matrizen in der Statistik, an die wir uns im folgenden halten,unterscheidet sich von jener in der Mathematik oder Physik. An sich sind all diese Notationen keine strengenRegeln sondern eher Lesehilfen.

2. Das ist eine reine Konvention. Sie ist, wie sich noch zeigen wird, recht praktisch, sonst gibt es dafur aberkeinen mathematischen Grund.

1

2

Eine Matrix kann als eine rechteckige Anordnung von Zahlen dargestellt werden und wird

meist mit einer fett und groß geschriebenen Variable bezeichnet. Die Matrix A hat die Dimen-

sionen n×m (= Zeilenanzahl × Spaltenanzahl)

(2) A =

a11 a12 · · · a1m

a21 a22 · · · a2m

......

. . ....

an1 an2 · · · anm

Um eine Matrix (oder einen Vektor) zu transponieren, werden Zeilen und Spalten vertauscht.

Eine transponierte Matrix wird meistens mit ’, t oder T gekenzeichnet.

M =

(2 4 1

3 8 4

),Mt =

2 3

4 8

1 4

Es gibt einige spezielle Arten von Matrizen, die wir oft benotigen. Quadratische Matrizen

weisen gleich viel Zeilen wie Spalten auf (Dimension n× n). Fur eine symmetrische Matrix

S gilt S = St, das heißt sij = sji, z.B.

S = St =

2 3 0 1

3 4 5 2

0 5 0 9

1 2 9 8

Die Diagonale einer Matrix ist die Zahlenreihe von links oben (a11) nach rechts unten (ann),

also fur die Matrix A die Elemente aii, i = 1 . . . n. Die Spur (engl. trace) einer Matrix ist die

Summe ihrer Diagonalelemente, tr(A) =∑n

i=1 aii. Fur die obige Matrix S, zum Beispiel, ist die

Diagonale (2, 4, 0, 8) und tr(S) = 14.

Eine Diagonalmatrix ist eine Matrix, die beliebige Werte in der Diagonale aufweist und in

allen anderen Feldern 0 stehen hat, z.B.

D =

7 0 0 0

0 3 0 0

0 0 4 0

0 0 0 8

Eine Identitatsmatrix oder Einheitsmatrix ist eine Diagonalmatrix, die in allen Diago-

nalfeldern 1 stehen hat, z.B.

3

I =

1 0 0 0

0 1 0 0

0 0 1 0

0 0 0 1

In der Arbeit mit empirischen Daten werden die p Variablen, die an n Fallen erhoben worden

sind, meist in Form einer n × p Datenmatrix dargestellt. Das ist also eine Matrix, in deren

Zeilen alle p Messungen eines Falls stehen, und die fur jeden der n Falle je eine Zeile besitzt.

Wir benutzen in der Statistik Matrizen aber auch um andere Informationen zu beschreiben,

etwa Kovarianz- oder Korrelationsmatrizen. Eine Kovarianzmatrix ist eine p × p Matrix, die

alle Varianzen und Kovarianzen der p Variablen enthalt:

(3) S =

σ2

1 σ12 · · · σ1p

σ21 σ22 · · · σ2p

......

. . ....

σp1 σp2 · · · σ2p

,

wobei σij die Kovarianz der i-ten und er j-ten Variable ist und σ2i die Varianz der i-ten Variable.

Eine Kovarianzmatrix ist also quadratische und da σij = σji auch symmetrisch.

Eine Korrelationsmatrix enthat, analog zur Kovarianzmatrix, alle Korrelationen zwischen den

Variablen. Da die Korrelation einer Variable mit sich selbst immer 1 ist, stehen in der Diagonale

einer Korrelationsmatrix immer nur Einser:

(4) R =

1 ρ12 · · · ρ1p

ρ21 1 · · · ρ2p

......

. . ....

ρp1 ρp2 · · · 1

.

2. Rechnen mit Vektoren und Matrizen

2.1. Addition von Vektoren und Matrizen. Um zwei Vektoren zu addieren, werden die

einzelnen korrespondierenden Komponenten der Vektoren addiert. Daraus folgt, daß die Dimen-

sion (Anzahl der Komponenten) der beiden Vektoren gleich sein muss um eine Vektoraddition

durchfuhren zu konnen.

4

(5) a + b =

a1

a2

...

an

+

b1

b2...

bn

=

a1 + b1

a2 + b2...

an + bn

z.B.

1

2

9

+

3

7

2

=

1 + 3

2 + 7

9 + 2

=

4

9

11

Die Addition von Matrizen ist analog definiert. Die Summe von A und B hat im i, j-ten

Element den Wert aij + bij . Damit zwei Matrizen addiert werden konnen, mussen sie die selben

Dimensionen aufweisen, also z.B. beide 3 Spalten und 3 Reihen.

Beispiel: 1 3 2

1 0 0

1 2 2

+

0 0 5

7 5 0

2 1 1

=

1 + 0 3 + 0 2 + 5

1 + 7 0 + 5 0 + 0

1 + 2 2 + 1 2 + 1

=

1 3 7

8 5 0

3 3 3

2.2. Multiplikation mit einem Skalar. – Die Multiplikation eines Vektors mit einem Skalar

ist folgendermaßen definiert:

ca =

ca1

ca2

...

can

z.B.

3

2

8

1

12

=

3 · 23 · 83 · 13 · 12

=

6

24

3

36

Die Multiplikation einer Matrix mit einem Skalar ist analog definiert:

cA =

ca11 ca12 · · · ca1m

ca21 ca22 · · · ca2m

......

. . ....

can1 can2 · · · canm

z.B.

5

2 ·

(1 8 −3

4 −2 5

)=

(2 · 1 2 · 8 2 · (−3)

2 · 4 2 · (−2) 2 · 5

)=

(2 16 −6

8 −4 10

)

2.3. Vektorprodukte. Es sind verschiedene Vektorprodukte definiert. Im folgenden werden

die zwei fur unsere Zwecke wichtigsten dargestellt.

Das innere Produkt (Skalarprodukt, “dot product”) zweier Vektoren ergibt einen Skalar. Die

Rechenoperation wird mit einem Multiplikationspunkt geschrieben, kann aber auch weggelassen

werden. Der Konvention nach ist das innere Produkt immer ein Zeilenvektor mal ein Spal-

tenvektor. Ahnlich wie die Vektoraddition, ist auch das Skalarprodukt nur fur zwei Vektoren

der gleichen Dimension definiert.

(6) at · b = atb = (a1, a2, · · · , an) ·

b1

b2...

bn

= a1b1 + a2b2 + ...+ anbn

Beim inneren Produkt werden also die korrepondierenden Komponenten der zwei Vektoren mul-

tipliziert und dann die einzelnen Produkte addiert. Es kann daher auch so angeschireben werden:

(7) at · b =n∑

i=1

aibi

Z.B.

(1 2 3

)·

−2

−1

1

= 1 · (−2) + 2 · (−1) + 3 · 1 = −1

Das außere Produkt (Dyadisches Produkt, Kronecker Produkt) zweier Vektoren ist folgender-

maßen definiert:

(8) a · bt =

a1

a2

...

an

·(b1 b2 · · · bm

)=

a1b1 a1b2 · · · a1bm

a2b1 a2b2 · · · a2bm...

.... . .

...

anb1 anb2 . . . anbm

6

Jede Komponente des einen Vektors wird mit jeder Komponente des anderen Vektors multi-

pliziert, das Ergebnis ist eine Matrix. Das außere Produkt wird immer als ein Spaltenvektor

mal einem Zeilenvektor angegeben, etwa1

2

3

· (−2 −1 1)

=

1 · (−2) 1 · (−1) 1 · 12 · (−2) 2 · (−1) 2 · 13 · (−2) 3 · (−1) 3 · 1

=

−2 −1 1

−4 −2 2

−6 −3 3

Vektorprodukte finden breite Anwendung in der multivariaten Statistik (siehe etwa Kapitel

3). Man kann auch Rechenoperationen aus der univariaten Statistik mit Vektoren anschreiben.

Dafur fuhren wir den Einsvektor ein. Das ist ein Vektor mit beliebiger Lange, der nur aus

Einsern besteht und mit der fetten Ziffer 1 geschrieben wird.

(9) 1 = (1, 1, 1, · · · , 1)

Wir konnen den Einsvektor benutzen um die Summe einer Zahlenreihe zu berechnen:

(10) 1ta = 1 · a1 + 1 · a2 + · · ·+ 1 · an =n∑

i=1

ai,

wobei 1 ein Einsvektor mit der selben Dimensions wie a ist. Der Mittelwert von a ist demnach

(11) a =1n

1ta.

Die Kovarianz zweier Variablen a und b laßt sich ebenfalls mit Vektoren schreiben wenn wir

annehmen, daß die beiden Variablen zentriert sind, also a = b = 0.

(12) σab =1

n− 1atb.

Die Varianz von a ist demnach

(13) σ2a =

1n− 1

ata.

Die Korrelation zweier Variablen ist deren Kovarianz standardisiert mit den beiden Standard-

abweichungen. Wir konnen daher schreiben:

(14) ρab =atb√

ata√

btb.

7

2.4. Multiplikation von Matrizen. Zwei Matrizen A und B werden miteinander multi-

pliziert, indem jeweils die Zeilen der ersten Matrix mit den entsprechenden Spalten der zweiten

Matrix skalarmultipliziert werden. Das heißt, das i, jte Element von AB ist das Skalarprodukt

der iten Zeile von A mit der jten Spalte von B. Die Multiplikation von Matrizen ist nur dann

moglich, wenn die Anzahl der Spalten der ersten Matrix gleich ist der Anzahl der Zeilen der

zweiten Matrix. Ist A eine Matrix der Dimension l×m und B eine Matrix der Dimension m×n,

so ist das Produkt eine Matrix mit den Dimensionen l × n. Man beachte, das Produkt AB ist

nicht gleich BA! Im folgenden Beispiel ist A eine Matrix mit den Dimensionen 2 × 3, also 2

Reihen und 3 Spalten und B ist eine Matrix mit den Dimensionen 3 × 2. Das Produkt AB

ergibt eine Matrix mit den Dimensionen 2× 2:

(1 2 3

4 5 6

)·

6 −1

3 2

0 −3

=(

(1 · 6 + 2 · 3 + 3 · 0) (1 · (−1) + 2 · 2 + 3 · (−3))

(4 · 6 + 5 · 3 + 6 · 0) (4 · (−1) + 5 · 2 + 6 · (−3))

)=

(12 −6

39 −12

)

Das Produkt BA ergibt eine Matrix mit den Dimensionen 3× 3:6 −1

3 2

0 −3

·(

1 2 3

4 5 6

)=

((6 · 1 + (−1) · 4) (6 · 2 + (−1) · 5) (6 · 3 + (−1) · 6)

(3 · 1 + 2 · 4) (3 · 2 + 2 · 5) (3 · 3 + 2 · 6)(0 · 1) + (−3) · 4 (0 · 2 + (−3) · 5) (0 · 3 + (−3) · 6)

)=

2 7 12

11 16 21

−12 −15 −18

Formal: Das Produkt der Matrizen A = aij und B = bij der Dimensionen l ×m und m× n ist

die Matrix C = cij mit den Komponenten cij =∑m

k=1 aikbkj i = 1, . . . l, j = 1, . . . n.

Die Identitatsmatrix I hat bei der Matrizenmultiplikation die selbe Rolle wie 1 bei der skalaren

Multiplikation: IA = AI = A fur jedes A. Die Verallgemeinerung der Division, sodaß a−1a =

aa−1 = 1 falls a 6= 0, wird folgendermaßen definiert: Wenn eine Matrix B existiert, sodaß

BA = AB = I, dann wird B die Inverse von A genannt und als A−1 geschrieben (Nicht jede

Matrix A hat eine Inverse!).

3. Geometrische Interpretation von Vektor- und Matrizenoperationen

Die hier besprochenen Vektoroperationen konnen auch geometrisch interpretiert werden. Es

ist oft wichtig, sich diese Operationen visuell vorstellen zu konnen, um ein Gefuhl dafur zu

bekommen, was mit den Daten geschieht. Die multivariate Statistik verwendet fast ausschließlich

jene Rechenoperationen, die hier vorgestellt werden.

3.1. Vektorlange. Die Lange eines Vektors a, auch Vektornorm genannt, wird ‖a‖ geschrieben.

(15) ‖a‖ =√a2

1 + a22 + · · ·+ a2

n =√

ata

8

Z.B.

‖(4, 0, 1, 3)‖ =√

4 · 4 + 0 · 0 + 1 · 1 + 3 · 3 =√

26 ≈ 5.1

Ein Einheitsvektor ist ein Vektor mit Lange 1. Man kann einen beliebigen Vektor durch Division

mit seiner Vektornorm normieren; dann hat der normierte Vektor die Lange 1. z.B.:

u0 =u‖u‖

=1√

3 ∗ 3 + 1 ∗ 1 + 5 ∗ 5·

3

1

5

≈

0.51

0.17

0.85

‖u0‖ =

√ut

0u0 = 1

3.2. Winkel zwischen zwei Vektoren. Eine Folge des Skalarprodukts ist folgender Zusam-

menhang:

xty = ‖x‖‖y‖cosθ

wobei θ der Winkel zwischen den beiden Vektoren x und y ist. Diesen Zusammenhang konnen

wir umgekehrt dazu benutzen, um den Winkel zwischen zwei Vektoren mit Hilfe des Skalarpro-

dukts zu berechnen:

cosθ =xty|x||y|

=xty√

xtx√

yty,

oder

θ = arccosxty|x||y|

.

Daraus folgt, cosθ = 0 nur wenn xty = 0, und wir sagen dann, daß x und y rechtwinkelig oder

orthogonal zueinander sind. Wenn xty = 0 und xtx = 1, yty = 1, dann spricht man von zwei

orthonormalen Vektoren.

Die Vektoraddition (Abb. 1) kann als ‘Aneinanderreihen’ der Vektoren vorgestellt werden.

Die Summe ist dann der Vektor vom Ursprung zum Ende des letzten Vektors.

Die Multiplikation eines Vektors mit einem Skalar ‘verlangert’ diesen Vektor entsprechend,

andert aber nicht dessen Richtung (Abb. 2). Multiplikation mit einem negativen Wert andert

zusatzlich die Orientierung des Vektors in die genau entgegengesetzte Richtung.

Das inner Produkt oder Skalarprodukt zweier Vektoren kann als Projektion verstanden wer-

den. Wichtig ist, daß der Vektor, auf den projiziert wird, ein Einheitsvektor sein muß. Die

Lange der Projektion von x auf y ist xty√yty

, oder einfach xtys wenn ytsys = 1, d.h. ys ist ein

Einheitsvektor. Diese Lange ist auch |x|cos(α), wobei α der Winkel zwischen x und y ist (Abb.

9

a

b

a+b

Figure 1. Vektoraddition

c

2.5 c

Figure 2. Multiplikation

αy

x

xt yyt y

y( (x cos(α)

Figure 3. Projektion (Schatten) des Vektores x auf den Vektor y.

10

3). Die eigentliche Projektion, also nicht nur die Lange sonder der projizierte Vektor selbst, istxtyytyy, oder xtys ∗ y. D.h. die Projektion ist der Vektor, auf den projiziert wird mal die Lange

der Projektion.

a b

Figure 4. Projektion von zwei-dimensionalen Datenpunkten auf einen Vektor.

Abbildung 4 zeigt die Projektion mehrerer Punkte auf einen Vektor. Die Koordinaten dieser

Punkte konnen als Vektoren vom Ursprung aufgefaßt werden. Die Projektion funktioniert daher

wie in Abb. 3.

a b

uv

utu = vtv = 1utv = 0Datenpunkte ... P

P u

P v

Figure 5. Rotation von Punkten. Das ist gleichbedeutend mit der Projektion

der Punkte auf die neuen Koordinatenachsen.

Man kann eine Rotation von Datenpunkten als die Projektion auf eine orthonormale Basis,

also aufeinander rechtwinkelig stehende Einheitsvektoren, verstehen. Diese Vektoren sind dann

das neue Koordinatensystem. Abb. 5a zeigt einige Punkte und zwei aufeinander rechtwinkelig

stehende Vektoren u and v. Die beiden Vektoren sollen Einheitsvektoren sein, also utu = vtv =

1. Die grauen Punkte sind die Projektionen auf die beiden Vektoren. Die Lange der Projektionen

sind dann die Koordinaten fur die gedrehten Punkte (Abb. 5b).

Mit Hilfe der Matrizennotation konnen wir diese Operation sehr einfach anschreiben. Wir

wissen, daß die Lange einer Projektion ptu ist, wobei p ein Punkt (oder Ursprungsvektor) ist

11

und u der Einheitsvektor auf den projiziert wird. Wenn wir mehrere Punkte projizieren wollen,

bilden wir die Datenmatrix P mit der Dimensions n× 2. Die Matrix besteht also aus n Zeilen

(n ist die Anzahl der Punkte) und 2 Spalten (die Anzahl der Koordinaten bzw. Dimensionen).

In jeder Zeile stehen dann die Koordinaten eines Punktes. Diese Matrix wird mit dem Vektor

u multipliziert. Das Ergebnis ist ein Vektor Pv, der die Skalarprodukte von u mit jeder Zeile

von P enthalt, also insgesamt n Elemente. Dieser Vektor enthalt die Koordinaten der Punkte

entlang der neuen Koordinatenachse u. Das selbe gilt fur die Projektion auf v.

Man kann beide Koordinaten auch in einem Schritt errechnen. Bilden wir die Matrix R sodaß

R = (u|v). R ist also eine 2× 2 Matrix, die aus den beiden Spaltenvektoren u und v besteht.

Die Matrizenmultiplikation PR ergibt eine n × 2 Matrix die aufgebaut ist wie P jedoch die

neuen, rotierten, Koordinaten der Punkte enthalt. Man nennt R eine Rotationsmatrix. Jede

Matrix, deren Spalten orthonormale Vektoren sind, ist eine Rotationsmatrix.

4. Matrizenzerlegung

Wir wiederholen, das außere Produkt zweier Vektoren erzeugt eine Matrix nach folgendem

Schema:

a · bt =

a1

a2

a3

a4

·(b1 b2 b3

)=

a1b1 a1b2 a1b3

a2b1 a2b2 a2b3

a3b1 a3b2 a3b3

a4b1 a4b2 a4b3

beziehungsweise

a · at =

a1

a2

a3

a4

·(a1 a2 a3 a4

)=

a1 a1a2 a1a3 a1a4

a2a1 a2 a2a3 a2a4

a3a1 a3a2 a3 a3a4

a4a1 a4a2 a4a3 a4

Wenn man auf diese Weise genugend viele Matrizen erzeugt und addiert, kann man so jede

beliebige Matrix konstruieren. Oder umgekehrt, man kann jede Matrix in eine Summe von

solchen Vektorprodukten zerlegen:

M = u1 · vt1 ∗ g1 + u2 · vt

2 ∗ g2 + · · ·+ un · vtn ∗ gn

wobei M fur eine beliebige Matrix steht, ui · vi fur das ite Vektorprodukt und gi fur einen

Gewichtungsfaktor fur jedes Vektorprodukt. Der Wert fur die Gewichtung wird mit jedem

Element des Vektorprodukts multipliziert und gibt so an, wie viel jedes einzelne Vektorprodukt

zur Gesamtmatrix beisteuert.

Da a ·at eine quadratische und symmetrische Matrix erzeugt, kann jede beliebige quadratische

und symmetrische Matrix in eine Summe der Form

12

M = u1 · ut1 ∗ g1 + u2 · ut

2 ∗ g2 + · · ·+ un · utn ∗ gn

zerlegt werden.

5. Eigenwertzerlegung und Singularwertzerlegung

Gegeben sei eine beliebige quadratische und symmetrische Matrix Q. Den Vektor e1, dessen

außeres Produkt e1.et1∗λ2 die bestmogliche Darstellung von Q ist, nennt man den ersten Eigen-

vektor von Q. Den Skalar λi nennt man den ersten Eigenwert von Q. Der zweite Eigenvektor

e2 ermoglicht die beste Darstellung von Q unabhangig (orthogonal) von e1 usw. Daher gilt

Q = e1 · et1 ∗ λ1 + e2 · et

2 ∗ λ2 + · · ·+ en · etn ∗ λn

wobei λ1 > λ2 > · · · > λn.

Diese Methode kann auf beliebige rechteckige Matrizen erweitert werden indem man ein Vek-

torprodukt aus zwei Vektoren verwendet, sodaß

R = u1 · vt1 ∗ d1 + u2 · vt

2 ∗ d2 + · · ·+ un · vtn ∗ dn.

Ist die Matrix u1 · v′1 ∗ d1 die bestmogliche Approximation von R, dann heien u1 und v1 die

ersten Singularvektoren von R und d1 der erste Singularwert wobei d1 > d2 > · · · > dn.

Dr. Philipp Mitteroecker

Department of Theoretical Biology

University of Vienna

Althanstrasse 14, 1091 Vienna

E-mail address: philipp.mitteroecker@univie.ac.at