1 Matrix-Algebra Grundlagen 1. Matrizen und Vektoren Matrix ist ein rechteckiges Schema von Zahlen angeordnet in Zeilen und Spalten genauer: eine Matrix

1

Matrix-Algebra

Grundlagen

1. Matrizen und Vektoren

•Matrix ist ein rechteckiges Schema von Zahlen angeordnet in Zeilen und Spalten

•genauer: eine Matrix der Ordnung bzw. Dimension

ist eine Menge an

Elementen angeordnet in n Zeilen und

k Spalten

)( kn )( kn

2

nkMMn

k

k

ij

aaaa

aaaa

aaaa

a

321

2232221

1131211

][A

][ ija ist das Element, welches in der i-ten Zeile und j-ten Spalte der Matrix A steht

die Dimension der Matrix, also die Anzahl der Zeilen und Spalten, wird oft unterhalb der Matrix angegeben

Bsp.

4223

7122A

32

Matrizen und Vektoren 1

3

•mehrelementige Matrizen mit nur einer Zeile oder Spalte heißen Vektoreneine Matrix der Ordnung (1×k) bildet einen

k-dimensionalen Zeilenvektor

),,( 1 ikii aaa

Bsp.

7142 x

eine Matrix der Ordnung (n×1) bildet einen n-dimensionalen Spaltenvektor

nj

j

j

a

a

a 1

Bsp.

5

14

3

x1 3

3 1

Matrizen und Vektoren 2

4

•transponierte Matrix

-schreibt man bei der Matrix A die i-te Zeile als i-te Spalte (i = 1, . . . , n), so erhält man die transponierte (k×n) Matrix

'A

nkkkk

n

n

aaaa

aaaa

aaaa

321

2322212

1312111'A

Bsp.

1763

2212

341

A

1723

624

3121

A '

33 33

transponierte Matrix

5

Skalar und quadratische Matrix

•Skalar-eine einzelne Zahl, also sozusagen eine (1×1) Matrix

•quadratische Matrix-eine Matrix A heißt quadratisch, sofern n = k gilt

Bsp.

1763

2212

341

A n=k=333

-Eine quadratische Matrix A heißt untere (obere) Dreiecksmatrix, falls für i < j (i > j).

0ija

Bsp.

1763

0212

001

A

1700

220

341

A untere Dreiecksmatrix

obere Dreiecksmatrix

6

•symmetrische Matrix

-eine quadratische Matrix ist symmetrisch, falls

, es gilt

'AA AA ''

Bsp.

1763

652

321

A ' A

1763

652

321

1763

652

321

A

'

''

symmetrische Matrix

7

Diagonalmatrix 1

•Diagonalmatrix-eine quadratische Matrix A mit für

Diagonalmatrix hat also oberhalb und unterhalb der Hauptdiagonalen nur Nullen. Auf der Hauptdiagonalen stehen beliebige Elemente.

jiaij 0

Spezialfall: Einheitsmatrix I

100

010

001

I alle Hauptdiagonalelementebesitzen den Wert Eins

8

Diagonalmatrix 2

-Skalar-Matrix:

ist eine Diagonal-Matrix, deren Diagonalelemente alle gleich sind

als Beispiel ist die Varianz- Kovarianz-Matrix desStörterms des klassischen Regressionsmodells zu nennen

2

2

2

0 0

var-cov(u) 0 0

0 0

9

Eine (n×n) Matrix A, die der Bedingung genügt, heißt

idempotent

nAAA 2

Bsp.

121

242

121

6

1A

idempotente Matrix

2

2

1 2 1 1 2 1 1 2 11 1

A 2 4 2 2 4 2 2 4 26 36

1 2 1 1 2 1 1 2 1

6 -12 6 1 2 11 1

= -12 24 -12 2 4 236 6

6 -12 6 1 2 1

10

2. Elementare Matrixoperationen

Elementare Matrixoperationen

•Addition und Subtraktion von Matrizen

-nur für Matrizen gleicher Ordnung sind Addition und Subtraktion erklärt

ijij

nknknn

kk

kk

ba

baba

baba

baba

11

222121

111111

BA :

11

Bsp.

4113

734B

4223

7122A

C8436

14154

4113

734

4223

7122BA

323232

C0110

092

4113

734

4223

7122BA

323232

Addition und Subtraktion

wichtig: Anzahl der Zeilen und Spalten beider Matrizen müssen gleich sein

CBA

12

Skalar-Multiplikation 1

•Skalar-Multiplikation

-für Matrizen A, B und C gleicher Ordnung gilt

''' BABA

BABA

CBACBA

ABBA

-eine (n × k) Matrix A wird mit einem Skalar multipliziert, indem man jedes Matrixelement

mit multipliziert

)( ija

13

Bsp.

1763

2212

341

A 3λ

51189

6636

9123

1763

2212

341

3

1763

2212

341

λA

es gelten die Rechengesetze

γ(λA)λ(γA))A(

Skalar)ein sei (γγA λAγ)A(λ

λBλAB)λ(A

λA)λA(

AλλA''

Skalar-Multiplikation 2

14

Matrizen-Multiplikation 1

•Matrizen-Multiplikation

-Für Matrizen A und B ist nur dann ein Produkt C=AB erklärt, wenn die Spaltenzahl von A mit der Zeilenzahl von B übereinstimmt

-Sind A = und B = zwei solche Matrizen, etwa der Ordnung (n×k) bzw. (k×p), dann ist

)( ija )( jla

pnjpnjjlnjjnj

jpijjlijjij

jjjljjj

bababa

bababa

bababa

AB

1

1

11111

15

Bsp.

23

11

10

61

B

32

402

321A

22

2332

166

114

141062140012

131261130211

11

10

61

402

321AB


16

-Das Produkt aus einer (n×k) Matrix A und

einer (k×p) Matrix B ist demnach eine (n×p)

Matrix C mit dem Element

-Aber:

jl

k

j ijil bac

1

32

402

321A

22

14

12B

das Produkt AB ist hier nicht definiert!


17

-Insbesondere ergibt die Multiplikation einer (1×p) Matrix (Zeilenvektor) mit einer (p×1) Matrix (Spaltenvektor) einen Skalar

-Sind und zwei Vektoren mit jeweils n Elementen, dann bezeichnet man den Skalar bzw. als Skalarprodukt der beiden Vektoren

',1 ),( nxxx '

,1 ),( nyyy yx '

xy '

n

iii

n

n

n

n yx

x

x

yyxy

y

y

xxyx1

1

1'

1

1' ,,,,

Bsp.

5

3

2

x 21530332

1

0

3

532'

yx

1

0

3

y


18

Zwei Vektoren x und y, deren Skalarprodukt Null ist, heißen zueinander orthogonal

0 ' yxyx


1 4x y

2 2

Bsp.

' 4x y 1 2 0

2

y

1 3 5-1

2x

1x

x

y

-3-5

3

5

-3

-5

19

-Inneres Produkt: i

n

ii

nn

nn ba

b

b

aaba

1

1

1

11

'

Bsp. 11

12

21

' 2354315

341

ba

Ergebnis ist ein Skalarprodukt

nnnnn

n

nn

nn baba

baba

bb

a

a

ab

1

111

11

1

1'-Äußeres

Produkt:

44

21

12

'

204

53

5*41*4

5*13*153

4

1

baBsp.

Ergebnis ist eine Matrix


20

-für die Matrizenmultiplikation gelten folgende Rechenregeln, sofern alle auftretenden Produkte erklärt sind

''''

'''

CBC(ABC)

AB(AB)

ABCA(BC)(AB)C

AB)BABA((AB)

ACABC)A(B

()

-Matrizenmultiplikation ist nicht kommutativBAAB


21

Determinante einer Matrix 1

•Determinante

-die Determinante det(A) einer (n×n) Matrix A sei wie folgt definiert

-wobei diejenige Matrix ist, die aus der (n×n) Matrix A hervorgeht, wenn man die i-te Zeile und die j-te Spalte streicht

-das oben genannte Produkt wird auch als Kofaktor von genannt

n

i ijji

ij Aa

a

1

*

11

)det()1(det(A)

n 1

n 1, 1 j n,

*ijA

ijijji CA )det()1( *

ija

22


•Determinante einer (2×2) Matrix

das Produkt der Nebendiagonalelemente wird vom Produkt der Hauptdiagonalelemente subtrahiert

211222112221

1211

2221

1211det aaaaaa

aa

aa

aa

Bsp. 153141145

31

145

31det

23

•Determinante einer (3×3) Matrixermittelt man durch Anfügen der ersten beiden Spalten auf der rechten Seite der Matrix zu einem (3 × 5) Schema

333231

232221

131211

aaa

aaa

aaa

3231333231

2321232221

1211131211

aaaaa

aaaaa

aaaaa

auf dieses Schema findet die Sarrus‘sche Regel Anwendung

332112322311312213322113312312332211det aaaaaaaaaaaaaaaaaa(A)

3432331212

332232411

432

313

221

det

Bsp.


24


-für die Determinante einer (n×n) Matrix A bzw. B gilt

)det()det(

)det()det(

)det()det()det'

AA

AA

BA(AB

n

-eine Matrix, deren Determinante einen Wert von 0 annimmt heißt singuläre Matrix

-nimmt hingegen die Determinante einen von 0 verschiedenen Wert an, so spricht man von einer nicht- singulären Matrix für diese existiert die inverse

Matrix nicht

25

Inverse einer Matrix 1

•Inverse einer Matrix

zu jeder regulären (n×n) Matrix existiert eine eindeutig bestimmte (n×n) Matrix mit der Eigenschaft:

1AA

nIAAAA 11 heißt Inverse von

1A A

-die Regularität von A ist nicht nur eine hinreichende, sondern auch eine notwendige Bedingung für die Existenz der inversen Matrix

-invertierbar sind demnach nur die quadratischen Matrizen mit von Null verschiedener Determinante

A 1Aist regulär existiert

26


•Vorgehensweise

1. Bilde die Determinante von A

2. Ersetzte jedes Element von A durch seinen Kofaktor, um so die Kofaktor-Matrix zu erhalten

3. Transponiere die Kofaktor-Matrix, um so die adjungierte Matrix zu erhalten

4. Dividiere jedes Element der adjungierten Matrix durch die Determinante von A

ija

27


Bsp.

312

475

321

A

Schritt 1: bilden, wie zuvor beschiebenA

24523141273

153242371

312

475

321

A

Schritt 2: man erhält das Element , indem man die i-te Zeile und die j-te Spalte der Matrix A streicht

ijc

28

-im Bsp.: erhalte das Element , indem man die 1. Zeile und die 1. Spalte der Matrix streicht,

ist dann eine (2×2) Matrix

11cA

11c

312

475

321

A

31

47c11

Führt man das für alle Elemente aus, so erhält man die Kofaktor-Matrix CJedes Element, für die die Summe i+j ungerade ist, erhält ein negatives Vorzeichen


29

Schritt 4: jedes Element von (adj A) wird durch die Determinante von A dividiert

243

243

249

2411

243

247

2413

243

2417

339

1137

13317

24

11A


nIAAAA 11

30

Skalare Kenngrößen von Matrizen

3. Skalare Kenngrößen von Matrizena) Rang einer Matrix

Zur Definition des Ranges einer Matrix werden die Begriffe Linearkombination (LK) von Vektoren und lineare Unabhängigkeit benötigtAls LK der n Vektoren bezeichnet man einen Term der Gestalt

wobei

1n a,,a

Man sagt, ein Vektor b lässt sich als LK der Vektoren

darstellen, wenn gilt:

1n a,,a

31

-nun berechnet man für jedes Element die Determinanteijc

31113

333

9717

C

Schritt 3: dir Kofaktor-Matrix C wird nun transponiert, um die adjungierte

Matrix (adj A)

339

1137

13317

A) (adj


32

Die Vektoren heißen linear unabhängig, wenn sich der Nullvektor nur als triviale LK dieser Vektoren darstellen lässt, d.h., wenn gilt:

1n a,,a

keiner der Vektoren lässt sich als LK der anderen darstellen

Im Falle linearer Abhängigkeit der Vektoren existiert hingegen eine Darstellung des Nullvektors als nicht-triviale LK ( für mindestens ein i)

Folglich lässt sich mindestens einer der Vektoren als LK der anderen darstellen

1n a,,a

1n a,,a

Rang einer Matrix 1

33

•Die Maximalzahl linear unabhängiger Spaltenvektoren (Zeilenvektoren) einer Matrix A heißt Spaltenrang (Zeilenrang) dieser Matrixder Spaltenrang stimmt stets mit dem Zeilenrang überein

deshalb spricht man nur vom Rang einer Matrix A

•der Rang einer (n × k) Matrix A kann offenbar nicht größer als die kleinste der Zahlen n und k sein

Rang einer Matrix 2

34

-eine (n × k) Matrix A hat vollen Rang, wenn

Regeln:

Rang einer Matrix 3

35

-Bei quadratischen Matrizen gilt: Falls A keinen vollen Spaltenrang hat, so ist die Determinante von A Null

Bsp.1 3

A rg(A) 1, det(A) 02 6

Konsequenz: Matrizen ohne vollen Rang (“singuläre“ Matrizen) sind nicht invertierbar

-für beliebige Matrizen gilt: 'rg(A A) rg(A)

Konsequenz: falls X keinen vollen Spaltenrang hat, ist singulär OLS funktioniert nicht

'(X X)

Rang einer Matrix 4

36

b) Eigenwerte und Eigenvektoren

-A sei eine (n×n) Matrix

-ein (n×1) Vektor x 0 heißt Eigenvektor von A, falls mit einem geeigneten Skalar gilt

-der Vektor x wird genauer als ein zu gehörender Eigenvektor bezeichnet

-den Skalar nennt man Eigenwert der Matrix A

Eigenwerte und Eigenvektoren 1

37

Die Gleichung lässt sich wie folgt umformen:

für hat dieses System nur dann eine

Lösung, wenn die Matrix singulär ist,

d.h. wenn gilt

0

die Bestimmung der Nullstellen vonliefert die Eigenwerte von A


heißt charakteristisches Polynom

38


Bsp.1 2

A2 3

-die Eigenwerte findet man durch Lösen von

-die Eigenwerte sind:

39

-Wie erhält man die Eigenvektoren?

Für erhält man den Eigenvektor 1x

11

12

x1 2 2 5 00

x2 3 0 2 5

11 12

11 12

3,23607x 2x 0

2x 1,23607x 0

führt zu 2 Bestimmungsgleichungen, wobei eine überflüssig ist, da beide Gleichungen linear abhängig sind


40

-so erhält man aus der 2. Gleichung den Eigenvektor 1x

121

12

0,618035xx

x

Offensichtlich gibt es nicht nur einen Eigenvektor, sondern unendlich viele parallele. Man wählt beliebig einen aus der Lösungsmenge, z.B. = 1:

12x

1

0,618035x

1


41

-analog führt man diese Prozedur für den 2. Eigenwert durch, um so den Eigenvektor zu erhalten

2x

21

22

x1 2 2 5 00

x2 3 0 2 5

2

1,618035x

1


42

Beweis:

1 2 0,618035 0,6180352 5

2 3 1 1

2,618038 2,618038

4, 23606 4,23606

für ,1x


43


•Bei symmetrischen Matrizen, wie in diesem Beispiel, sind die zu verschiedenen Eigenwerten gehörenden Eigenvektoren stets zueinander orthogonal '

1 2

1,618035x x 0,618035 1 0

1

44

c) Definitheit von (quadratischen) Matrizen

Definitheit von Matrizen 1

Definition:

-eine (n×n) Matrix A heißt positiv definit (kurz: p.d.), wenn für alle Vektoren z gilt: , bzw. positiv semidefinit (p.s.d.), wenn

'z Az 0'z Az 0

-eine (n×n) Matrix A heißt negativ definit (kurz: n.d.), wenn für alle Vektoren z gilt: , bzw. negativ semidefinit (n.s.d.), wenn

'z Az 0'z Az 0

-falls A weder positiv-semidefinit noch negativ-semidefinit ist, dann heißt A indefinit

45

Bsp.


1 ' 2 21 2

2

zAz z Az z 2z 0, für alle z 0

2z

1

2

z1 0A z

z0 2

A ist positiv definit

46

-Beurteilung anhand der Eigenwerte


die Definitheit einer symmetrischen Matrixkann mit Hilfe ihrer Eigenwerte bestimmt werden

'A A

seien die Eigenwerte der symmetrischen Matrix

dann giltA ist:positiv definit

positiv semidefinit

negativ definit

negativ semidefinit

47

Anwendung der Matrizenrechnung

•Im Rahmen eines linearen Regressionsmodells soll nun die Anwendung der Matrizenrechnung aufgezeigt werden

Regressionsmodell

abhängige Variable Y

k-1 erklärende Variablen

Parameter

Störterm

ikikiii uXXXY 33221

i = 1,2,...,n

kXXX ,...,, 32

k ,...,, 32

u

Anzahl der Beobachtungen n

4. Anwendung der Matrizenrechnung

48

•Die 1. Gleichung lässt sich auch ausführlicher darstellen, wie folgt:

nknknnN

kk

kk

uXXXY

uXXXY

uXXXY

33221

2232322212

1131321211

Für jede Beobachtung lässt eine solche Gleichung aufstellen

i = 1,2,...,n

Regressionsmodell 1

49

Dieses Gleichungssystem lässt sich auch in Matrixschreibweise darstellen

1n 1k k n 1n

u X

1

1

1

1

2

1

2

1

32

13222

3221

2

1

y

u

u

u

XXX

XXX

XXX

Y

Y

Y

kknnn

k

kn

n

1

1

1

1

nu

k

nX

ny

Spaltenvektor von Beobachtungen der abhängigen VariablenMatrix mit n Beobachtungen der k-1 Variablen bis , die 1. Spalte bestehend aus 1 gibt das Absolutglied wiederSpaltenvektor der unbekannten ParameterSpaltenvektor der n Störterme

kXX 2

k ,...,, 32

iu

Regressionsmodell 2

50

•im Rahmen des linearen Regressionsmodells werden die unbekannten Parameter geschätzt

k ,...,, 32,1

ikikiii uXXXY

33221

in kurzer Schreibweise:

Y X u

1n 1k k n 1n

X

1

1

1

1

2

1

2

1

32

13222

3221

2

1

uy

u

u

u

XXX

XXX

XXX

Y

Y

Y

kknnn

k

kn

n

in Matrixnotation:

Regressionsmodell 3

51

^

ist ein (k×1) Spaltenvektor der OLS-Schätzungder Regressionskoeffizienten

ist der (n×1) Spaltenvektor der n Residuen

u

•man erhält den OLS-Schätzer, indem man die Residuenquadratsumme minimiert

u ist der Abstand zwischen dem tatsächlichen Wert von y

und dem geschätzten Wert

y

in Hinblick auf die Schätzung der Parameter soll dieser Abstand minimiert werden bzw. die Summe über alle Beobachtungen

y

x1x 2x 3x 4x 5x

3

y 3y

3

u

Regressionsmodell 4

52

Anwendungsbeispiel 1

Daten Pro-Kopf Konsumausgaben, Pro-Kopf Einkommen, Zeit,1673 1839 11688 1844 21666 1831 31735 1881 41749 1883 51756 1910 61815 1969 71867 2016 81948 2126 92048 2239 102128 2336 112165 2404 122257 2487 132316 2535 142324 2595 15

Y 2X3X

53

Regressionsmodell

iiii uXXY

33221

in Matrixnotation:

u X y

1525951

1425351

1324871

1224041

1123361

1022391

921261

820161

719691

619101

518831

418811

318311

218441

118391

2324

2316

2257

2165

2128

2048

1948

1867

1815

1756

1749

1735

1666

1688

1673

115115115115

15

14

13

12

11

10

9

8

7

6

5

4

3

2

1

3

2

1

u

u

u

u

u

u

u

u

u

u

u

u

u

u

u


54

OLS-Schätzer für die Parameter:

a) berechnen

b) berechnen

c) berechnen

d) Parametervektor bestimmen

XX '

' 1X X

yX '


Schrittfolge

55

23323

32222

32

22

3323

3222

3121

2333231

2232221'

1

1

1

1

1111

iiii

iiii

ii

nn

n

n

XXXX

XXXX

XXn

XX

XX

XX

XX

XXXX

XXXXXX

1240144,272120

144,27268,923895,31

120895,3115

1525951

1425351

1324871

1224041

1123361

1022391

921261

820161

719691

619101

518831

418811

318311

218441

118391

151413121110987654321

259525352487240423362239212620161969191018831881183118441839

111111111111111

a)


56

1

1'

1240144,272120

2721446892251331895

1203189515

XX

Schritt 1: Determinante bilden

306223760

1240272144120

2721446892251331895

1203189515

'

XX

Bestimmung der Inverse gemäß der zuvor beschriebenen Schrittfolge

b)


57

16546670254760409331320

25476042006892520

409331320689252081,14015593

6892251331895

3189515

27214431895

12015

124068922513

12031895

272144120

3189515

1240120

12015

1240272144

12031895

272144120

6892251331895

1240120

27214431895

1240272144

27214468922513

C

10

Schritt 2: Kofaktor-Matrix bestimmen


58

Schritt 3: adjungierte Matrix bilden

16546670254760409331320

2547604200689252

40933132068925281,14015593

A) (adj

10

'C

Schritt 4: inverse Matrix bilden

054031,00008319,0336707,1

0008319,00000137,00225082,0

336707,10225082,037,23277

X)(X 1'


59

c)

2324

2316

2257

2165

2128

2048

1948

1867

1815

1756

1749

1735

1666

1688

1673

151413121110987654321

259525352487240423362239212620161969191018831881183118441839

111111111111111

247934

62905821

29135

yX '


60

d)

247934

62905821

29135

054031,00008319,0336707,1

0008319,00000137,00225082,0

336707,10225082,037,23277

'1'

yXXX

04356,8

74198,0

28625,300


i 2i 3iY 300,28625 0,74198X 8,04356X

•geschätzte Gleichung:

Documents

1 Matrix-Algebra Grundlagen 1. Matrizen und Vektoren Matrix ist ein rechteckiges Schema von Zahlen angeordnet in Zeilen und Spalten genauer: eine Matrix