12. Rn als EUKLIDISCHER VEKTORRAUM

1

Orthogonalitat in der Ebene.

Die Vektoren in der Ebene, die (im ublichen Sinne) senkrecht zu

einem Vektor x = (x1, x2)T stehen, lassen sich leicht angeben.

Sie haben die Koordinaten

(y1y2

)=

(x2−x1

)

und Vielfache davon.

2

x1

x2

y2

y1

y1 = −x2

y2 = x1

3

Algebraisch ausgedruckt:

Die Vektoren (x1, x2)T und (y1, y2)T stehen aufeinander senk-

recht, falls gilt

y1 = −λx2 , y2 = λx1

fur einen Skalar λ.

Viel klarer ist folgende Umformulierung:

x1y1 + x2y2 = 0

4

Dies fuhrt uns zum Skalarprodukt zweier Vektoren x,y in der

Ebene:

〈x,y〉 =⟨(x1

x2

),

(y1y2

)⟩:= x1y1 + x2y2

Wir halten fur die Orthogonalitat von x,y fest:

x ⊥ y ⇔ 〈x,y〉 = 0

5

Auch die Lange |x| eines Vektors x = (x1, x2)T lasst sich mit dem

Skalarprodukt bestimmen. Nach Pythagoras gilt

|x|2 = x21 + x2

2 = 〈x,x〉

6

x1

x2|x|

|x|2 = x21 + x2

2

7

Zudem gilt fur Winkel ϕ zwischen zwei Vektoren x,y 6= 0

cosϕ =〈x,y〉|x| · |y|

(Diese Formel begrunden wir hier nicht, wir brauchen sie nicht

mehr.)

8

Skalarprodukte ermoglichen in Vektorraumen Langen- und Win-

kelmessungen!

Vektorraume, die mit einem Skalarprodukt versehen sind, heißen

Euklidische Vektorraume

Auf die charakteristischen algebraischen Eigenschaften von Ska-

larprodukten kommen wir zuruck.

9

Im R3 sind die Verhaltnisse analog.

Langen und Orthogonalitat lassen sich entsprechend charakteri-

sieren:

10

Die Lange von Vektoren:

|x′|x3

x2x1

x

x′

|x|

zweimal Pythagoras

|x|2 = |x′|2 + x23

|x′|2 = x21 + x2

2

ergibt

|x|2 = x21 + x2

2 + x23

11

Orthogonalitat von Vektoren:

|y|

|x + y|

|x|

nochmal Pythagoras:

x ⊥ y, falls

|x|2 + |y|2 = |x + y|2

12

Das ergibt die Gleichungen

|x|2 = x21 + x2

2 + x23

|y|2 = y21 + y2

2 + y23

und

|x + y|2 = (x1 + y1)2 + · · ·+ (x3 + y3)2

= (x21 + 2x1y1 + y2

1) + · · ·+ (x23 + 2x3y3 + y2

3)

= |x|2 + |y|2 + 2(x1y1 + x2y2 + x3y3)

und folglich

|x|2 + |y|2 = |x + y|2 ⇔ x1y1 + x2y2 + x3y3 = 0

13

Definition:Das (Standard-)Skalarprodukt zweier Vektoren x = (x1, . . . , xn)T ,y = (y1, . . . , yn)T im Rn ist gegeben durch

〈x,y〉 = x1y1 + · · ·+ xnyn

Die Vektoren heißen orthogonal, falls 〈x,y〉 = 0. Wir schreibendann

x ⊥ y

Die Lange oder Norm von x ist gegeben durch

|x| =√〈x,x〉 =

√x2

1 + · · ·+ x2n

14

Skalarprodukte erfullen die Rechenregeln (nachrechnen!):

1. Bilinearitat

〈λ′x′+ λ′′x′′,y〉 = λ′〈x′,y〉+ λ′′〈x′′,y〉〈x, λ′y′+ λ′′y′′〉 = λ′〈x,y′〉+ λ′′〈x,y′′〉

2. Symmetrie

〈x,y〉 = 〈y,x〉

3. Positive Definitheit

〈x,x〉 ≥ 0

und

〈x,x〉 = 0 ⇔ x = 0

15

Orthogonale Projektionen.

Sei U ein Untervektorraum im Rn.

Wir konnen nun einen beliebigen Vektor x ∈ Rn auf U senkrecht

projizieren.

16

x

U

P (x)

17

Der Bildpunkt von x bezeichnen wir als

P (x) = PU(x)

Orthogonales Projezieren bedeutet, dass die Differenz x − P (x)senkrecht auf U steht. Die Projektion lasst sich also charakteri-sieren durch die Bedingung

x− P (x) ⊥ u fur alle u ∈ U

oder auch durch die aquivalente Bedingung

|x− P (x)| ≤ |x− u| fur alle u ∈ U

(nach Pythagoras gilt namlich |x− P (x)|2 + |P (x)− u|2 = |x− u|2).

18

Beispiel.

Sei U der von den Vektoren

b1 = (1,1,1)T , b2 = (1,2,0)T

im R3 aufgespannte Untervektorraum und sei

x = (0,2,3)T

Die Projektion P (x) = λ1b1 + λ2b2 erfullt die”

Normalgleichun-

gen“

〈x− P (x),b1〉 = 〈x− P (x),b2〉 = 0

19

oder

(0− λ1 − λ2) · 1 + (2− λ1 − 2λ2) · 1 + (3− λ1) · 1 = 0

(0− λ1 − λ2) · 1 + (2− λ1 − 2λ2) · 2 = 0

oder

5− 3λ1 − 3λ2 = 0

2− 3λ1 − 5λ2 = 0

oder

λ1 =19

6, λ2 = −

3

2also

P (x) =19

6

111

− 3

2

120

=

5/31/6

19/6

20

Beispiel: Lineare Regression.

t1 t2 t3 t4

x1

x2x3

x4

α+ βt

An Datenpunkte

x1, . . . , xn

sollen Punkte auf einer Geraden

α+ βt1, . . . , α+ βtn

angepasst werden.

t1, . . . , tn sind gegeben,

α, β sind zu bestimmen.

21

Der fruhe Vorschlag von Laplace, α und β so zu wahlen, dass

n∑i=1

|xi − (α+ βti)|

minimal wird, ist nicht gut handhabbar und auch geometrisch

schwer zu interpretieren.

Nach Gauss und Legendre trifft man die Wahl besser so, dass

n∑i=1

(xi − (α+ βti)

)2

minimal wird.

”Methode der kleinsten Quadrate“

22

Um die geometrische Bedeutung zu verstehen, betrachen wir im

Rn den”

Daten“vektor

x = (x1, . . . , xn)T

und den Untervektorraum der Dimension 2

U = {(α+ βt1, . . . , α+ βtn)T | α, β ∈ R}

Dann gilt fur u = (α+ βt1, . . . , α+ βtn)T

|x− u|2 =n∑i=1

(xi − (α+ βti)

)2

23

Nach der Methode der kleinsten Quadrate bestimmt man also

als Losung des Regressionsproblems die orthogonale Projektion

P (x) von x auf U.

Die Losung ist leicht bestimmt:

U wird von den beiden Vektoren (wahle α = 1, β = 0 und α =

0, β = 1)

b1 = (1, . . . ,1)T , b2 = (t1, . . . , tn)T

erzeugt, d.h.

U = L(b1,b2)

24

Es gilt also fur P (x) = (α+ βt1, . . . , α+ βtn)T⟨x− (α+ βt1, . . . , α+ βtn)T ,b1

⟩= 0⟨

x− (α+ βt1, . . . , α+ βtn)T ,b2

⟩= 0

bzw. nach Definition des Skalarproduktes

n∑i=1

(xi − (α+ βti)) · 1 = 0

n∑i=1

(xi − (α+ βti)) · ti = 0

25

Wir erhalten fur α, β die”

Normalgleichungen“

n∑i=1

xi − nα− βn∑i=1

ti = 0

n∑i=1

tixi − nαn∑i=1

ti − βn∑i=1

t2i = 0

Es lohnt nicht, sie sich im Einzelnen zu merken, man sollte eher

ihre Entstehung aus der orthogonalen Projektion nicht vergessen.

26

Die Losungen bestimmen sich als (nachrechnen!)

β =

n∑i=1

tixi − ntxn∑i=1

t2i − nt2=

n∑i=1

(ti − t)(xi − x)

n∑i=1

(ti − t)2

α = x− βt

mit

t =1

n

n∑i=1

ti , x =1

n

n∑i=1

xi

27

Beispiel: Die Cauchy-Schwarz Ungleichung.

Wir projizieren nun einen Vektor x ∈ Rn auf einen eindimensio-nalen Unterraum

U = L(b)

erzeugt von dem Vektor b 6= 0 (also auf eine”

Gerade“). Da dieProjektion P (x) zum Unterraum gehort, gilt fur ein Skalar λ

P (x) = λb

Außerdem gilt x− P (x) ⊥ b, bzw.

〈x− P (x),b〉 = 〈x− λb,b〉 = 0

28

b

U

P (x) = λb

x

29

Mit den Rechenregeln fur das Skalarprodukt folgt

〈x,b〉 − λ〈b,b〉 = 0 bzw. λ =〈x,b〉|b|2

Eingesetzt in P (x) = λb erhalten wir

P (x) =〈x,b〉|b|2

b

30

Fur die Norm der Projektion folgt

|P (x)|2 = 〈P (x), P (x)〉 = λ2〈b,b〉 = λ2|b|2 =〈x,b〉2

|b|4|b|2

oder auch

|P (x)||x|

=|〈x,b〉||x| · |b|

Wegen |P (x)| ≤ |x| erhalten wie die

Cauchy-Schwarz Ungleichung:

|〈x,b〉| ≤ |x| · |b|

31

Die Projektion als Abbildung.

Die Projektionsabbildung

x 7→ P (x)

auf U ist eine lineare Abbildung, mit dem Bildraum

RP = U

32

Der Nullraum besteht aus allen Vektoren x, die bei Projektion

auf 0 abgebildet werden, also schon senkrecht auf U stehen,

NP = {x ∈ Rn | x ⊥ u fur alle u ∈ U}

Man schreibt

NP = U⊥

33

x

U = RPU⊥ = NP

34

Definition:

Fur einen Unterraum U in einem Euklidischen Vektorraum V mit

Skalarprodukt 〈·, ·〉 ist das orthogonale Komplement definiert als

U⊥ := {x ∈ V | x ⊥u fur alle u ∈ U}

das ist die Menge aller Vektoren senkrecht zu U,

anders ausgedruckt, alle Vektoren, die auf den Ursprung 0 proji-

ziert werden.

35

Eigenschaften des orthogonalen Komplements.

1. (U⊥)⊥ = U.

2. Jeder Vektor x ∈ V gestattet eine eindeutige Zerlegung

x = u + u⊥ mit u ∈ U ,u⊥ ∈ U⊥

mit u = PU(x), u⊥ = PU⊥(x). Man schreibt

U ⊕ U⊥ = V

3. Insbesondere

dim(U) + dim(U⊥) = dim(V)

36