Seminar – 13. Dezember 2010 Korrelierte Fehler in Wasserdampfschätzungen aus Satellitendaten Ralf Lindau

Seminar – 13. Dezember 2010

Korrelierte Fehlerin

Wasserdampfschätzungenaus

Satellitendaten

Ralf Lindau


Kriging für CM-SAF

Tägliche Wasserdampfschätzungen aus Satellitenbeobachtung werden „gekrigt“ um:

- Datenlücken zu füllen.

- zu jedem (täglichen, globalen) Feuchtefeld ein Fehlerfeld zur Verfügung zu

haben.


Kriging-Ansatz

• Es gibt n Beobachtungen xi an den Orten Pi.

• Mache eine Vorhersage x0 für den Ort P0 .

• Konstruiere die Vorhersage aus einem gewichteten Mittel der Beobachtungen xi.

• Berücksichtige dabei die Fehler xi.

• Bestimme die Gewichte i.

min1

2

10

m

t

n

iiii xxx


Matrix und Input

Korrelationslänge

Var / n


Neue Aufgaben in 2010

1. Bisher: Erst Schichten integrieren, dann TPW kriggenJetzt: Erst Schichten kriggen, dann integrieren

Wie lautet dann der Fehler?

2. Bisher: Inputfehler statistisch abgeleitet.Jetzt: Gegebene Satellitenfehler nutzen.

3. Berücksichtigung horizontaler Fehlerkovarianzen in der Kovarianzmatrix beim Kriging


Fehlerfortpflanzung

g

dpqw ii

Fehlerfortpflanzung: 22

2i

i

qq

ww

g

dp

q

w i

i

Die partiellen Ableitungen von w eingesetzt:

22

2i

i qg

dpw

Wenn alle Schichten gleiche Massen (dp) umfassten, gälte:n

pdpi

0 222

202 iqng

pw

Wenn alle Fehler gleich wären, gälte:

n

q

g

pw

2

2

202

Definition Gesamtwasserdampfgehalt

FFF;-)

Var/n:


Fehler für abhängige Schichten

Jeweils zwei Schichten sind abhängig.

uu n

i

iiin

i

ii

g

dpqf

g

dpqw

11

Diese zwei Schichten sind gleich mächtig:

un

i

iii

g

dpqfw

1

1

22

2i

i

qq

ww

21

2

222 1

i

n

i

ii qg

dpfw

u

Alle Schichten gleich mächtig: 21

2

22

202 1 i

n

ii qf

gn

pw

u

Alle fi=1

un

iiqgn

pw

1

2

22

202 4

Alle qi gleich:

222

202 4

qgn

pnw u

n=2nu

un

i

ii

i g

dpf

q

w

1

1

un

q

g

pw

2

2

202


Ansatz

Wir vermuten, dass nicht alle Schichten unabhängig sind.

Unterstellt man dennoch 42 unabhängige Schichten, liefert Var/n zu kleine Fehler.

Der Unterschätzungsfaktor zeigt, wieviele Schichten in Wahrheit abhängig sind.


Err(sum(lpw))E

rr(s

um(lp

w))

Err

(tpw

)

Quotient der Varianzen

1.0 mm

2.0 mm


Fazit 1

Diagnose: Die Fehlervarianz von sum(lpw) wird im Mittel um den Faktor 4 unterschätzt.

Grund: die 42 Schichten sind eben nicht unabhängig.

Interpretation des Faktors: Die wahre vertikale Auflösung ist um den Faktor 2 (über Land) bis 7 (über warmen Ozean) kleiner als die nominelle (42 Schichten)


Aufgabe 2

Bisher wurde der Beobachtungsfehler der Inputdaten statistisch bestimmt.

Erweiterung des Kriging-Programms, sodass auch explizite Fehlerangabenzur Bestimmung des Inputfehlers genutzt werden können (wenn sie, wie bei IASI mitgeliefert werden).


Wasserdampf aus IASI IASI: Infrared Atmospheric Vertical Sounder

(METOP)

90 Levels (bis 0.5 hPa also etwa 50 km)

Beispiel:

29. August 2008

Level 85 = 899.69 hPa

Keine Messungen wegen:

Gebirgen Wolken Nur einer täglichen Beobachtung

(um Vergleich neu/alt zu ermöglichen)


2 Arten von Inputfehlern

Klassische Fehlerschätzung: Var / n

Im globalen Mittel 0.752 g/kg

Explizit durch den Algorithmus mitgelieferterFehler

Im globalen Mittel 1.886 g/kg


Kriging-Ergebnisse

Input

Ergebnis mitklassischem Fehlerinput

Ergebnis mit explizitem Fehlerinput


Kriging-Fehler

Kla

ssis

chE

xpliz

it

0.752 g/kg

1.886 g/kg

0.577 g/kg

0.791 g/kg


Kriging-Fehler

cxxxx jii 0

ni

1

Annahmen:

Alle Gewichte gleich

Alle Kovarianzen gleich

Lokale Varianz Information Redundanz Input-Fehler

n

i

n

j

n

iiiiijiji

n

iikr xxxxxxxx

1 1 11000

2 2

2

22

22 11121 inkr

nnc

nnc

nn


Übergang Input- Outputfehler

Version in[g/

kg]

in in2 in

2 / n 1 - c kr2 kr kr[g/

kg]

Klassich 0.752 0.554 0.307 0.03 0.15 0.18 0.425 0.557

Explizit 1.886 1.390 1.933 0.19 0.15 0.34 0.586 0.796

2

22

22 11121 inkr

nnc

nnc

nn

Input Output

nc in

kr

22 1

Outputfehler = Datenkonfiguration + Inputfehler


Aufgabe 3

Fehlerkovarianzen z.B. [x1 x2] verschwinden bei unabhängigen Daten.

Satellitendaten sind nicht unabhängig, denn sie beruhen auf einem einzigen Retrieval.

Überschätzt das Retrieval an einem Ort, so neigt es auch in der Nachbarschaft zur Überschätzung, weil die physikalischen Bedingungen ähnlich (schwierig) sind.

Zur Bestimmung der Fehlerkovarianzen benötigt man zwei unabhängige Satelliten.


Monatliche Mittel

ATOVS

IASI

Spezifische Feuchte in 700 hPaAugust 200990 km horizonale Auflösung

IASI global 20% niedriger als ATOVS

Wolkenproblem des reinen Infrarotsensors an der ITCZ im Vergleich zu ATOVS (Mikrowelle AMSU + Infrarot HIRS)?

Aber auch Minima über kalten Ozeanströmungen flacher.


Tägliche Mittel

ATOVS

IASI

29. August 2008 (Partytime)


Tägliche Anomalien

ATOVS

IASI


Tägliche Anomalien (ungekrigt)

ATOVS

IASI

Bei 90 km Auflöung bleiben ATOVSDaten (2 Satelliten) gerade nochflächendeckend.

IASI hat das nmin=2 Problem und dasWolkenproblem.


Methode (1/2)

D = ((x1 + x1) – (x2 + x2))2

S = (x1 + x1)2 + (x2 + x2)2

D = 2 Var – 2 Cov + Err1 + Err2 - 2 ErrCov

S = 2 Var + Err1 + Err2

S – D = 2 Cov + 2 ErrCov


Methode (2/2)

S = 2 Var + Err1 + Err2 S – D = 2 Cov + 2 ErrCov

Intern: Sint = 2 Var + 2 Err1 Sint – Dint = 2 Cov + 2 ErrCov

Extern: Sext= 2 Var + Err1 + Err2 Sext – Dext = 2 Cov

2 Gleichungen, 3 Unbekannte 2 Gleichungen, 2 Unbekannte

Zusätzliches Wissen: Var = Cov(0)


Berechnung

Sext – Dext = 2 Cov Sint – Dint = 2 Cov + 2 ErrCov

Sint = 2 Var + 2 Err1

Sext = 2 Var + Err1 + Err2


Gesamtvarianz ungleich 1 ?

11

2

n

xxxxnn

1 nxxn

)1( nkxxk n

n

n

kn

nk

kn

xxxVar k n 1

1

)1(

1

Jeder der n Tageswerte wurde mit dem Mittelwert und derStdabw des Monats an diesemOrt normiert.

An jedem Ort haben die normierten Werte die Stdabw. 1 und den Mittelwert 0.

Für die Kovarianzfunktionwird über k Orte aufsummiert.

k: etwa 10000 globale Gitterpunkten: etwa 30 Tage im Monat


Änderungen

Var wurde bisher überschätzt

Err1 wurde bisher unterschätzt

Cov wurde überschätzt

Ecv wurde bisher Null gesetzt(also deutlich unterschätzt)

bish

er

richt

ig


Anwendung

Diagonale Off-Diagonale Vektor

Man wollte: Var + Err Cov CovMan macht: Var + Err Cov + Ecv Cov + EcvRichtig ist: Var + Err Cov + Ecv Cov


Kriging Resultate

Die resultierenden Feuchtefeldersind nahezu identisch

Ohne Berücksichtigungder Fehlerkovarianzen

Mit Berücksichtigungder Fehlerkovarianzen


Kriging Fehler

Ohne Berücksichtigungder Fehlerkovarianzen(0.400 g/kg global)

Mit Berücksichtigungder Fehlerkovarianzen(0.874 g/kg global)

Aber die Fehlerfelderunterscheiden sich deutlich.


Schluß jetzt

Aufgabe 1

• Umkehrung Integration/Kriging ist installiert.• Jeweils 2 (Land) bis 7 (Ozean) ATOVS-Wasserdampfschichten sind abhängig. ´

Aufgabe 2

• Die Möglichkeit explizite Fehlerangaben des Retrievals zu nutzen, ist installiert.• IASI-Fehlerangaben sind deutlich größer als die bisherige statistische Schätzung.• Änderungen des Outputfehlers bleiben dennoch begrenzt, da Konfigurationseffekte dominieren.

Aufgabe 3

• Ein Verfahren, Fehlerkovarianzen zu bestimmen wurde entwickelt und angewandt.• ATOVS Feuchteschätzungen weisen wie erwartet große horizontale Fehlerkovarianzen auf.• Die resultierenden Fehler müssen deshalb deutlich (Faktor 2) nach oben korrigiert werden.

Documents

Seminar – 13. Dezember 2010 Korrelierte Fehler in Wasserdampfschätzungen aus Satellitendaten Ralf Lindau