CERA Eine Oracle Datenbank in der

Klimaforschung

Hannes Thiemann Gruppe Modelle und Daten (M&D) am Max-Planck-Institut für Meteorologie, Hamburg

Arne BrüningServer Technologies Competence Center

Oracle Deutschland GmbH, Hamburg

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 2

Überblick

Vorstellung M&D & Cera Was sind Klimamodelle Die Daten

Die Lösung Die Hardware Die Anwendung Wohin mit 1 PB?

Ausblick

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 3

„Modelle und Daten“ (M&D)und

„Deutsches Klimarechenzentrum“ (DKRZ)

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 6

Phänomene und Prozesse im Klimamodell

Non

o

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 9

Beispiel eines 3D Gitters in einem Atmosphärenmodell

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 11

Beispiele verschiedener Gitterauflösungen

600km 400km

300km 110km

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 12

Typische Auswertung

Quelle: IPCC

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 13

Typische Datenmengen

Modell

Datenmenge (einzelne Variable, einzelnes Höhenlevel)

pro Zeitschritt

Datenmenge (gesamtes Modell) pro Modellmonat

Datenmenge (gesamtes Modell) pro 500 Jahreslauf

T42L19 (300 km)

16 KB 650 MB 3.7 TB

T106L31

(110 km)100 KB 5.2 GB 30 TB

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 15

Allgemeine Topologie

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 17

Umsetzung in Oracle

Jede Zeitserie einer einzelnen 2-dimensionalen Variable wird in einer Tabelle als BLOB abgespeichert.

Damit entsprechen einem typischen Experiment je nach Konfiguration etwa 200 bis 450 Tabellen.

Eine einzelne Tabelle kann bei einem 500 Jahres-Experiment somit eine Größe von bis zu 70 GB erreichen.

Die Daten werden, während das Modell läuft, bereits in die Klimadatenbank eingefüllt.

Einfüll-Programme (OCI, Oracle Call Interface) bearbeiten den Rohdatenblock, der von den Klimamodellen erzeugt wird.

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 20

Benutzeroberfläche

Der Benutzerzugriff erfolgt über ein Java Applet.

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 22

Hardware

Die vom DKRZ betriebene NEC SX-6/192M24/ 192 mit einer theoretischen Peak Performance von 1536 Gflops steht auf Platz 33 der 21. Top500 Liste der schnellsten Rechner weltweit. (www.top500.org)

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 23

Storage

Am DKRZ werden derzeit 4 Silos des Typs Storage Tek betrieben. Bei insgesamt ca. 5150 nutzbaren Stellplätzen pro Silo ergibt sich bei 200 Gbyte pro Cartridge somit eine nutzbare Gesamtkapazität von ca. 4 Petabyte.

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 24

Datenserver

Für den Datenservice werden verschiedene Rechner verwendet

Sun (E12k und 4800) NEC TX7 (Linux 64 bit)

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 26

Problem: Migration auf iA64 Linux mit 24 CPU‘s NEC TX-7 Intel Itanium2 24 CPU

ccNuma-Boards @ 4 CPU‘s HW-Partitionierbar

Oracle9iDB für iA64-Linux „druckfrisch“ NEC-Linux unterstützt 24 CPU‘s, aber ... ... Oracle unterstützt nur United Linux und Red Hat ... die wiederum weder NUMA, noch 24 CPU‘s

unterstützen

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 27

Problem: „Nur“ 65.535 Datafiles

Datenfiles die gegenwärtig befüllt werden, können noch nicht read only gesetzt werden

Plattenplatz reicht nicht aus, um neue Modellläufe komplett zu speichern, ohne daß bereits Daten ausgelagert werden müssen

Aus Handling-Gründen ca. 10 GB/File= max. 655.350 TB

Benötigt wird aber min. 1 PB!!!

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 28

Problem: Datenverlust bei langlaufenden Simulationen Eine Klimasimulation kann mehrere Monate dauern Damit wären im Falles eines Datenverlustes auch die

Ergebnisse mehrerer Monate verloren.

Lösung: Partitioning Option (Range Partitioning)

Vermindertes Risiko durch R/O-Setzen der einzelnen Partitionen und Auslagerung

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 29

Problem: Wie migriert man 30 TB von Sun nach Linux online? Nur ca. 9 TB Daten auf Disk, der Rest

im StorageTek Silo Grössere Down-Zeiten nicht akzeptabel

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 30

Die LösungHW-Partitioning und separate Datenbanken

11 12 13 14 15 16

NEC TX-7

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 31

Die LösungHW-Partitioning und separate Datenbanken

11 12 131 14 1516

MetadatenDaten

SUNEnterprise

UserSecurity

OID

DB-Link

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 32

Problem: Wie bekommt man ein Petabyte in eine Oracle-DB Nur 9 TB Platte Daten nur Read-Only => Tablespace Read-Only Nologging!

Problem beim Crash, dafür nur einmal sichern

Alte Lösung (Erklärung Offline nehmen, per ftp-schicken, init.ora-Parameter)

Lösung: EMC/Legato DiskExternder

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 35

AusblickMega, Giga, Tera, Peta, Exa, Zetta, Yotta ...

11 12 131 14 1516

MetadatenDaten

EnterpriseUserSecurity

OID

11 12 131 14 1516

Metadaten Daten

Real Application Clusters

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 36

Kontakt

Hannes Thiemann (thiemann@dkrz.de)Modelle und Daten

Max-Planck-Institut für Meteorologie

Bundesstrasse 55

20146 Hamburg

Arne Brüning (arne.bruening@oracle.com)Server Technologies Competence Center

Oracle Deutschland GmbH

Niederlassung Hamburg

H. Thiemann (M&D), A. Brüning (Oracle) / 15.09.03 / 37