16. DV-Treffen der MPG 18./19.11.1999 Hermann Lederer 1 Gigabit-Projekte mit MPG-Beteiligung Status 17. Nov. 1999 Hermann Lederer RechenZentrum Garching

16. DV-Treffen der MPG 18./19.11.1999 Hermann Lederer 1

Gigabit-Projekte mit MPG-Beteiligung

Gigabit-Projekte mit MPG-BeteiligungStatus 17. Nov. 1999

Hermann Lederer

RechenZentrum GarchingMax-Planck-Institut für Plasmaphysik

D-85740 GarchingE-mail: [email protected]

URL: http://www.rzg.mpg



- Projekte-Übersicht

- Netzverbindungen und Rechner

- Anwendungen

Vortragsübersicht



4 Projekte aus den Bereichen “Visual Supercomputing / Metacomputing “

1. Strukturbestimmung mit Elektronentomograpie Projektleitung: MPI für Biochemie

2. Gravitationsforschung: Kollision von schwarzen LöchernProjektleitung: MPI für Garvitationsphysik

3. Polyatomare Systeme: Komplexe OberflächenreaktionenProjektleitung: Fritz-Haber-Institut

4. Kopplung von Hochleistungsrechnern (Metacomputing)Projektleitung: RZG



MPI für Astrophysik, Garching MPI für Biochemie, MartinsriedProf. Dr. W. Hillebrandt, Dr. A. Kercek Prof. Dr. Baumeister, Dr. R. Hegerl

MPI für Festkörperforschung, Stuttgart MPI für Gravitationsphysik (AEI), PotsdamProf. Dr. Parrinello, Dr. J. Hutter Prof. Dr. E. Seidel, Dr. F. Kaspar

MPI für Polymerforschung, Mainz Fritz-Haber-Institut der MPG, BerlinProf. Dr. K. Kremer, Dr. F. Müller-Plathe Prof. Dr. M. Scheffler, Prof. Dr. K.

HermannKonrad-Zuse-Zentrum für Leibniz-Rechenzentrum (LRZ), MünchenInformationstechnik (ZIB), Berlin Dr. V. Apostolescu, W. SchubringH. Busch, H.-C. Hege, Dr. T. Steinke

Rechenzentrum der Universität Stuttgart (RUS) Rechenzentrum Garching der MPG (RZG)Dr. A. Geiger, M. Resch Dr. H. Lederer, A. Hackl

Projekt-Partner





- Anwendungen

Vortragsübersicht







Fujitsu VPP700/52LRZ München

Cray T3E/816RZG Garching

Cray T3E/404ZIB Berlin

ATM OC12 (622 Mb/s)

ATM Switch

HIPPI 800 (800 Mb/s)

München ErlangenBerlin

GTB (3 x 2,4 Gb/s)

Netzwerk-Topologie Metacomputing



Fujitsu VPP700/52LRZ München

Cray T3E/816RZG Garching

Cray T3E/404ZIB Berlin

ATM OC12 (622 Mb/s)

ATM Switch

HIPPI 800 (800 Mb/s)

München Erlangen

Berlin

GTB (3 x 2,4 Gb/s)

Netzwerk-Topologie Visual Supercomputing /Metacomputing

OctaneMPI Biochemie

Octane RZG Garching

OctaneZIB Berlin

OctaneFHI Berlin

OctaneAEI Potsdam

Origin 2000/32AEI Potsdam



Aufbau der ATM-Infrastruktur zur Anbindung ans GTB Anbindung Berliner Raum (AEI / FHI / ZIB)

Anbindung AEI/Golm zu FHI/Berlin-Dahlem:

Dediziertes Faserpaar der Uni Potsdam zwischen den Standorten Babelsberg und Neues Palais

Vereinbarung der MPG mit Uni Potsdam: „Aufrüstung“ der Strecke durch WDMs aus Investitionsmitteln der MPG-> Vervierfachung der Leistungskapazität (bei 4 Kanälen) -> Reservierung eines Kanals mit 622 Mb/s für MPG (ein weiterer Nutzer ist der DFN-Verein). -> Die Universität Potsdam stellt der MPG ein Faserpaar

zwischen ihren Standorten Neues Palais und Golm zur Verfügung.Im Rahmen der Campus-Erschließung Golm: Installation MPG-eigener Fasern zum UNI-Standort Golm

Technisch und administrativ komplexe Streckensituation (MPG-Fasern FHI – FU-Bibliothek, FU-Fasern Bibliothek – ZEDAT, LIT-Fasern ZEDAT – Rathaus Zehlendorf, LIT-Fasern Rathaus Zehlendorf – UNI Potsdam/Babelsberg, WDM-Strecke UNI Potsdam/Babelsberg - UNI Potsdam/Neues Palais, UNI-Potsdam-Fasern Neues Palais – Golm, MPG-Fasern UNI Potsdam/Golm – MPG/Golm)



Aufbau der ATM-Infrastruktur zur Anbindung ans GTB Anbindung Berliner Raum (AEI / FHI / ZIB)

Anbindung AEI/Golm zu FHI/Berlin-Dahlem (Forts.)

Zügige Inbetriebnahme der ATM-Verbindung zwischen den Switches am FHI und am AEI

Störungsfreie Verbindung seit Mai 1999(nach Behebung anfänglich auftretender Störungen)

Anbindung FHI/Berlin-Dahlem ans ZIB/ Berlin-Dahlem

Relativ übersichtliche Strecke (FHI – FU Bibliothek – ZEDAT – ZIB). Nach Installation des ATM-Switches am ZIB konnte der Kontaktzum Switch des FHI problemlos hergestellt werden.



ATM Infrastruktur im Raum Berlin / Potsdam(ZIB, FHI, AEI)



ATM Infrastruktur im Raum München(LRZ, RZG, MPIB)





- Anwendungen

Vortragsübersicht



Projektziele:

Beschleuinigung der StrukturaufklärungSerienbestimmungenStrukturergebnis während Probe noch intakt

Projektrealisierung durch

Kopplung der Elektronenmikroskopie-Infrastrukturan Supercomputer (Cray T3E am RZG)

Strukturbestimmung mit Elektronentomographie MPI für Biochemie, Prof. Baumeister



1 2

34

Strukturbestimmung mit Elektronentomographie / MPI für Biochemie

Tomografische Aufnahme (1) und Schritte der Bildrekonstruktion (2-4)



Strukturbestimmung mit Elektronentomographie MPI für Biochemie, Abt. Baumeister

Projektstatus:

- Alignierungscode Code portiert zu Cray T3E und optimiert

- Produktionsläufe parallel auf 256 PEs

- Socket I/O wurde implementiert für Online-Datentransfer via GTB von Garching nach Martinsried für visuelle Inspektion (sowohl im Auswerteprogramm auf T3E wie auf Workstation)

- Visualisierungsprogramme auf Grafik-WS: Im Status von Adaptierung und Optimierung für höheren Datenstrom; noch nötig: besseres Verfahren für Mustererkennung



Projektziel:

Generierung einer kombinierten numerisch/grafischen Computerumgebung, die die effiziente theoretische Untersuchung einfacher chemischer Reaktionen an Metall- und Halbleiteroberflächen erlaubt.


- Simulationsrechnungen auf Cray T3E in Garching- Online-Visualisierung auf Grafik-Workstation am FHI

Polyatomare Systeme: Visuell gesteuerte Simulation und Analyse komplexer Oberflächenreaktionen

Fritz-Haber-Institut, Prof. K. Hermann, Prof. M. Scheffler



Projektstatus:

Produktionsläufe auf Cray T3E, Pilotstudie auf Visualisierungs-Workstation

Visualisierung bereits vorhandener ErgebnisseReaktion eines As2-Moleküls mit der GaAs(001)-Oberfläche.

(wichtiger Elementarschritt zum Verständnis der Molekularstrahl-Epitaxie von GaAs-Filmen)

Berechnung von Elektronen- bzw. Zustandsdichten für typische Geometrien entlang von Modell-Reaktionspfaden mit dem Elektronenstruktur-Programm FHI98md für die Reaktion As2 - GaAs(001) ( P. Kratzer und C. Morgan)

Zusammenfügen der Ergebnisse für einzelne Geometrien zu einer Animation und Visualisierung mit IRIS-Explorer auf Grafik-Workstation

Polyatomare Systeme (FHI)




Datenfluß der Elektronendichte, Zustandsdichte, Atomkoordinaten zum Renderer.

Iris ExplorerMap




Atomgeometrie als Ball-Stick-Modell (- mit und ohne Elektronendichte -), Zustandsdichte als 2D-Grafik.

Beispiel-darstellungaus der berechneten Animation, As2@GaAs (FHI)



Projektziel:

Aufbau einer verteilten Visualisierungsumgebung für die Durchführung, Optimierung, Weiterentwicklung, Bewertung und Diskussion von Supercomputer-Simulationen am Beispiel von CACTUS zur Lösung der Einsteingleichungen


GTB-Kopplung von

T3E/ZIB, T3E/RZG, O2000/AEI + Octanes bei ZIB/RZG/AEI

Softwarenentwicklung

- Visualisierungstool (Amira /ZIB) - Verteiltes I/O (HDF5: hierarchical data format /NCSA)- Framework für „Remote Control“ und „Remote Steering“

Gravitationsforschung: Kollision von schwarzen Löchern MPI für Gravitationsphysik (AEI), Prof. Ed Seidel



Gravitationsforschung: Kollision von schwarzen Löchern / MPI für Gravitationsphysik

Projektstatus

Abgeschlossene Softwareentwicklungen

Erweiterung von AMIRA um Netzwerkinterface für asynchroneDatenübertragung (Empfang von Simulationsdaten)

Konzept erstellt für Integration von HDF5-Funktionalität in AMIRA

Umstellung von CACTUS I/O von FLEXIO (HDF4) auf HDF5

Definition von Schnittstellen und Verbindungsprotokollenfür „Remote steering“; Einbeziehung von HDF5 und GLOBUS;provisorische Implementierung einer HTTP-Schnittstelle



Gravitationsforschung: Kollision von schwarzen Löchern / MPI für Gravitationsphysik

Projekstatus (Forts.)

Erste geplante Demo unter Nutzung des GTB:diese Woche auf SC99 in Portland:Verteilter Cactus-Lauf auf T3Es an ZIB und RZG und Visualisierung in Portland

Serie von Feasibility-Demos (mit reduzierten Datenraten):

SC97 Demo (San Jose, Nov 1997)Online Visualisierung in San Jose von Cactus-Lauf auf 512 PEs am RZG

Alliance Conference (NCSA, Mai 1998)Online Visualisierung in San Jose von Cactus-Lauf auf 512 PEs am ZIB/Berlin

SC98 Demo (Orlando, Dez. 1998)Online-Visualisierung in Orlando eines verteilten Cactus-Laufs an ZIB und RZG



Projektziel:

Test verschiedener Metacomputing-Szenarien durch verteiltes Supercomputing mit realen Anwendungen aus verschiedenen wissenschaftlichen Disziplinen


Homogenes Metacomputing - Kopplung der Cray T3E-Systeme an ZIB und RZG

Heterogenes Metacomputing - Einbeziehung der Fujitsu VPP-Systeme am LRZ

Kopplung von Hochleistungsrechnern (Metacomputing)Koordination: H. Lederer, RZG



Randbedingung:

keine ATM-OC12 oder Gigabit-Ethernet-Interfacesauf T3Es verfügbar, nur HIPPI 800

-> natives HIPPI oder HIPPI-ATM-Umsetzung

Ergebnis des Technologieprojekts des LRZ: (Juli 1999): natives HIPPI für 600 km (Strecke München - Berlin) nicht möglich

einzige Lösung: - HIPPI/ATM OC12 Umsetzung

Metacomputing: Netzwerkoptionen



Anwendung aus der MaterialwissenschaftAb-initio Molekulardynamik, Code CPMD Prof. M. Parrinello, MPI für Festkörperforschung, Stuttgart

Anwendung aus der BiochemiePotentialoberflächen von RNA-Fragmenten, Code GAMESS UKDr. T. Steinke, Konrad-Zuse-Institut, Berlin (ZIB)

Anwendung aus der Astrophysik: Hydrodynamik von Verbrennungsvorgängen in SupernovaeProf. Hillebrandt, Max-Planck-Institut für Astrophysik, Garching

Anwendung aus der PolymerforschungSimulation von Polymereihgenschaften, Codes POLY/YASPProf. Kremer, Max-Planck-Institut für Polymerforschung, Mainz

Metacomputing: Anwendungen



PACX Software des HLRS/RUS wird eingesetzt

(MPI Extensions, um ein MPI-Programm ohne Änderungenverteilt auf einem (oder mehreren) Rechnern abzuarbeiten)

- HLRS vervollständigt die Bibliothek für T3E

- HLRS portiert die komplette Bibliothek zum Fujitsu VPP System

- Unterstützung für alle einzusetzenden Anwendungen

Metacomputing: Software für homogene Rechnerkopplung



PROMETHEUS2*128 PE run: 160 MB alle 5 s512 PE run: 320 MB alle 10 s

CPMD2*128 PE run:6 GB in 10 s in 1 kB packets (zuviel für GTB)(Kein Überlapp von Rechnung und Kommunikation)Pfad-Integral Methode für CPMD: 100 kB alle 10s für optimales Arrangement von PE Gruppen

Metacomputing: Kommunikationsverhalten der AnwendungenSpektrum der Anforderungen an Bandbreite und Latenz



POLY / YASP1 MB alle 10 bis 20 ms zwischen VPP und T3E(höchste Anforderungen an Latenzen; Verwendung verschiedener Hauptspeichergrößen pro PE für VPP und T3E)

GAMESS2*128 PEs:Lose Kopplung: 3 GB einmalig(lokale Energie- und Gradientenberechnungen, verteilte Berechnung der Power-Matrix)Enge Kopplung: 60 GB alle 5 min(teilweise verteilte Energie- und Gradientenberechnungen, verteilte Berechnung der Power-Matrix)

Metacomputing: Kommunikationsverhalten der AnwendungenSpektrum der Anforderungen an Bandbreite und Latenz



Projektstatus

- Homogenes Metacomputing

Erste verteilte Rechnungen mit Anwendungen für homogenes Metacomputing (CPMD, PROMETHEUS, GAMESS UK) übers GTB durchgeführt (für kleine Testfälleunter Einsatz von PACX): 16 PEs vs 2 x 8 PEs

- Heterogenes Metacomputing

Kopplung von POLY/YASP auf T3E und VPP erstfür das Jahr 2000 vorgesehen

Metacomputing



Stufenschema von Simplex- bis zu voller Duplex-Rechnung:Beispiel 16 PEs Cray T3E für CPMD

Metacomputing

MPI Simplex

MPI + PACX 1 Interface/ Simplex

MPI + PACX 2 Interfaces/ simul.Duplex

MPI + PACX Duplex



Stufenschema von Simplex- zu Duplex-Rechnungen am Beispiel von CPMD mit 16 PEs Cray T3E

Metacomputing

MPI Simplex

MPI + PACX Simplex

1 Interface

MPI + PACX simul.Duplex 2 Interfaces

(4 kB TCPIP Buffer)

t=1

t=0.88

t=0.77

t=1.04

t=0.89

t=0.76

t=11.4

t=1.16

t=1.05

t=8.1

t=0.90

t=0.87

t=1.09

t=0.99

MPI + PACX simul.Duplex 2 Interfaces

(32 kB TCPIP Buffer)

MPI + PACX Duplex

2 Cray T3Es(32 kB TCPIP Buffer)

RZG ZIB

Documents

16. DV-Treffen der MPG 18./19.11.1999 Hermann Lederer 1 Gigabit-Projekte mit MPG-Beteiligung Status 17. Nov. 1999 Hermann Lederer RechenZentrum Garching