A K A D E M I E F O R S C H U N G

0 2 D E Z E M B E R 2 0 0 3 A K A D E M I E A K T U E L L 2 9

V O N R A L F E B N E R U N DH E L M U T H E L L E R

Vor dreieinhalb Jahren wur-de am Leibniz-Rechenzen-trum der Bayerischen

Akademie der Wissenschaften derSupercomputer Hitachi SR8000-F1als „Höchstleistungsrechner inBayern“ (kurz HLRB) in Betriebgenommen. Damit etablierte sichdas Leibniz-Rechenzentrum derBayerischen Akademie der Wissen-schaften (LRZ) neben dem Höchst-leistungsrechenzentrum Stuttgart(HLRS) und dem John-von-Neumann-Institut (NIC) des For-schungszentrums Jülich als drittesdeutsches Höchstleistungsrechenzentrum.

Höchstleistungsrechner imVergleich zum PCDreieinhalb Jahre sind im IT-Be-reich schon eine lange Zeit.Mittlerweile bekommt man für denPrivatgebrauch Standard-PCs mitProzessoren, die mit beinahe derzehnfachen Taktfrequenz derSR8000-Prozessoren (375 MHz)arbeiten. Allerdings ist für dieRechenleistung nicht nur dieTaktfrequenz ausschlaggebend,sondern die tatsächlich erreichtenMFlop/s, d.h. Millionen Floating-Point-Operationen pro Sekunde,die in naturwissenschaftlichen undtechnischen Simulationen den

Löwenanteil der Berechnungsarbeitausmachen. Die Leistung von 2TeraFlop/s (= 2 Millionen MFlop/s)der am LRZ installierten SR8000lässt sich folgendermaßen beschrei-ben: Wenn ein Mensch in zehnSekunden zwei zwölfstellige Zah-len multipliziert, dann müsstenneuntausend mal so viele Menschen,wie heute auf der Erde leben, Multi-plikationen durchführen, um dieLeistung der Maschine zu errei-chen.

Große Datenmengen aus demHauptspeicherDamit große Rechnungen schnell(mit hohen MFlop/s-Raten) ausge-führt werden können, ist es wichtig,dass der Prozessor schnell genugmit den Daten, mit denen er rech-net, versorgt werden kann. Und dasieht es bei den PCs von der Stangegar nicht mehr so gut aus, wenn essich um große Datenmengen han-delt. Schon ein einziger SR8000-Prozessor überflügelt dabei einenmodernen PC mit mindestens dersechsfachen MFlop/s-Leistung.Der Grund für diese „Umkehr“ derVerhältnisse im realen Betrieb istdie sogenannte Speicherbandbreite,also die Zahl der Bytes, die proSekunde aus dem Hauptspeicher inden Prozessor geladen werden kön-nen. Um nicht nur auf ein paarwenigen Daten aus dem Cache, dasist der kleine schnelle Speicher aufdem Prozessorchip selbst, sondernauf allen Daten im Hauptspeicherflott rechnen zu können, müssenSupercomputer-Hersteller spezielleHardware einsetzen. Denn ein Eng-

S E R V I C E & S U P E R C O M P U T I N G

Durch guten Support zur Höchstleistung B E N U T Z E R , B E T R E U E R U N D A D M I N I S T R A T O R E N A R B E I T E N E N G Z U S A M M E N ,U M D A S O P T I M U M A U S D E M H Ö C H S T L E I S T U N G S R E C H N E R A M L E I B N I Z -R E C H E N Z E N T R U M H E R A U S Z U H O L E N

Die Hitachi SR8000-F1 am Leibniz-Rechenzentrum

GU

DR

UN

KA

ISE

R

A K A D E M I E F O R S C H U N G

3 0 A K A D E M I E A K T U E L L 0 2 D E Z E M B E R 2 0 0 3

pass bei der Speicherbandbreitelässt die Rechenleistung des Pro-zessors bei technisch-wissenschaft-lichen Simulationen ohne weiteresum den Faktor 100 schrumpfen.

LeistungsfähigesVerbindungsnetzwerkEin einzelner Prozessor, der schnellauf große Datenmengen im Haupt-speicher zugreifen kann, machtnoch keinen Supercomputer aus.Die zu simulierenden Aufgaben-stellungen sind meist so groß, dasszu ihrer Lösung viele solcherProzessoren zusammenarbeiten –der HLRB hat 1512 Prozessoren –,wobei die Daten auf die den Prozes-soren zugeordneten Hauptspeicher-module aufgeteilt werden müssen.Während der Berechnung stehendie Prozessoren dann in regem(Daten-)Austausch miteinander.Um also auch auf vielen Prozesso-ren eine flüssige Berechnung zuerreichen, ist ein sehr leistungsfähi-ges Verbindungsnetzwerk notwen-dig, ein sog. Crossbar-Switch, derbis zu 950 MByte/s zwischen zweiProzessoren und insgesamt 580.000MByte/s mit extrem kurzen Verzö-gerungen (Latenzzeiten) von 17Mikrosekunden übertragen kann.

Qualität von Hardware,Software und AdministrationDamit eine so große Maschineüberhaupt benutzbar ist, ist einehohe Qualität der Einzelteile(sowohl Hard- als auch Software)nötig, wie folgende kleine Über-schlagsrechnung zeigt: Geht manetwa davon aus, dass bei einem ein-zelnen „Standard“-Computer miteiner Wahrscheinlichkeit von 1%innerhalb einer Woche eine Störung(Absturz, Hardware-Schaden etc.)auftritt bzw. eben mit 99% Wahr-scheinlichkeit keine Störung, somüsste bei der SR8000 mit ihren1512 Prozessoren mindestens mitfolgender Wahrscheinlichkeit eineStörung in den nächsten siebenTage auftreten: 1 - 0,991512 > 99,99 % !

Wenn die SR8000 also die gleiche„Qualität“ wie ein Standard-PChätte, wäre ein Ausfall innerhalbder nächsten sieben Tage fastsicher! Und hier sind noch nichteinmal die zusätzlichen komplexenSpezialkomponenten für denCrossbar-Switch berücksichtigt,bei denen ebenfalls Störungen auf-treten können.

Tatsächlich sind aber ununterbro-chene Betriebsdauern von mindes-tens zwei Wochen die Regel; teil-weise sind schon vier Wochenerreicht worden. Insgesamt liegt dieVerfügbarkeit der Maschine beiüber 99% der Zeit. Dies ist in dieserGrößenordnung nicht mehr nurdurch Hardware-Qualität zu errei-chen, sondern es erfordert auchAdministratoren, die sich mit derVielzahl und den Besonderheitender Hard- und Software-Kompo-nenten auskennen. Sie überwachenden Betrieb und versuchen zu ver-hindern, dass kleinere Pannen zugrößeren Systemstörungen oderzum Absturz der ganzen Maschine

führen. Außerdem werden vorsorg-liche Wartungen durchgeführt, beidenen verdächtige Komponentenschon vor ihrem Lebensende ausge-tauscht werden. Schließlich stehendie fleißigen japanischen Hard- undSoftware-Ingenieure vor Ort und inFernost rund um die Uhr bereit, umauftretende Probleme schnell zubeheben.

Wofür Forscher den Hochleis-tungsrechner verwendenWissenschaftler der deutschenHochschulen und der Max-Planck-Institute können den HLRB imRahmen wissenschaftlicher Pro-jekte nutzen mit dem Ziel, kost-spielige oder manchmal gar nichtrealisierbare technische oder natur-wissenschaftliche Experimentedurch Computersimulationen zuersetzen oder zumindest zu unter-stützen. Kennzeichnend für alldiese sogenannten Grand-Challenge-Projekte ist der enorme Rechenzeit-und Speicherbedarf. Fast jedes die-ser Projekte allein könnte wohl denHLRB auslasten. Ein wichtigesKriterium für die Zulassung derProjekte ist, dass ihre Rechnungenauf keinem kleineren Computerdurchführbar sind. Ein Überblicküber die Aufgaben von HLRB-Projekten wurde bereits im Artikelüber den Münchner Superrechnerin Akademie Aktuell 1/2002 ge-geben. Auf der Internet-Seitehttp://www.lrz-muenchen.de/pro-jekte/hlrb-projects finden sichInformationen zu den hier nicht

RA

LF

EB

NE

R,

LR

Z

Durchschnittliche GFlop/s-Rate(=1000 MFlop/s) aller HLRB-Rechen-aufträge, gruppiert nach der An-zahl der verwendeten Prozessoren.Hier erkennt man eine deutlichedurchschnittliche Leistungssteige-rung über die drei Betriebsjahrehinweg, speziell bei den großenRechenaufträgen mit bis zu 64Knoten, die mittlerweile ein Drittelder HLRB-Rechenzeit verbrauchen.

A K A D E M I E F O R S C H U N G

0 2 D E Z E M B E R 2 0 0 3 A K A D E M I E A K T U E L L 3 1

weiter betrachteten Projekten ausder Hochenergie-, Festkörper-,Astro- und Biophysik, den Geowis-senschaften, der Chemie, der Ange-wandten Mathematik und der Infor-matik.

Neuere Projektvorhaben sollen imFolgenden kurz erwähnt werden.Nach wie vor stammt gut ein Viertelder Höchstleistungsrechner-Pro-jekte aus den Ingenieurwissen-schaften, speziell der Strömungs-mechanik (engl. ComputationalFluid Dynamics, CFD). Die Ein-satzfelder sind naturgemäß sehrvielfältig. Klassische Aerodynamik-Berechnungen von Fahrzeug- undFlugzeugteilen sind hier ebensovertreten wie die Simulation vonGas- und Flüssigkeits-Strömungenin Rohren und Kanälen, Luftströ-mungen in Büroräumen oder vonGrundwasserströmungen im Erd-boden. Für die Industrie bedeutsamsind Strömungssimulationen inkomplizierten dreidimensionalenAnordnungen wie etwa Turboma-schinen, Rührwerken oder dieSchmelzen, in denen die für dieComputerchip-Herstellung benö-tigten Siliziumkristalle gezüchtetwerden. Neuerdings befasst sichein Projekt auch mit der Vorausbe-rechnung des Lärms, der von Strö-mungen erzeugt wird.

In der Nano-Technologie werdenhochaktuelle Fragestellungen zurErzeugung kleinster Strukturen auseinzelnen Molekülen angegangen.Solche Strukturen sollen als Mini-Sensoren, -Halbleiter, -Computer,-Maschinen oder -Kraftwerke die-nen. Hier liefern Computer-Simula-tionen wertvolle Informationen,welche Molekülstrukturen dazugeeignet sind und mit welchenVerfahren man sie produzierenkönnte. In der Biochemie werdendie elektronischen Eigenschaftender Desoxyribonukleinsäure (DNA)und ihre Eignung als molekularesKabel für Bio-Chips untersucht.Zwei Projekte wollen zum genaue-

ren Verständnis beim biologischenVorgang des Sehens beitragen: Zumeinen sollen die in der Netzhautablaufenden Reaktionen beimSehen simuliert werden, zum ande-ren werden die entstehenden Ver-knüpfungen in der Großhirnrindeuntersucht. Ein aufstrebenderBereich in den so genannten Bio-wissenschaften sind Anwendungenfür die Gen-Analyse. Hierzu müs-sen mit schwierigen mathemati-schen und informationstechnischenVerfahren Übereinstimmungen inriesigen Mengen von Gen-Sequen-zen gefunden werden.

Neue Projektanträge können jeder-zeit gestellt oder verlängert werden.Dies ist durchaus nicht bei allenRechenzentren üblich. Durch denzu jedem Zeitpunkt möglichenStarttermin kann jedes Forscher-team möglichst rasch die notwendi-gen Berechnungen durchführen,unnötige Verzögerungen der wis-senschaftlichen Arbeit werden ver-mieden. Doch mit der Genehmi-gung eines HLRB-Projekts beginnterst die eigentliche Arbeit für dieForscher, denn es gilt, sich mit denspeziellen Gegebenheiten (Archi-tektur, Benutzer- und Programmier-schnittstellen) der Maschine ver-traut zu machen, und innerhalb derzugestandenen Rechenzeit die nöti-gen Simulationen sinnvoll zu pla-nen.

Das LRZ als modernerDienstleisterMit einem großen Fundus an Schrif-ten im Internet, die die Hersteller-dokumentation zusammenfassen,Erfahrungen dokumentieren unddie spezielle Umgebung des HLRBbeschreiben, versucht das LRZ, denBenutzern den Start auf dem HLRBzu erleichtern. (http://www.lrz-muenchen.de/ser-vices/compute/hlrb). Speziell auf die SR8000 zugeschnit-tene Kurse zu Rechnerarchitektur,Programmierung, Optimierung undSoftware-Werkzeugen sind ein wei-

terer wichtiger Baustein im LRZ-Service. Diese Kursangebote wer-den auch von vielen Benutzern vonaußerhalb Münchens trotz des Rei-seaufwands gern angenommen,ersparen sie sich doch die selbstän-dige mühevolle Durchforstung derDokumentation, denn trotz allerBemühungen fallen die Anleitungensowohl des LRZ als auch die derHersteller unweigerlich sehr tech-nisch aus.

Statusseminare und WorkshopsMithilfe eines Höchstleistungsre-chenzentrums sollen auch die Be-nutzer untereinander wissenschaft-liche und technische Erfahrungenaustauschen. Bei den beiden großenStatusseminaren „High PerformanceComputing in Science and Engineer-ing“, die 2002 in Zusammenarbeitmit dem Kompetenznetzwerk fürwissenschaftliches Hoch- undHöchstleistungsrechnen in Bayern(KONWIHR) an der TU Münchenin Garching und 2003 zusammenmit dem Höchstleistungsrechen-zentrum Stuttgart durchgeführtwurden, konnten die Teilnehmerwertvolle Einblicke in die Arbeitund Techniken ähnlich gelagerterProjekte gewinnen.

Ein besonderer Workshop, eben-falls im Rahmen von KONWIHR,ist der jährlich stattfindende „Peri-dot Performance Workshop“. Hierwerden gezielt Anwenderprogram-me ausgewählt, die offensichtlichnoch nicht so performant auf derSR8000 laufen, und dann beimWorkshop zusammen mit denBenutzern intensiv analysiert undverbessert. Erfreulich ist, dass dieso behandelten Programme dannbald ganz oben auf der Ranglisteder Rechenaufträge mit den höch-sten MFlop/s-Raten (also mit derbesten Leistung) erscheinen.

Die Zeitschrift inSiDE (innovativesSupercomputing in Deutschland,http://www.hlrs.de/news-events/inside) wurde vor kurzem als ge-

A K A D E M I E F O R S C H U N G

3 2 A K A D E M I E A K T U E L L 0 2 D E Z E M B E R 2 0 0 3

meinsames Organ der drei deut-schen Höchstleistungsrechenzen-tren ins Leben gerufen. HLRB-Projektmitarbeiter finden hier imÜberblick interessante Veranstal-tungshinweise und Artikel aus demBereich des Höchstleistungsrech-nens.

Benutzerbetreuung für HLRB-ProjekteDer Wissenschaftsrat hat zusätzlichzu den Systemadministratoren nochweitere Stellen für Wissenschaftlerempfohlen, die sich nicht mit demMaschinenbetrieb direkt, sondernmit der Benutzer- und Anwendungs-seite befassen. Der Freistaat Bayernist dieser Empfehlung gefolgt undhat mit den Geldmitteln, die für denRechner und seinen Betrieb je zurHälfte vom Land und vom Bundzur Verfügung gestellt wurden,auch zusätzliche Stellen für HLRB-Benutzerbetreuer genehmigt. Umvon Synergien zu profitieren, sinddiese Betreuer für alle Compute-Server am LRZ zuständig. DerBetreuungsaufwand für HLRB-Projekte ist jedoch besonders hoch,da die Projekte allesamt an dervordersten Front der Forschungarbeiten, und da es nur wenige vor-gefertigte Programme gibt. Amehesten können noch Chemiker vondem halben Dutzend „Standard“-Programmen profitieren, die wiegewohnt auch auf dem HLRB nutz-bar sind. Aber das Gros der Projek-te ist auf Mitarbeiter angewiesen,die sich sowohl in ihrem Fachgebietals auch in der Programmierung sogut auskennen, dass sie Programme„nach Maß“ für ihre Aufgabenschreiben oder zumindest anpassenkönnen.

Leistungssteigerung vonBenutzerprogrammenDer HLRB ist zwar leistungsfähig,aber nur, wenn die Programme sichan diese leistungsfähige Architek-tur anpassen. Nicht selten ist mannach langen Anpassungs- undÜbersetzungszeiten zunächst ein-

mal enttäuscht, dass das Programmauf dem HLRB langsamer als aufdem eigenen Arbeitsplatzrechnerläuft. Dann muss in sogenanntenProfilen nach den Programmteilengesucht werden, die die Engpässebeim Fortgang der Berechnungendarstellen. Diese Programmteilesind so umzuschreiben, dass siedurch gleichmäßig fortlaufendeSpeicherzugriffe und ausgewoge-nes Kommunikationsverhalten dieArchitektur des Supercomputersoptimal ausnutzen. Trotz der bereitgestellten Dokumentationen undAnleitungen sind die Wissenschaft-ler der Institute dabei immer wiederauf den Rat und die tatkräftigeUnterstützung des Rechenzentrumsangewiesen.

Zur Rentabilität derBenutzerbetreuerWenn es einem Benutzerbetreuergelingt, bei Programmen, die proJahr ca. 3% der Rechenzeit auf derMaschine benötigen, eine Beschleu-nigung um den Faktor 4 zu errei-chen (realistisch sind oft nochhöhere Beschleunigungen), dannkönnen in diesen 3% der Betriebs-zeit viermal so viele Rechnungendurchgeführt werden; die Nachfra-ge nach Rechenzeit ist – wie obengeschildert – ja vorhanden. Wollteman stattdessen die größere Anzahlan Rechnungen durch zusätzlicheHardware ermöglichen, müssteman bei den auf ein Jahr umgeleg-ten Anschaffungs- und Betriebs-kosten des HLRB mit ca. 9 Mio.EUR folgende Summe ausgeben:

(4 - 1) x 3% x 9 Mio. EUR / Jahr =810.000 EUR / Jahr.

Um die gleichen wissenschaft-lichen Erkenntnisse durch die vier-fache Zahl an Simulationen zuerzielen, können durch Einstellungeines Benutzerbetreuers (großzügigveranschlagte Kosten von ca.70.000 Euro pro Jahr) also 740.000EUR/Jahr, d.h. über 90% gespartwerden!

Identifizierung problematischerRechenaufträgeBisweilen ist den Benutzern nichtbewusst, dass ihre Programmenicht optimal laufen. Deshalb wirdkontinuierlich eine große Mengevon Leistungsdaten direkt aus derHardware ausgelesen und versucht,die relevanten, d.h. die auf mögli-che Probleme hindeutenden Teileherauszufiltern und den betreffen-den Benutzern zuzuordnen. Es istunabdingbar, dass eine solche stän-dige Überwachung sowohl der Ma-schine selbst als auch der rechnen-den Prozesse erfolgt, damit nichtunnötig Rechenzeit vergeudet wird. In Umfragen unter den Benutzerndes HLRB wird der Support durchdas LRZ immer wieder gelobt. Einegute Beratung ist natürlich auch imInteresse des Leibniz-Rechenzen-trums der Bayerischen Akademieder Wissenschaften. Nur mit opti-mierten Programmen ist ein gutesVerhältnis der sustained performan-ce (also der Leistung, die übereinen längeren Zeitraum durchAnwendungsprogramme erreichtwird) zur peak performance (alsoder Leistung, die bei optimal ange-passtem Programm theoretischmöglich ist) erreichbar. Und nur soist eine Nutzung garantiert, die diehohen Kosten der Maschine recht-fertigt. Das Betriebskonzept des HLRB hatauch den „Nationalen Koordinie-rungsausschuss von Höchleistungs-rechnern“ im Wissenschaftsratüberzeugt und dazu bewogen, dieAufstellung eines Nachfolgerech-ners für den HLRB am Leibniz-Re-chenzentrum zu empfehlen. DieserRechner soll Ende 2005 in einemNeubau in Garching mit einer Leis-tung von 40 TeraFlop/s installiertwerden. Neben den bisher stärkstenNutzern von Höchstleistungsrech-nern in den Disziplinen Physik undIngenieurwissenschaften ist inZukunft mit einer weiteren Zu-nahme in den Bereichen Chemieund Biowissenschaften zu rechnen.

••••••