HPC Architekturen und HPC Architekturen und Anwendungen:Anwendungen:Anforderungen und Anforderungen und NotwendigkeitenNotwendigkeiten

Erich StrohmaierErich StrohmaierUniversity of Tennessee University of Tennessee

Architekturen und Architekturen und AnwendungenAnwendungen

RechnerarchitekturenRechnerarchitekturen

DatenstrukturenDatenstrukturen

Generationswechsel von Generationswechsel von ArchitekturenArchitekturen

Kriterien für MarkterfolgKriterien für Markterfolg

Der Wandel des HPC MarktesDer Wandel des HPC Marktes

ArchitekturenArchitekturen

Vektorrechner mit eng gekoppeltem Vektorrechner mit eng gekoppeltem Hauptspeicher - PVP.Hauptspeicher - PVP.

Symmetrische Multiprozessor Systeme -Symmetrische Multiprozessor Systeme -SMPSMP

Massiv Parallele Systeme - MPP.Massiv Parallele Systeme - MPP.

Cluster von Systemen.Cluster von Systemen.

Network of Workstations - NOW.Network of Workstations - NOW.

DatenaustauschDatenaustausch

PVPPVP

SMPSMP

MPPMPP

ClusterCluster

NOWNOW

1010

100100

10001000

1000010000

>100000>100000

Zeiten für Datenaustausch in Prozessorzyklen Zeiten für Datenaustausch in Prozessorzyklen

AlgorithmenAlgorithmen

FeinFein <100 <100

MittelMittel 1000 1000

GrobGrob 10000 10000

Sehr grobSehr grob 100000 100000

EPEP 10000001000000

Granularität in Operationen pro DatenaustauschGranularität in Operationen pro Datenaustausch

Granularitäts NomographGranularitäts Nomograph

Prozessor-Geschwindigkeit[MFlop/s]

Datenzugriffszeit[s]

Anwendungs-Granularität[Operationen]

Für 50% parallele Effizienz

DatenstrukturenDatenstrukturen

Struktur des DatenaustauschStruktur des Datenaustausch– wenige große - viele kleinewenige große - viele kleine

– reguläre - irreguläre Verteilung der reguläre - irreguläre Verteilung der AdressenAdressen

– kurz- oder langreichweitige kurz- oder langreichweitige KommunikationKommunikation

Globale SynchronizationspunkteGlobale Synchronizationspunkte

SystembalanceSystembalance

ProzessorgeschwindigkeitProzessorgeschwindigkeit

HauptspeicherHauptspeicher

Ein-/Ausgabe KapazitätEin-/Ausgabe Kapazität

Verbindungsnetzwerke Verbindungsnetzwerke – TopologieTopologie

– LeistungLeistung

Einfluß des Einfluß des HauptspeichersHauptspeichers Beispiel: Lösung einer partiellen Beispiel: Lösung einer partiellen

Differentialgleichung mit einem Differentialgleichung mit einem Domain Decomposition Verfahren:Domain Decomposition Verfahren:

Rechenaufwand: Rechenaufwand: n³n³

Kommunikation: Kommunikation: n²n²

Granularität: Granularität: //nn

SkalierungsverhaltenSkalierungsverhalten

Genauere Skalierungsanalyse Genauere Skalierungsanalyse beinhaltet:beinhaltet:– serielle Berechnungsanteileserielle Berechnungsanteile

– paralleler Overhead: paralleler Overhead: (p-1)(p-1)

– ......

t(p,n) = t(p,n) = n³ + n³ + n² + n² + (p-1)(p-1)

SkalierungsanalyseSkalierungsanalyset(p,n) = t(p,n) = n³ + n³ + n² + n² + (p-1)(p-1)

Konstante Problemgröße: N = nKonstante Problemgröße: N = np = p = constconst

3

3

3 )1(1

),(

Npp

N

p

pnpS

3

3 )1(1

),(

Npp

N

p

pnpS

SkalierungsanalyseSkalierungsanalyset(p,n) = t(p,n) = n³ + n³ + n² + n² + (p-1)(p-1)

Konstanter Speicherverbrauch pro Konstanter Speicherverbrauch pro Prozessor: n = Prozessor: n = constconst

3

)1(11

),(

np

n

pnpS

3

)1(11

),(

np

n

pnpS

SkalierungsanalyseSkalierungsanalyset(p,n) = t(p,n) = n³ + n³ + n² + n² + (p-1)(p-1)

Konstante Rechenzeit pro Zeitschritt: Konstante Rechenzeit pro Zeitschritt: t(p,n) = t(p,n) = constconst

3

3

0

3

03

)1(1),(

tp

tpnpS

3

3

0

3

03

)1(1),(

tp

tpnpS

SkalierungsverhaltenSkalierungsverhalten

Durch Vergrößern der Problemgröße pro Durch Vergrößern der Problemgröße pro Prozessor läßt sich das Prozessor läßt sich das Skalierungsverhalten verbessern.Skalierungsverhalten verbessern.

Gordon Bell (1993):Gordon Bell (1993):“Mit genug Hauptspeicher und Mühe “Mit genug Hauptspeicher und Mühe läßt sich (fast) jedes parallele Problem läßt sich (fast) jedes parallele Problem so skalieren, daß es auf (fast) jedem so skalieren, daß es auf (fast) jedem beliebigen parallelem Computer abläuft.beliebigen parallelem Computer abläuft.

Generationswechsel von Generationswechsel von parallelen Systemen:parallelen Systemen:Moore’s LawMoore’s Law Die Zahl der Transistoren pro Chip Die Zahl der Transistoren pro Chip

wächst pro Jahr um 60%.wächst pro Jahr um 60%.

Damit wachsenDamit wachsen– Prozessorgeschwindigkeit Prozessorgeschwindigkeit

– Hauptspeicher Hauptspeicher

ebenfalls um 60% pro Jahr.ebenfalls um 60% pro Jahr.

Performance in der Performance in der TOP500TOP500

0

10

20

Jun-

93

Nov-9

3

Jun-

94

Nov-9

4

Jun-

95

Nov-9

5

Jun-

96

Nov-9

6

Jun-

97

Nov-9

7

Jun-

98

Rela

tives

Wach

stum Linpack r_max

Zahl der ProzessorenProz.-Leistung

Performance in der Performance in der TOP500TOP500

0

0,5

1

1,5

2

2,5

Jun-

93

Nov-9

3

Jun-

94

Nov-9

4

Jun-

95

Nov-9

5

Jun-

96

Nov-9

6

Jun-

97

Nov-9

7

Jun-

98

Wach

stum

rela

tiv z

u M

oore

's L

aw

Linpack r_max

Zahl der Prozessoren

Proz.-Leistung

Granularität Granularität

Konvergenzgeschwindigkeit: Konvergenzgeschwindigkeit: n n

Hauptspeicher : Hauptspeicher : n³ n³ r r

Granularität:Granularität:

4

0

1

2

3

4

5

0 1 2 3 4 5 6 7 8 9 10Jahre

Speicher begrenztZeit begrenzt

MarkterfolgMarkterfolg

Beobachtungen:Beobachtungen:– Die meisten Firmen scheiterten.Die meisten Firmen scheiterten.

– Leistung ist keine Garantie für den Leistung ist keine Garantie für den Erfolg eines Systems.Erfolg eines Systems.

– Selbst Systeme die nicht absolute Selbst Systeme die nicht absolute Spitzenleistungen erbringen, können Spitzenleistungen erbringen, können sehr erfolgreich sein. sehr erfolgreich sein.

SkalierungsanforderungenSkalierungsanforderungen

GrößeGröße

Generationen und TechnologieGenerationen und Technologie

Code und ProblemCode und Problem

RaumRaum

AnwendungskompatibiltätAnwendungskompatibiltät

Der Wandel des HPC Der Wandel des HPC MarktsMarkts

Cray1: Cray1: – Konkurrenzlose Klasse von Rechnern.Konkurrenzlose Klasse von Rechnern.

– Leistungsfähig getrennt von anderen Leistungsfähig getrennt von anderen Rechnerklassen.Rechnerklassen.

– Leistung war ein ausschlaggebendes Leistung war ein ausschlaggebendes Verkaufsargument.Verkaufsargument.

– ““High-Tech” zahlte sich aus.High-Tech” zahlte sich aus.

Der Wandel des HPC Der Wandel des HPC MarktsMarkts

Heute:Heute:– Breite Konkurrenz verschiedener Konzepte.Breite Konkurrenz verschiedener Konzepte.

– Leistungskontinuum vom PC zum HPC Leistungskontinuum vom PC zum HPC System.System.

– Andere Kriterien als Leistung sind wichtig Andere Kriterien als Leistung sind wichtig eventuell sogar ausschlaggebend.eventuell sogar ausschlaggebend.

– ““High-Tech” kann schnell zum Hemmschuh High-Tech” kann schnell zum Hemmschuh werden.werden.