Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007

Parallele Datenverarbeitung

Was sind Clusterund wie sind sie aufgebaut

Leiv-Erik Braun

Mai 2007


Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

Überblick über die Systeme

Quelle: http://www.top500.org/lists/2006/11/overtime/Architectures



SMP - Symmetric Multi Processing

Viele Prozessoren (<=16) und ein gemeinsamen SpeicherEin Prozessor bzw. Kern bearbeitet den nächstmöglichen

Task oder Thread (Queue)(z.B. Dual Core PC, IBM JS21-MP BladeServer)

CPU CPUCPU ...

MEM



IBM JS21 BladeServer (SMP System)

Quelle: http://www-5.ibm.com/es/press/fotos/servidoresytecnologia/i/BladeCenterjs21.jpg Quelle: ftp://ftp.software.ibm.com/systems/support/system_x_pdf/31r1760.pdf



MPP - Massive-Parallel-Prozessing

Mehrere Prozessoren und kein gemeinsamer Speicher Ein Prozessor bearbeitet einen seperaten Teil eines Problems

– z.B. DOE/NNSA/LLNL eServer BlueGene, NNSA/Sandia National Laboratories Cray Red Storm

CPU

MEM

CPU

MEM

CPU

MEM

...



IBM BlueGene/L (MPP System)

Quelle: http://www-03.ibm.com/servers/deepcomputing/pdf/bluegenesolutionbrief.pdf



Cluster

mehrere Rechner im Verbund– Oft SMP Nodes

– Ein Knoten hat weniger Prozessoren als der Verbund Knoten hat

– z.B. BCC BladeCenter JS21 IBM, NNSA Power Edge 1850

CPU CPUCPU...

MEM

CPU CPUCPU...

MEM

CPU CPUCPU...

MEM

CPU CPUCPU...

MEM



BladeServer JS21-MP Cluster (MareNostrum)

Quelle: http://www-5.ibm.com



Constellations (Cluster of Clusters)

Große SMP‘s im Verbund– Ein Knoten hat mehr Prozessoren, als der Verbund Knoten hat

– 1 System mit tausend RecheneinheitenTera-10 Bull/NovaScale, Nagoya University Primepower HPC2500

CPU1

...

MEM

CPU2 CPU10CPU1

...

MEM

CPU2 CPU10

CPU1

...

MEM

CPU2 CPU10CPU1

...

MEM

CPU2 CPU10

CPU1

...

MEM

CPU2 CPU10CPU1

...

MEM

CPU2 CPU10

CPU1

...

MEM

CPU2 CPU10CPU1

...

MEM

CPU2 CPU10

CPU1

...

MEM

CPU2 CPU10CPU1

...

MEM

CPU2 CPU10

CPU1

...

MEM

CPU2 CPU10CPU1

...

MEM

CPU2 CPU10

Knoten Constellation



Bull NovaScale Tera-10

Quelle: http://www.guideinformatique.com/IMAGES/SimulNul02.jpg



Warum sind Cluster so beliebt?

Quelle: http://www.top500.org/lists/2006/11/overtime/Architectures



Warum sind Cluster so beliebt?

Viele Anbieter der Komponenten (großer Markt)

Aufbau mit einfachen Mitteln möglich (kostengünstig)

Variabler Einsatz von Kapital für Netzwerk, Rechenleistung und Arbeitsspeicher (offene Preisgestaltung)

Meist variabel erweiterbar (Skalierbarkeit)

Bei Defekt eines Knotens ist ein Großteil des Clusters weiter nutzbar (Robustheit)

Bei Defekt unkopliziert und kostengünstig reparabel (Hot Swappable)



Kommunikationstechnologien im Cluster

SP Switch

InfiniBand SCI QS-Net

Myrinet 2000 Myrinet 10G

QS-Net²InfiniPath

NUMAlink

Proprietäre Lösungen Cray Interconnect

RapidArray CrossbarGb Ethernet



Höchstes Ziel: Der Cluster soll rechnen

Ansprüche an das Netzwerk–Schneller Datentransfer

Remote DMA (RDMA)

–Entlastung der CPU

Schlankes ProtokollKein Management des

DatentransferAuslagerung auf NIC/HCA

–Hohe Robustheit

–Geringe Latenz

Aplication

UserAPIs

Upper Layer

Protokolle

Provider

Hardware

IP based Apps

Protokolltreiber(TCP/IP)

API / VERBS

HardwareTreiber

Host Channel Adapter Network Interface Card

Kernel S

paceU

ser Space

Kernel BypassStandard



Günstiger Standard (Gigabit Ethernet)

10 Gb/s (heute)100 Gb/s (Ende 2009)

– 10 * 10Gb/s gebündelt(http://www.spectrum.ieee.org/dec06/comments/1657)

TCP/IP–Viel Information im Protokollstack die im Cluster nicht nötig

ist (Overhead)Leistungsschub durch TOE (TCP Offload Engine)

–Hardware die sich um en-/develop, handshake, ect. kümmert um dem Prozessor Arbeit zu ersparen



Myrinet von Myricom

Nutzt vorhandene Ethernet Technologie–Begrenzt auf die aktuelle Ethernet Technologie = 10Gb/s

Hat eigene NetzwerkkartenRemote DMA fähigHat eigenes „schlankes Protokoll“Kommt auf Latenzzeiten von ca. 2-3 Mikrosekunden

bei (10Gb) (http://www.myricom.com/scs/performance/MX-10G/)

2 Lösungen im Angebot–Myrinet 2000 (2Gb)

–Myrinet 10G (10Gb)



Myrinet installationen

Myrinet 2000 (Kupfer) Myrinet 10G (Glasfaser)

Quelle: http://cse.uluc.edu/turing/gallery.htmlQuelle: http://www.bsc.es/media/317.jpg



InfiniBand von der Infiniband Trade Association (IBTA)

Nutz eigene neue TechnologieNormal 2,5 Gb/s durch 8bit/10bit Kodierung = 2 Gb/sBegrenzt durch Taktrate (Maximal 96Gb/s)Hat eigene Host Channel Adapter (HCA)Nutzt Remote DMA (RDMA)Kommt auf Latenzzeiten von ca. 2-3 Mikrosekunden

bei (10Gb-96Gb)



InfiniBand – Speed durch Bündelung und Takterhöhung

SDR Singel Data RateDDR Double Data RateQDR Quad Data Rate

96 Gb/s48 Gb/s24 Gb/s8x



QDRDDRSDR




QDRDDRSDR



InfiniBand Kabel (1x, 4x, 12x)

Quelle: http://www.cs-electronics.com



InfiniBand Installation

Quelle: http://hpc.msstate.edu/computing/maverick/gallery/production



Ende

Documents

Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007