Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007

Parallele Datenverarbeitung

Was sind Clusterund wie sind sie aufgebaut

Leiv-Erik Braun

Mai 2007

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

Überblick über die Systeme

Quelle: http://www.top500.org/lists/2006/11/overtime/Architectures

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

SMP - Symmetric Multi Processing

Viele Prozessoren (<=16) und ein gemeinsamen SpeicherEin Prozessor bzw. Kern bearbeitet den nächstmöglichen

Task oder Thread (Queue)(z.B. Dual Core PC, IBM JS21-MP BladeServer)

CPU CPUCPU ...

MEM

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

IBM JS21 BladeServer (SMP System)

Quelle: http://www-5.ibm.com/es/press/fotos/servidoresytecnologia/i/BladeCenterjs21.jpg Quelle: ftp://ftp.software.ibm.com/systems/support/system_x_pdf/31r1760.pdf

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

MPP - Massive-Parallel-Prozessing

Mehrere Prozessoren und kein gemeinsamer Speicher Ein Prozessor bearbeitet einen seperaten Teil eines Problems

– z.B. DOE/NNSA/LLNL eServer BlueGene, NNSA/Sandia National Laboratories Cray Red Storm

CPU

MEM

CPU

MEM

CPU

MEM

...

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

IBM BlueGene/L (MPP System)

Quelle: http://www-03.ibm.com/servers/deepcomputing/pdf/bluegenesolutionbrief.pdf

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

Cluster

mehrere Rechner im Verbund– Oft SMP Nodes

– Ein Knoten hat weniger Prozessoren als der Verbund Knoten hat

– z.B. BCC BladeCenter JS21 IBM, NNSA Power Edge 1850

CPU CPUCPU...

MEM

CPU CPUCPU...

MEM

CPU CPUCPU...

MEM

CPU CPUCPU...

MEM

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

BladeServer JS21-MP Cluster (MareNostrum)

Quelle: http://www-5.ibm.com

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

Constellations (Cluster of Clusters)

Große SMP‘s im Verbund– Ein Knoten hat mehr Prozessoren, als der Verbund Knoten hat

– 1 System mit tausend RecheneinheitenTera-10 Bull/NovaScale, Nagoya University Primepower HPC2500

CPU1

...

MEM

CPU2 CPU10CPU1

...

MEM

CPU2 CPU10

CPU1

...

MEM

CPU2 CPU10CPU1

...

MEM

CPU2 CPU10

CPU1

...

MEM

CPU2 CPU10CPU1

...

MEM

CPU2 CPU10

CPU1

...

MEM

CPU2 CPU10CPU1

...

MEM

CPU2 CPU10

CPU1

...

MEM

CPU2 CPU10CPU1

...

MEM

CPU2 CPU10

CPU1

...

MEM

CPU2 CPU10CPU1

...

MEM

CPU2 CPU10

Knoten Constellation

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

Bull NovaScale Tera-10

Quelle: http://www.guideinformatique.com/IMAGES/SimulNul02.jpg

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

Warum sind Cluster so beliebt?

Quelle: http://www.top500.org/lists/2006/11/overtime/Architectures

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

Warum sind Cluster so beliebt?

Viele Anbieter der Komponenten (großer Markt)

Aufbau mit einfachen Mitteln möglich (kostengünstig)

Variabler Einsatz von Kapital für Netzwerk, Rechenleistung und Arbeitsspeicher (offene Preisgestaltung)

Meist variabel erweiterbar (Skalierbarkeit)

Bei Defekt eines Knotens ist ein Großteil des Clusters weiter nutzbar (Robustheit)

Bei Defekt unkopliziert und kostengünstig reparabel (Hot Swappable)

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

Kommunikationstechnologien im Cluster

SP Switch

InfiniBand SCI QS-Net

Myrinet 2000 Myrinet 10G

QS-Net²InfiniPath

NUMAlink

Proprietäre Lösungen Cray Interconnect

RapidArray CrossbarGb Ethernet

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

Höchstes Ziel: Der Cluster soll rechnen

Ansprüche an das Netzwerk–Schneller Datentransfer

Remote DMA (RDMA)

–Entlastung der CPU

Schlankes ProtokollKein Management des

DatentransferAuslagerung auf NIC/HCA

–Hohe Robustheit

–Geringe Latenz

Aplication

UserAPIs

Upper Layer

Protokolle

Provider

Hardware

IP based Apps

Protokolltreiber(TCP/IP)

API / VERBS

HardwareTreiber

Host Channel Adapter Network Interface Card

Kernel S

paceU

ser Space

Kernel BypassStandard

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

Günstiger Standard (Gigabit Ethernet)

10 Gb/s (heute)100 Gb/s (Ende 2009)

– 10 * 10Gb/s gebündelt(http://www.spectrum.ieee.org/dec06/comments/1657)

TCP/IP–Viel Information im Protokollstack die im Cluster nicht nötig

ist (Overhead)Leistungsschub durch TOE (TCP Offload Engine)

–Hardware die sich um en-/develop, handshake, ect. kümmert um dem Prozessor Arbeit zu ersparen

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

Myrinet von Myricom

Nutzt vorhandene Ethernet Technologie–Begrenzt auf die aktuelle Ethernet Technologie = 10Gb/s

Hat eigene NetzwerkkartenRemote DMA fähigHat eigenes „schlankes Protokoll“Kommt auf Latenzzeiten von ca. 2-3 Mikrosekunden

bei (10Gb) (http://www.myricom.com/scs/performance/MX-10G/)

2 Lösungen im Angebot–Myrinet 2000 (2Gb)

–Myrinet 10G (10Gb)

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

Myrinet installationen

Myrinet 2000 (Kupfer) Myrinet 10G (Glasfaser)

Quelle: http://cse.uluc.edu/turing/gallery.htmlQuelle: http://www.bsc.es/media/317.jpg

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

InfiniBand von der Infiniband Trade Association (IBTA)

Nutz eigene neue TechnologieNormal 2,5 Gb/s durch 8bit/10bit Kodierung = 2 Gb/sBegrenzt durch Taktrate (Maximal 96Gb/s)Hat eigene Host Channel Adapter (HCA)Nutzt Remote DMA (RDMA)Kommt auf Latenzzeiten von ca. 2-3 Mikrosekunden

bei (10Gb-96Gb)

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

InfiniBand – Speed durch Bündelung und Takterhöhung

SDR Singel Data RateDDR Double Data RateQDR Quad Data Rate

96 Gb/s48 Gb/s24 Gb/s8x

32 Gb/s16 Gb/s8 Gb/s4x

8 Gb/s4 Gb/s2 Gb/s1x

QDRDDRSDR

96 Gb/s48 Gb/s24 Gb/s8x

32 Gb/s16 Gb/s8 Gb/s4x

8 Gb/s4 Gb/s2 Gb/s1x

QDRDDRSDR

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

InfiniBand Kabel (1x, 4x, 12x)

Quelle: http://www.cs-electronics.com

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

InfiniBand Installation

Quelle: http://hpc.msstate.edu/computing/maverick/gallery/production

Parallele Datenverarbeitung

Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007

Ende