Embed Size (px)
Citation preview
KIT – Universität des Landes Baden-Württemberg undnationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu
Das LHC-Computing-GridVon Julian GethmannHauptseminar – Messmethoden der experimentellen Teilchenphysik WS 11/12
Vortrag an der Fakultät für Physik2 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Überblick
Ansprüche an die RechnerinfrastrukturHistorie
Versprechen von Grid-Computing
Vergleich mit Clustern und der „Cloud“
Das LHC-Computing-GridAnforderungen
Ebenen und Organisation
Netzwerk
Factory
Middleware
Anwendungsbeispiel
Modernere Ansätze
Vortrag an der Fakultät für Physik3 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Vom klassischen HPC zum Grid
1990: Metacomputing (Larry Smarr) Vernetzung der US Supercomputer-Centers
1995: FAFNER (Factoring via Network-Enabled Recursion) und I-WAY (Information Wide Area Year)
1997: Workshop: Building a Computational Grid (Ian Foster, Carl Kesselman)
1999: MONARC Konzept für LHC
2001: LHC Computing Grid (LCG) wird geplant (2002–2005)
[CERN]
Vortrag an der Fakultät für Physik4 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Eigenschaften des Grid
Computing Grid
Data Grid
Service Grid
Ressource Grid
Knowledge Grid
Abstraktion von Hardware und Implementierung
Weit entfernte Recheneinheiten
Nutzer sind auch Anbieter (Virtuelle Organisationen)
“A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities” (Ian Foster, Carl Kesselman)
Vortrag an der Fakultät für Physik5 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Abgrenzung
Aspekte der CloudKeine Gedanken über Wartung des Systems
Vertrauen in Anbieter
Aspekte des P2PLast auf „Nutzer“ verteilt
Dezentral Organisiert
Virtuelle OrganisationenSelbst organisiert
Individuum wird misstraut
Organisation wird Vertraut
Vortrag an der Fakultät für Physik6 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Grid für jeden?
Nein/JeinMeteorologie
Videorendering
JaBioinformatik
Medizin/Virologie
Industrie
Finanzwesen
Teilchenphysik
[IMK-TRO]
Vortrag an der Fakultät für Physik7 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Anforderungen des LHC
2,9 MW Limit Stromversorgung (bald 3,5)
1 GHz Daten/Detektor
Für >20 Jahre/Laufzeit Speicherplatz (zur Zeit 45 PB)
15 PB/a
~1 GHz Datennahme/Detektor
~1 PB/s
Paar 100 MB/s (CMS, ATLAS)
~50 MB/s (LHCb)
1,3 GB/s (ALICE)
Vortrag an der Fakultät für Physik8 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Lösung in mehreren Stufen
49 Mitwirkende aus 34 Ländern
11 TIER 1
120 TIER 2 (in 66 “federations”)
6 VOsALICE ALICE experiment
ATLAS ATLAS experiment
CMS CMS experiment
DTEAM Grid (LCG) Deployment Group
LHCB LHCb experiment
SixTrack Single Particle Tracking Code
Vortrag an der Fakultät für Physik9 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Tier
Tier 0Hat alles
Tier 1U. U. nicht alle Experimente
Muss Rechenkapazität vorhalten
Muss Band-Archivierung vorhalten
Database-Service
Tier 2Oft nicht alle Experimente
Hat keine Band-Archivierung
Meist keine Simulation
Tier 3Ist nicht in MoU verankert
Vortrag an der Fakultät für Physik10 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Aufbau des Grid
[CERN]
Vortrag an der Fakultät für Physik11 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Netzwerk
[CERN]
Vortrag an der Fakultät für Physik12 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
LHC Optical Private Network
10 Gbits zu Tier 1
1 Gbits zu Tier 2 und kleiner
Doppelte Kapazität
[CERN]
Vortrag an der Fakultät für Physik13 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Datendurchsatz
[gridview.cern.ch]
Vortrag an der Fakultät für Physik14 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Computing
CPU-Benchmark für Hochenergie Physik
The High Energy Physics Unix Information Exchange (HEPiX)
HEPSPEC02
HEPSPEC06
Mein Rechner
Standard Performance Evaluation Corporation
SPEC00 INT 2563
SPEC00 FP 2604
SPEC06 INT 15,8
SPEC06 FP 14,5
Vortrag an der Fakultät für Physik15 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Hardware
Was? Versprochen Installiert Genutzt
CPU-Grid [Tage] 191.279.727 135.147.399 71 %
CPU-Total [Tage] 191.279.727 148.913.933 78 %
CPU-KIT [Tage] 19.690.593 16.299.832 83 %
[CERN Accounting Summary Oct. 11]
Vortrag an der Fakultät für Physik16 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Storage
45 PB FestplattenkapazitätdCache
Auf BändernCASTOR
[CERN Accounting Summary Oct. 11]
Vortrag an der Fakultät für Physik17 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Middleware
Globus ToolkitSecurity
Authentification/Authorization
Community Authorization
Delegation
Credential Management
Data ManagentGridFTP
Reliable File Transfer Service
Execution ManagementGrid Resource Allocation and Management service
Information ServicesMonitoring and Discovery Service
gLite
LCG File Catalog
Disk Pool Manager
Reliable FileTransferService und gFTP
Vortrag an der Fakultät für Physik18 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Job-Verarbeitung
[Glite 3 Manual]
Vortrag an der Fakultät für Physik19 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Anmeldung am Grid
CA
Proxies
VO Management Services Proxies
Attribute Certifi cate
Job Description LanguageExecutable = "test.sh";
Arguments = "fileA fileB";
StdOutput = "std.out";
StdError = "std.err";
InputSandbox = {"test.sh", "fileA", "fileB"};
OutputSandbox = {"std.out", "std.err"};
[Glite 3 Manual]
Vortrag an der Fakultät für Physik20 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Neuere Ansätze
Pilot Job
DIRAC Overlay (LHCb)Kein Required in JDL
AliEn (ALICE)
PanDa (ATLAS)
Glideln WMS (CMS)
[DIRACgrid.org]
Vortrag an der Fakultät für Physik21 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Anwendungsprogramme
ROOT
Geant4
POOL
[root.cern.ch]
[http://atlas-computing.web.cern.ch]
Vortrag an der Fakultät für Physik22 03.02.12 Hauptseminar – Messmethoden der experimentellen Teilchenphysik
Julian Gethmann – Das LHC-Computing-Grid
Ihr seid dran …
