21
Datenfluss in CERN- Experimenten really big data

Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Datenfluss in CERN-Experimenten

really big data

Page 2: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Gliederung

Das CERN Allgemeines Wichtige Errungenschaften

Der Weg der Daten Das CMS-Experiment Aufbau Anfallende Daten Trigger

Das Grid Die Ebenen des Grid Vorteile des Grid-Computing

Page 3: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Das CERN

Bildquelle: http://www.lhc-facts.ch/img/tunnel/karte6.jpg, Entnahmedatum: 10.05.2014

Page 4: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Geschichte des CERN

Conseil Européen pour laRecherche Nucléaire

Page 5: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Wichtige Errungenschaften1954 Gründung 1957 Synchro-Zyklotron

fertiggestellt 1959 Proton-Synchrotron(PS) geht in Betrieb

1968 Vieldraht-Proportionalkammerwird erfunden

1976 Super-Proton-Synchrotron(SPS) geht in Betrieb

1983 Entdeckung derW- und Z-Bosonen

1989 Erste Kollisionenim LEP-Beschleuniger

2000 LEP wirdabgeschaltet

1999 Bauarbeiten fürden LHC beginnen2008 LHC geht in Betrieb

Page 6: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Der Weg der Daten

Page 7: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Das CMS-Experiment

Compact Muon Solenoid Einer der vier Detektoren am LHC Aufgaben: Suche nach dem Higgs-Boson Suche nach supersymmetrischen Teilchen Suche nach neuer Physik Genauere Vermessung bekannter Teilchen …

Page 8: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Aufbau

Bildquelle: https://cms-docdb.cern.ch/cgi-bin/PublicDocDB/RetrieveFile?docid=11514&version=1&filename=cms_120918_03.png,Entnahmedatum 21.05.2014

Page 9: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Anfallende Daten

Welche Datenmengen fallen an? Kollisionsrate: 40MHz 22 pp-Events pro Kollision Daten einer pp-Kollision: 1-2 MB

0,88-1,76 PB pro Sekunde!

Page 10: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Trigger

Zweck: Aus der Datenflut die interessantenDaten herausfiltern

Reduktion der Datenmenge auf einige 100Events pro Sekunde

Page 11: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Trigger

Level 1 Trigger Hardwaretrigger Reduktion auf 100.000

Events pro Sekunde

High Level Trigger Softwaretrigger Reduktion auf einige

100 Events diegespeichert werden

Aus handelsüblichenProzessoren aufgebaut

Bildquelle: http://www.hep.ph.ic.ac.uk/~tapper/talks/cms-trigger.pdf, Entnahmedatum: 26.05.2014

Page 12: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Das Grid

Die am CERN vorhandene Rechenleistungist viel zu gering um die riesigenDatenmengen auswerten zu können

Datenanalyse im WorldwideLHC Computing Grid (WLCG)

Page 13: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Das Grid

Weltweit größtesComputing Grid

Aufgebaut in 4 Ebenengenannt ‚Tiers‘

260.000Prozessorkerne (2013)

180 PB Speicherplatz(2013)

Bildquelle: https://espace2013.cern.ch/WLCG-document-repository/images1/WLCG/CCApr13-Tiers0-1-2_PNG-file.png, Entnahmedatum: 02.06.2014

Page 14: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Das Grid – Tier 0

CERN Data Centre 1450m² große Serverfarm am CERN 10.000 Server mit 90.000 Prozessorkernen 30 PB Festplattenplatz, 70 PB Magnetbandspeicher 3,5 MW Leistung

Wigner Data Centre (Budapest) Über zwei 100 Gbit/s Leitungen mit dem CERN Data

Centre verbunden 500 Server mit 20.000 Prozessorkernen 5,5 PB Festplattenplatz 2,5 MW Leistung

Page 15: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Das Grid – Tier 0

Zentraler Punkt desGrid

Aufgaben Erste Rekonstruktion der

Events aus denRohdaten

Speicherung vonRohdaten undrekonstruierten Events

Bildquelle:http://home.web.cern.ch/sites/home.web.cern.ch/files/styles/medium/public/image/about_section_page/2013/01/cern-servers.jpg?itok=rsKttLQVEntnahmedatum: 02.06.2014

Page 16: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Das Grid – Tier 1

13 Rechenzentren weltweit Zentrale Knotenpunkte des Grid Über Glasfaserleitungen direkt mit dem

CERN verbunden (10Gbit/s) Deutsches Tier 1 Rechenzentrum: GridKa 8600 Prozessorkerne (2010) 20 PB Speicher (2012)

Page 17: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Das Grid – Tier 1

Aufgaben: Sicherung von Rohdaten und rekonstruierten

Events Erneute Verarbeitung der Daten unter

Berücksichtigung neuer Kalibrierungen Verteilung der Daten an Tier-2 Rechenzentren Archivierung von simulierten Daten aus Tier-2

Rechenzentren

Page 18: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Das Grid – Tier 1

Bildquelle: http://gstat2.grid.sinica.edu.tw/gstat/gstat/geo/openlayers#/WLCG_TIER/1 Entnahmedatum: 02.06.2014

Page 19: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Das Grid – Tiers 2 & 3

o Tier 2 Ca. 150 Forschungs-

einrichtungen undUniversitäten in ca. 40Ländern

Aufgaben: Simulationen Rechenkapazität für

Datenanalysen derEndbenutzer

o Tier 3 Zugriffspunkt Zur Eingabe von

Analyseaufgaben

Page 20: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Vorteile des Grid-computing

Hohe Datensicherheit

Wissenschaftler weltweit können fastverzögerungsfrei auf LHC-Daten zugreifen

Ausfallsicherheit

Page 21: Datenfluss in CERN- Experimenten - KITekptkuhr/Hauptseminar/Scheurer.pdf · Das Grid – Tiers 2 & 3 o Tier 2 Ca. 150 Forschungs-einrichtungen und Universitäten in ca. 40 Ländern

Das Grid - Datenfluss

Bildquelle: http://wlcg-public.web.cern.ch/structure Entnahmedatum02.06.2014