GRID-COMPUTING - mathematik.uni-ulm.de · Seminar Internet-Dienste SS 2003 – Universität Ulm Grid-Computing Vortrag von Norbert Heidenbluth Gliederung 1. Einführung 2. Beispiele

GRIDGRID--COMPUTINGCOMPUTING

Seminar InternetSeminar Internet--DiensteDiensteSS 2003 SS 2003 –– Universität UlmUniversität Ulm

GridGrid--ComputingComputing Vortrag von Norbert HeidenbluthVortrag von Norbert Heidenbluth

GridGrid--ComputingComputing

oder:oder:

Was einen Ferrari Was einen Ferrari mit Alf verbindetmit Alf verbindet



GliederungGliederung

1.1. EinführungEinführung2.2. Beispiele für GridsBeispiele für Grids3.3. Anwendungstypen des GridsAnwendungstypen des Grids4.4. Abschließende BemerkungenAbschließende Bemerkungen



Teil 1:Teil 1:

EinführungEinführung



MotivationMotivation

„„Der Ferrari des Nachbarn“Der Ferrari des Nachbarn“



Ausnutzen nicht verwendeter Ausnutzen nicht verwendeter RessourcenRessourcen

!! DesktopDesktop--PCs sind nur 5% des Tages PCs sind nur 5% des Tages wirklich beschäftigtwirklich beschäftigt

!! Teilweise trifft dies auch auf Server zuTeilweise trifft dies auch auf Server zu!! GridGrid--Computing „findet“ diese brach Computing „findet“ diese brach

liegendenen Kapazitäten und nutzt sie für liegendenen Kapazitäten und nutzt sie für anstehende Aufgaben ausanstehende Aufgaben aus



Definition „Grid“Definition „Grid“(wesentliche Bestandteile)(wesentliche Bestandteile)

„„Grid is a type of Grid is a type of parallelparallel and and distributed distributed systemsystem that enables the that enables the sharing, selection sharing, selection and aggregationand aggregation of of geographically geographically distributed autonomous resources distributed autonomous resources dynamically at runtime depending on their dynamically at runtime depending on their availability, capability, performance, cost, availability, capability, performance, cost, and users‘ qualityand users‘ quality--ofof--service requirements“service requirements“



Mögliche Einsatzgebiete für das Mögliche Einsatzgebiete für das GridGrid--ComputingComputing

!! Mathematische BerechnungenMathematische Berechnungen!! Faktorisierung von ZahlenFaktorisierung von Zahlen!! Berechnung von Nullstellen komplexer FunktionenBerechnung von Nullstellen komplexer Funktionen

!! Risikobewertung im BankwesenRisikobewertung im Bankwesen!! ChipChip--Design in der IndustrieDesign in der Industrie!! CrashCrash--SimulationenSimulationen!! ÖlfeldsucheÖlfeldsuche!! WettervorhersageWettervorhersage



Teil 2:Teil 2:

Beispiele für GridsBeispiele für Grids!!Seti@homeSeti@home!!IBM ZetaGRIDIBM ZetaGRID!!CERNCERN--DataData--Grid (LHC)Grid (LHC)!!Mersenne‘sche PrimzahlenMersenne‘sche Primzahlen!!u.v.mu.v.m



Beispiel 1:Beispiel 1:

SETI@homeSETI@home



SETISETI!! SSearch for earch for

EExxttraterrestrial raterrestrial IIntelligencentelligence

!! Ins Leben gerufen Ins Leben gerufen von der Universität von der Universität Berkeley, Kalifornien Berkeley, Kalifornien (UCB)(UCB)

!! Verarbeitet Daten des Verarbeitet Daten des Arecibo Radio Arecibo Radio Observatory, Puerto Observatory, Puerto RicoRico



Arecibo Radio ObservatoryArecibo Radio Observatory



SETI@homeSETI@home!! Radioteleskop liefert gewaltige Datenmengen, Radioteleskop liefert gewaltige Datenmengen,

die mit herkömmlichen Großrechnern nicht zu die mit herkömmlichen Großrechnern nicht zu verarbeiten sindverarbeiten sind

!! Idee: (Sehr) Viele Rechner verarbeiten jeweils Idee: (Sehr) Viele Rechner verarbeiten jeweils einen kleinen Teil der Dateneinen kleinen Teil der Daten

!! Teilnehmer installiert SETITeilnehmer installiert SETI--Client, dieser Client, dieser bekommt Daten, wertet sie aus und sendet bekommt Daten, wertet sie aus und sendet Ergebnis zurückErgebnis zurück

!! Client arbeitet nur, wenn sich Rechner im Client arbeitet nur, wenn sich Rechner im Leerlauf befindet (z.B. Bildschirmschoner)Leerlauf befindet (z.B. Bildschirmschoner)



SETI@homeSETI@home

!! Daten werden in kleine Datenpakete (Daten werden in kleine Datenpakete (work unitswork units) zerlegt (Inhalt: ca. 107 ) zerlegt (Inhalt: ca. 107 Sekunden)Sekunden)

!! User databaseUser database: Verwaltung von Benutzerinformationen: Verwaltung von Benutzerinformationen!! Data serverData server: Verwaltung der aufgezeichneten Daten: Verwaltung der aufgezeichneten Daten!! Science databaseScience database: gibt work units heraus und empfängt Ergebnisse: gibt work units heraus und empfängt Ergebnisse!! Datenaustausch via HTTPDatenaustausch via HTTP



SETI@home: StatistikSETI@home: Statistik

09 Std. 16 min09 Std. 16 min14 Std. 08 min14 Std. 08 minCPUCPU--Zeit / workunitZeit / workunit

4.78e+184.78e+183.2e+213.2e+21FPOFPO

1.298 Jahre1.298 Jahre1.526.999 Jahre1.526.999 JahreCPUCPU--Zeit Zeit insgesamtinsgesamt

1.225.6151.225.615945.926.567945.926.567Empfangene Empfangene ResultateResultate

1.3111.3114.571.7944.571.794BenutzerBenutzerLetzte 24 Std.Letzte 24 Std.GesamtGesamt

Stand: 08.07.2003



SETI@home: SicherheitSETI@home: Sicherheit

Vielfältige Sicherheitsmechanismen Vielfältige Sicherheitsmechanismen verhindern, daßverhindern, daß

!! falsche oderfalsche oder!! gefälschte gefälschte Ergebnisse zurückgesendet werdenErgebnisse zurückgesendet werden



SETI@homeSETI@home

Bisher wurde noch kein außerirdisches Bisher wurde noch kein außerirdisches Signal gefunden!!!Signal gefunden!!!



Jetzt wissen wir…Jetzt wissen wir…

…was einen Ferrari mit Alf …was einen Ferrari mit Alf verbindet!verbindet!



Weitere BeispieleWeitere Beispiele

!! IBM ZetaGridIBM ZetaGrid!! CERN DataCERN Data--Grid (LHC)Grid (LHC)!! Mersenne‘sche PrimzahlenMersenne‘sche Primzahlen



Teil 3Teil 3

Anwendungstypen des GridsAnwendungstypen des Grids



Anwendungstypen desAnwendungstypen desGridGrid--ComputingsComputings

!! Verteiltes SupercomputingVerteiltes Supercomputing!! DataData--GridsGrids

!! Computing mit hohem DatendurchsatzComputing mit hohem Datendurchsatz!! Computing von datenintensiven Computing von datenintensiven

AnwendungenAnwendungen

!! Computing on demandComputing on demand!! Kollaborative ComputerarbeitKollaborative Computerarbeit



Verteiltes RechnenVerteiltes Rechnen

!! Aufteilung rechenintensiver Anwendungen Aufteilung rechenintensiver Anwendungen auf verschiedene Rechnerauf verschiedene Rechner

!! Teilnehmende Rechner arbeiten parallel Teilnehmende Rechner arbeiten parallel an jeweils einem kleinen Teil der großen an jeweils einem kleinen Teil der großen AufgabeAufgabe

!! Rechner sind miteinander verbunden Rechner sind miteinander verbunden (Internet Computing)(Internet Computing)



AnwendungshierarchieAnwendungshierarchie



AnwendungshierarchieAnwendungshierarchie

Anwendung(application)

Job Job Job

Subjob SubjobSubjob Subjob SubjobSubjob Subjob SubjobSubjob

Subsubjob Subsubjob Subsubjob Subsubjob Subsubjob Subsubjob



Problem: SkalierbarkeitProblem: Skalierbarkeit

Fragen:Fragen:

!! Inwieweit sind die einzelnen Jobs Inwieweit sind die einzelnen Jobs untereinander abhängig?untereinander abhängig?

!! Müssen die Jobs untereinander Müssen die Jobs untereinander kommunizieren?kommunizieren?

Hier PerformanceHier Performance--Verluste möglich!Verluste möglich!



Perfekte SkalierbarkeitPerfekte Skalierbarkeit

!! IdealfallIdealfall!! Jobs und Subjobs sind voneinander völlig Jobs und Subjobs sind voneinander völlig

unabhängigunabhängig!! Beispiel: Eine Anwendung ist 10x Beispiel: Eine Anwendung ist 10x

schneller fertig, wenn sie auf 10 Rechner schneller fertig, wenn sie auf 10 Rechner aufgeteilt wirdaufgeteilt wird



Grenzen für perfekte SkalierbarkeitGrenzen für perfekte Skalierbarkeit

!! Algorithmen können nur in eine begrenzte Algorithmen können nur in eine begrenzte Anzahl unabhängiger (SubAnzahl unabhängiger (Sub--)Jobs )Jobs aufgespalten werdenaufgespalten werden

!! Es ist ein gemeinsamer Zugriff mehrerer Es ist ein gemeinsamer Zugriff mehrerer (Sub(Sub--)Jobs auf eine Ressource nötig)Jobs auf eine Ressource nötig



DataData--GridsGrids

!! Zweithäufigster Anwendungstyp des GridZweithäufigster Anwendungstyp des Grid--ComputingsComputings

!! Rechner stellen Speicherplatz für die Rechner stellen Speicherplatz für die Daten anderer GridDaten anderer Grid--Teilnehmer zur Teilnehmer zur VerfügungVerfügung

!! Speicherplatz kann permanent oder Speicherplatz kann permanent oder temporär seintemporär sein



Anwendungsgebiete für DataAnwendungsgebiete für Data--GridsGrids

Permanenter Permanenter SpeicherplatzSpeicherplatz

!! Erhöhung der Erhöhung der SpeicherkapazitätenSpeicherkapazitäten

!! Erhöhung der Erhöhung der PerformancePerformance

!! Sicherheit vor Sicherheit vor DatenverlustDatenverlust

Temporärer Temporärer SpeicherplatzSpeicherplatz

!! Ermöglicht schnelleren Ermöglicht schnelleren DatenzugriffDatenzugriff

!! Nachteil: Daten sind nur Nachteil: Daten sind nur flüchtigflüchtig



DataData--StripingStriping

Simuliert den Effekt einer Erhöhung der Simuliert den Effekt einer Erhöhung der Geschwindigkeit beim DatenzugriffGeschwindigkeit beim Datenzugriff



Kollaborative ComputerarbeitKollaborative Computerarbeit

!! Zusammenfassung heterogener und Zusammenfassung heterogener und geographisch weit entfernter Ressourcen geographisch weit entfernter Ressourcen zu einer Einheitzu einer Einheit

!! Bezeichnung:Bezeichnung:Virtuelle OrganisationVirtuelle Organisation



Virtuelle Organisationen (VOs)Virtuelle Organisationen (VOs)

Geteilt werden:Geteilt werden:

!! HardwareHardware!! Software / LizenzenSoftware / Lizenzen!! Services / teure SpezialgeräteServices / teure Spezialgeräte

Hieraus können sich Organisationsprobleme ergeben!Hieraus können sich Organisationsprobleme ergeben!



OrganisationsmechanismenOrganisationsmechanismen

!! ReservationReservation!! SchedulingScheduling!! ScavengingScavenging



Betriebssicherheit und Betriebssicherheit und ZuverlässigkeitZuverlässigkeit

!! Bislang: Verwendung teurer HardwareBislang: Verwendung teurer Hardware--Vorkehrungen für Ausfallsicherheit, z.B.Vorkehrungen für Ausfallsicherheit, z.B.!! Redundante SchaltkreiseRedundante Schaltkreise!! Doppelt vorhandene ProzessorenDoppelt vorhandene Prozessoren!! Wiederherstellungsmechanismen nach Wiederherstellungsmechanismen nach

HardwarefehlerHardwarefehler!! Doppelt vorhandene Netzteile und Doppelt vorhandene Netzteile und

KühlsystemeKühlsysteme!! Gegen Ausfälle abgesicherte StromkreiseGegen Ausfälle abgesicherte Stromkreise



Betriebssicherheit und Betriebssicherheit und ZuverlässigkeitZuverlässigkeit

!! Demnächst: Verwendung von Software Demnächst: Verwendung von Software zum Meistern kritischer Situationenzum Meistern kritischer Situationen!! Vermittlung von Jobs nach dem Ausfall eines Vermittlung von Jobs nach dem Ausfall eines

Rechners an einen anderen RechnerRechners an einen anderen Rechner!! Ergebniskontrolle: Konsistenzprüfung schützt Ergebniskontrolle: Konsistenzprüfung schützt

vorvor!! RechenfehlernRechenfehlern!! DatenkorruptionDatenkorruption!! EinbrüchenEinbrüchen



Autonomic ComputingAutonomic Computing

Ziel:Ziel:

!! Softwaregesteuerte Problembehebung Softwaregesteuerte Problembehebung innerhalb des Grids ohne Mitwirkung des innerhalb des Grids ohne Mitwirkung des Administrators („Autonomic Computing“)Administrators („Autonomic Computing“)

„Software ersetzt Hardware“„Software ersetzt Hardware“



Das Grid als heterogenes NetzDas Grid als heterogenes Netz

!! Unterschiedliche ProzessortypenUnterschiedliche Prozessortypen!! Unterschiedliche BetriebssystemeUnterschiedliche Betriebssysteme!! Unterschiedliche angeschlossene GeräteUnterschiedliche angeschlossene Geräte!! Unterschiedliche KapazitätenUnterschiedliche Kapazitäten!! Unterschiedliche AusstattungenUnterschiedliche Ausstattungen



DynamikDynamik

!! Ressourcen können im laufenden Betrieb Ressourcen können im laufenden Betrieb des Grids hinzugefügt und entfernt werdendes Grids hinzugefügt und entfernt werden

!! Erfordert eine auf Erfordert eine auf AgentenAgenten basierende basierende ArchitekturArchitektur

!! Agenten sind eigenständige Einheiten (i.A. Agenten sind eigenständige Einheiten (i.A. Programme), die für den Benutzer das Programme), die für den Benutzer das Grid nach Aufgaben oder Ressourcen Grid nach Aufgaben oder Ressourcen durchsuchendurchsuchen



Finale Teil 3Finale Teil 3

„„The goal [of GridThe goal [of Grid--Computing] is to create Computing] is to create the illusion of a simple yet large and the illusion of a simple yet large and powerful self managing virtual computer powerful self managing virtual computer out of a large collection of connected out of a large collection of connected heterogenous systems sharing various heterogenous systems sharing various combinations of resources.“ combinations of resources.“ [4][4]



Teil 4:Teil 4:

Abschließende BemerkungenAbschließende Bemerkungen



Abschließende BemerkungenAbschließende Bemerkungen

!!AussagenAussagen!!ProblemeProbleme



Aussagen zum GridAussagen zum Grid--ComputingComputing

„„Das Grid ist das Internet der Das Grid ist das Internet der nächsten Generation!“nächsten Generation!“




„„Das Grid erfordert ein verteiltes Das Grid erfordert ein verteiltes Betriebssystem!“Betriebssystem!“




„„Das Grid wird HighDas Grid wird High--PerformancePerformance--Computer überflüssig machen!“Computer überflüssig machen!“



Probleme des GridProbleme des Grid--ComputingsComputings

!! Es existiert eine sehr große Vielfalt von Es existiert eine sehr große Vielfalt von SystemenSystemen

!! Oft sind extrem hohe Oft sind extrem hohe Übertragungskapazitäten notwendigÜbertragungskapazitäten notwendig

!! Das Vertrauen der Rechenzentren und Das Vertrauen der Rechenzentren und Dienstleistungsanbieter muß garantiert Dienstleistungsanbieter muß garantiert seinsein

!! Es gibt derzeit noch viele offene Probleme Es gibt derzeit noch viele offene Probleme bei Standards und Programmierungbei Standards und Programmierung



Fragen ???Fragen ???



Vielen Dank für die Vielen Dank für die Aufmerksamkeit!Aufmerksamkeit!

Documents

GRID-COMPUTING - mathematik.uni-ulm.de · Seminar Internet-Dienste SS 2003 – Universität Ulm Grid-Computing Vortrag von Norbert Heidenbluth Gliederung 1. Einführung 2. Beispiele