Globus toolkit präsentation

GLOBUS TOOLKIT

Martin Baumbach13.11.2011 1

2

Martin Baumbach 13.11.2011 Globus Toolkit

Gliederung

1. Allgemeines2. Grid-Computing

1. Begriffserklärung2. Klassifikation3. Allgemeines4. Funktionsweise5. Implementierungen/Grid-Middleware

3. Globus Toolkit1. Globus Alliance2. Allgemeines3. Aufbau4. Globus Befehle

4. Praxisbeispiel5. Fazit

3

1. Allgemeines


4

1. Allgemeines

Open Source Toolkit

Zum Erzeugen von Grids

Von der Globus Alliance

Aktuellste Version 5.0.2


5

2. Grid Computing


6

2.1 Begriffserklärung

koordinierte gemeinsame Nutzung von Ressourcen über Institutsgrenzen hinweg unter Bildung von virtuellen Organisationsstrukturen

Verteiltes System / verteiltes Rechnen

Erzeugung eines Supercomputers aus einem Cluster lose gekoppelter Computer

Lösung von rechenintensiven, wissenschaftlichen, mathematischen ProblemeMartin Baumbach 13.11.2011 Globus

Toolkit

7


keine gemeinsame Administration

Unterschied zu typischen Computerclustern:

Wesentlich losere Kopplung

Heterogenität

Geographische Zerstreuung der Computer

Ein Grid ist meistens für eine spezielle Anwendung


8


Herausforderungen im Grid:

Zugang zu verschiedenartigen Systemen möglich

Zugang zu Daten der unterschiedlichen Systeme

Grid Software behebt folgende Probleme:

Einheitliche Schnittstelle für den Zugang zu Systemen

Transparenter Zugriff auf Daten + Interoperabilität


9

2.2 Klassifikation

Rechengrids (Computing Grids): Zugriff auf verteilte Rechenressourcen

Datengrids (Date Grids): Zugriff auf verteilte DB

Ressource Grids

Service Grids

Knowledge Grids


10

2.3 Allgemeines

Jeder Computer ist zunächst den anderen Computern gleichgestellt (P2P)

Typische Aufgaben: Leistungsüberforderung einzelner Computer Integration, Auswertung, Darstellung sehr großer Datenmengen (Medizin, Naturwissenschaft)

Teilchenphysik, Meteorologie, Industriesimulationen

Rechenleistung steigt wegen Koordinationsaufwand nie linear zur beteiligten Rechnerzahl


11

2.4 Funktionsweise

Benötigt wird ein normaler Computer mit Netzwerkverbindung

Auf Grid Computern übernimmt Software das Lösen der Teilaufgabe zur Verfügung gestellt durch Server

Server nutzt Software, die große Aufgabe in Anzahl Teilaufgaben aufteilt, jeder Knoten erhält Teilaufgabe

Server setzt Teilergebnisse wieder zusammenMartin Baumbach 13.11.2011 Globus Toolkit

12

2.5 Implementierungen

g-Eclipse

Unicore

gLite

Sun Grid Engine

Globus Toolkit


13

3. Globus Toolkit


14

3.1 Globus Alliance

Globus Alliance Zusammenschluss von Partnern, welche Globus vorantreiben

Globus ist eine Entwicklung hauptsächlich amerikanischer Forschungsinstitute

International verbreitet: D-Grid (Deutschland), Teragrid (USA), DEISA (Europa)

Globus Toolkit


15

3.2 Allgemeines

Einheitliche Schnittstelle, auch bei Einsetzen unterschiedlicher Systeme

Single-Sign-On

Interoperabilität Möglichkeit des Rechnens in anderen Grid-Projekten

Datentransfer auf andere Ressourcen

Gute Workflows werden ermöglicht (Aufgabenverteilung)


16

3.2 Allgemeines

Lokale Seiten haben: Eigene Policies Unterschiedliche Installationen, Batch

Systeme, Netzwerkprotokolle usw. Benutzerverwaltungen

Durch GT Vereinheitlichung durch Standards Basiert auf Webservices Überwachung Standard Zugang und Schnittstellen


17

3.3 Aufbau

Ist eine Implementierung aus verschiedenen Standards

Open Grid Services Architecture (OGSA) Open Grid Services Infrastrucure (OGSI) Web Services Resource Framework Job Submission Description Language Distributed Resource Management

Application API Grid Security Infrastructure


18

3.3 Aufbau

GT nutzt Implementierungen der Protokolle (OGF) zur Sicherstellung folgender Services:

Security Services: GSI Data Movement/Management:

GASS+gridFTP Information Sevices: MDS Resource Management: GRAM


19

3.3 Aufbau


20

3.3 Aufbau

Grid Security Infrastructure (GSI)

Basiert auf Private-Public-Key Verschlüsselung

Basiert auf X.509-Zertifikaten

Ermöglicht Single Sign-On und Delegation

Bietet mehr Sicherheit

Nutzt kurzlebige Proxy-Zertifikate zur AutorisierungMartin Baumbach 13.11.2011 Globus

Toolkit

21

3.3 Aufbau

Data Management: 2 Mechanismen GridFTP und RTF

Grid FTP- Erweiterung von FTP

parallele Übertragungskanäle

für WANs optimiert

greift auf grundlegende GSI-Sicherheitsinfrastruktur zurück


22

3.3 Aufbau

Data Management

Verschlüsselung möglich Auswirkung auf Performance

Severbündelung (Striped Server)

Reliable File Transfer

Automatischer Transfer ohne Notwendigkeit von Interaktionen

Automatische Wiederaufnahme des Transfers bei FehlernMartin Baumbach 13.11.2011 Globus

Toolkit

23

3.3 Aufbau

Information Services – Monitoring and Discovery Services

Suite von Web Services

Beinhaltet Komponenten zur Überwachung und Anzeige von Ressourcen in einer Virtuellen Organisation (VO)

GT4 enthält eine non-Webservice Version von MDS

diese ist in späteren Versionen nicht mehr enthalten


24

3.3 Aufbau


25

3.3 Aufbau

Resource Management (GRAM)

Software-Komponente des GT zum lokalisieren, übertragen, überwachen und abbrechen von Jobs

RSL um komplexe Jobs zu beschreiben

File staging möglich (RFT)

Serielle und parallele Jobs möglich

Bietet Schnittstellen zu gängigen Batchsystemen


26

3.3 Aufbau

Resource Management (GRAM)

2 Arten von Jobs Interaktive Jobs: durchgängig mit

Rechenressource verbunden, Ausgaben auf lokalem Bildschirm

Batchjob: Programm wird auf Rechenressource ausgeführt, Ausgaben werden in Datei geschrieben, keine Interaktion möglich


27

3.4 Befehle

Einen Job übertragen:globusrun-ws -submit -c /bin/date

Mit –F wird der Host spezifiziertglobusrun-ws -submit -F mb.fh-schmalkalden.de

-c /bin/hostname

-s aktiviert Streaming und gibt auf lok. Bildschirm aus

globusrun-ws -submit -s -c /bin/date


28

4. Praxisbeispiel


29

4. Praxisbeispiel


30

5. Fazit


31

5. Fazit

Zertifikatbasierte Authentifizierung und Autorisierung

Single-Sign-On und Delegation

Schnittstellen für gängige Batchsystem

Sicheren, zuverlässigen und performanten Dateitransfer

Toolkit stellt leistungsfähige Hilfsmittel bereit, decken nicht alle Anwendungsfälle ab


Documents

Globus toolkit präsentation