Grid applications, environments and

programming models

Präsentiert von:

Beikircher Wolfgang

Schgaguler Evelyn

Was Sie erwartet:

• Einführung in Grid

- Überblick

- Eingabe von Workflows

- Abbildung ins Grid

- Ausführung der Workflows

- Anwendungen

• Pegasus

• Karajan

• Zusammenfassung- Überblick

- Ziele

- Spezifikation

- Ausführung

- Ereignismodell

Einführung

5% genutzte Kapazität

95% ungenutzte Kapazität

10% genutzte Kapazität

90% genutzte Kapazität

Auslastung der CPU bei:

... PC‘s ... Server

Was ist das Grid?

• Rechenleistung innerhalb Netzwerk

zusammenfassen (Grid Computing)

• parallele Lösungen rechenintensiver Probleme

• geringere Kosten

• hohe Rechenleistung

• Computer, Teleskope, Mikroskope, usw.

• geförderte Projekte z.B. CERN (durch die EU)

• wesentlich kürzere Rechenzeit

Softwarearchitektur

Context Service

Data Service

Information Service

Resource Management Service

Infrastructure Service

Self-Management Service

Security Service

Execution Management Service

OGSA

Grid - Applikationen

Distributed Supercomputing

High-Throughput Computing

On-Demand Computing

Data-Intensive Computing

Collaborative-Computing

Teleimmersion

Pegasus -Planning for Execution in Grids

Ein framework für Workflows

Überblick

• Flexibles framework

• Konfigurierbares System, das plant, vorbereitet

und Workflows ausführt

– Algorithmische und KI Techniken kommen zum Einsatz

• Unterstützt eine Reihe von Programmen zur

Ausführung von Workflows

Spezifikation

• Workflows als abstrakt definiert

– Transformationen und Daten mit Hilfe der

logischen Namen

• Workflowdefinition mit Chimera oder

händisch

• Ausgabe ist ein gerichteter Graph,

beschrieben in XML

Beispiel einer Eingabedatei für Chimera

Konstruierter, abstrakter Graph

preprocess

findrange

analyze

f.a f.df.b

1, f.b2

f.b1, f.b2

f.c1

f.c2

Ausgabe als XML-Datei

Abbildung der Workflows

Pegasus

RLS

TCMDS

Logische Daten

Standort der Daten

Logi

sche

Tra

nsf.

Standort der T

ransf.

Resso

urce

n fin

den

Stand

ort d

er R

esso

urce

n

Reduktion von Workflows

• Optimiert Workflows

• Prüft Durchführbarkeit der Workflows

Ausführung von Workflows

Pegasus

RLS TC MDS

DAGManChimera

Abstract Workflow

Concrete WorkflowVDL Jobs

Anwendungen (1) - LIGO

• Interferometry Gravitational-Wave Observatory

• Gravitationswellen werden erzeugt von:

– Schwarzen Löchern

– Erdbeben in Neuronensternen

– Pulsare

• Pegasus-Planer analysiert Daten:

– Workflows bilden

– auf den Grid ausführen

Anwendungen (2) - LlGO

Anwendungen (3) - SCEC

• Southern California Earthquake Center (SCEC)

• Bei Demonstrationen von Erdbebenanalysen

• GriPhyN entwickelte Virtual Data Toolkit

• Vorgehensweise:

– Workflow Templates produzieren u. mit Daten füllen

– abstrakte Workflows erzeugen

– an das Virtual Data System (VDS) weiterleiten

– DAGMan und CondorG führen Workflows aus

Karajan

A Grid Orchestration Framework

Überblick

• Karajan ist eine Workflow Sprache und

Ausführungsmotor

• Ereignisgesteuert

• Stützt sich auf 2 grundlegende

Technologien:

– Java‘s Jini

– Rio

Schematische Darstellung

Ziele

• Erzeugung einer verteilten Infrastruktur

• Client – Server – Service Programmierung

so einfach wie möglich zu machen

• Entwicklung einer Infrastruktur in der

Services unabhängig von einander

arbeiten können

Spezifikation eines Workflows

• Workflows werden mittels XML-Datei

spezifiziert

• Vordefinierte Tags bestimmen den Ablauf

• Verschiedene Gridelemente einbindbar:

– Parallele Iteratoren

– Gridftp

Beispiel einer Definition

….

<sequential>

<element1/>

<parallel>

<element2/>

<element3/>

</parallel>

<element4/>

</sequential>

….

element1

element2 element3

element4

Ausführung der Workflows

• Workflow engine basiert auf

Ereignismodell

• Elemente reagieren auf Ereignisse von

anderen Elementen

• Elemente interagieren mit Services

Ereignismodell

• Ereignisse signalisiert durch Flags

• Flags werden in JavaSpace geschrieben

• 2 verschiedene Modelle

– Client distribution model

– Service distribution model

Client distributionmodel

Servicedistribution

model

Zusammenfassung

• Wiederholung Grid

• Pegasus

– Spezifikation von Workflows (XML-Datei)

– Planung von Workflows (RLS, TC, MDS)

– Ausführung von Workflows

• Karajan

– Definition der Workflows

– Ereignismodel

Vielen Dank