GESISWiesbaden 12. Mai 2006 GESIS Wiesbaden 12. Mai 2006 D-Grid: Neue Forschungsmoeglichkeiten durch Grid-Technologien Wolfgang Gentzsch, D-Grid, North

GESIS Wiesbaden 12. Mai 2006


D-Grid: Neue Forschungsmoeglichkeitendurch Grid-Technologien

Wolfgang Gentzsch, D-Grid, North Carolina Grid, Global Grid Forum

[email protected]


Themen

Was ist ein Grid ?

Warum Grids ?

Die deutsche Grid Initiative

Grid-Anwendungen: Beispiele

Vision


Was ist ein Grid ? Verteilte, vernetzte Computing- und Daten-Ressourcen

Die zugrunde liegende IT-Infrastruktur fuer globales HPC

Networking und Computing Infrastruktur fuer Utility Computing

Verteilte Plattform fuer gemeinsam genutzte Experimente und Instrumente

Die naechste Generation der Enterprise IT Architektur

Die naechste Generation von Internet und WWW

Computing aus der Steckdose

usw…..


Grid: eine Beschreibung . . .

Alte Welt Neue Welt

Statisch

Silo

Physikalisch

Manuell

Anwendungen

Dynamisch

Offen

Virtuell

Automatisch

Services

Von Silo-Orientierter Architektur zur Service-Orientierten Architektur

Courtesy Mark Linesch, GGF


• Ressourcen Auslastung: von bisher 20% auf im Grid 80%• Produktivitaet: mehr Arbeit in kuerzerer Zeit • Business Flexibilitaet: flexibles Anpassen der Ressourcen an

dynamische Business-Prozesse • On Demand: man bekommt Ressourcen, wenn man sie braucht • Einfacher Zugriff: transparent, remote, sicher, von ueberall• Kollaborativ: Zusammenarbeit uebers Internet • Failover: migrate/restart Anwendungen automatisch • Ressource Virtualisierung: Zugriff auf Services, nicht Server• Heterogenitaet: Plattformen, OSs, Devices, Software• Virtuelle Organisationen: Auf- u Abbau von Ressourcen ‘on the fly’

Warum Grids ?


Globale Grid Community


…und 1000e von Enterprise Grids

• Life SciencesStartup and cost efficient

Custom research or limited use applications

Multi-day application runs (BLAST)

Exponential Combinations

Limited administrative staff

Complementary techniques

● Electronic DesignTime to Market

Fastest platforms, largest Grids

License Management

Well established application suite

Large legacy investment

Platform Ownership issues

● Financial ServicesMarket simulations

Time IS Money

Proprietary applications

Multiple Platforms

Multiple scenario execution

Need instant results & analysis tools

● High Performance Computing

Parallel Reservoir Simulations

Geophysical Ray Tracing

Custom in-house codes

Large scale, multi-platform execution


Die deutsche D-Grid Initiative *)

“Services for Scientists”

*) gefoerdert vom BMBF 2005 - 2008


E-Science in Deutschland

Aktionsprogramm der Bundesregierung:

“Informationsgesellschaft Deutschland 2006”

“Die Entwicklung einer deutschen e-Science Initiative ist eine strategische Aufgabe”

“E-Science in Deutschland soll primär die Wissenschaft fördern und durch die Wissenschaft getragen werden, aber gleichzeitig vielfältige Ansätze für eine Zusammenarbeit mit der Wirtschaft aufzeigen.”

Langfristige Zielsetzung: “Services for Scientists” , sich selbst tragende Dienstleistungen für die Wissenschaft


Ziele e-Science Initiative Aufbau einer Grid-Infrastruktur in Deutschland

Bündelung der deutschen Grid-Aktivitäten bzgl. Infrastruktur, Middleware und Anwendungen Integration der in den Community-Grids entwickelten Grid-Middlewarekomponenten

Entwicklung von e-Science-Diensten für die Wissenschaft Science-Service-Grid (urspruenglich) F&E-Service Grids (DGrid2: Einbeziehen v Industrie)

Kritisch: Nachhaltigkeit nach Ende der Projektförderung BMBF Integration neuer Communities (2. Generation) Geschäftsmodelle


Community GridsCommunity Grids

Generic Grid Middleware and Grid Services

Information and Knowledge Management

Grid specificDevelopments

Application

CGMiddle-

ware

Grid specificDevelopment

Application

CGMiddle-

ware

D-Grid Struktur

Courtesy Dr. Krahl PT/BMBFIntegration ProjectIntegration Project


Verbundübergreifende Zusammenarbeit

Generische Grid-Middleware und Grid-Services

Integrationsprojekt

As

tro

-Gri

d

C3

-Gri

d

HE

P-G

rid

IN-G

rid

Me

diG

rid

ON

TO

VE

RS

E

WIK

ING

ER

Te

xtg

rid

VIOLA eSciDoc

D-Grid Wissensmanagement

Im W

iss

en

sne

tz

WIN

-EM


Übersicht


Quasi-Standard WerkzeugeBeispiel: Das Globus Toolkit

2. Auffinden von Ressourcen, MDS

3. Versenden von Jobs, GRAM

4.Datentransfer, GridFTP

1. Sichere Umgebung, GSI

Globus Toolkit bietet 4 Basisfunktionen zum Aufbau von Grids

Courtesy Gridwise Technologies


D-Grid Middleware

Nutzer

ApplicationDevelopment

and User Access

GAT API

Data/Software

Resourcesin D-Grid

High-levelGrid

Services

Basic Grid Services

DistributedData Archive

User

NetworkInfrastructur

LCG/gLite

Globus 4.0.1

AccountingBilling

User/VO-Mngt

SchedulingWorkflow Management

Data management

Security

Plug-In

UNICORE

DistributedCompute Resources

GridSphere

Monitoring


D-Grid-2 Ausschreibung

Aufbau von “Service Grids fuer Forschung und Entwicklung”,

Basierend auf der existierenden D-Grid Infrastruktur

Kooperationen von Wissenschaft, Wirtschaft und Service Provider

Zielt auf dauerhaft tragfaehige Geschaeftsmodelle ab

3 Themenfelder:

- generische Service Provider Grids (horizontal)

- Community Grids (vertikal)

- Ergaenzungen/Ausbau D-Grid

Ankuendigung April 06, Projektskizzen Juni 02, Volumen ca 20ME


Grid Anwendungen

Beispiele


GridspezifischeEntwicklungen

Integrationsprojekt

Kooperations- und Geschäftsmodelle

InGrid: Virtuelle Prototypen und Modellierung in der Industrie

Gieß-prozesse

Umform-prozesse

Strömungs-prozesse

Grundwassertransportprozesse

Wissensbasierte Unterstützung von ingenieurspezifischen Entscheidungsprozessen

Unterstützung von ingenieurspezifischen

Workflows

Verteilte simulations-basierte Produkt- und

Prozessoptimierung

Methoden und Modelle zur Lösung ingenieurspezifischer Probleme im Grid

Fluid-Struktur/ Magneto-Hydro dynamik Kopplung

Sicherheits- und Vertrauensmodelle

Gridspezifische Entwicklungen

AP 2 AP 3 AP 4


Climate research moves towards new levels of complexity:

Stepping from Climate (=Atmosphere+Ocean) to Earth System Modelling

Earth system model wishlist:

Higher spatial and temporal resolution

Quality: Improved subsystem models

Atmospheric chemistry (ozone, sulfates,..)

Bio-geochemistry (Carbon cycle, ecosystem dynamics,..)

Increased Computational demand factor: O(1000 -10000)

C3 Grid: Collaborative Climate Community Data and Processing Grid


Raw Data

Metadata

Molecule

Homogenization

Target data

Metadata

Population

Metadata

Patient

Metadata

Illness

Metadata

Organ/Tissue

Metadata

Cell

Search, Find, Select

Access Control

Correlate, Process, Analyze

Resulting Data

Presentation

Final Result

MediGrid: Mapping von Characteristica, Eigenschaften, Rohen Daten, usw


TextGrid Workbench

1. Publishing

2. Text Processing

3. Text Retrieval

4. Linking

5. Workflow

TextGrid

Modulare Plattform für verteilte, kooperative wissenschaftliche Textdatenverarbeitung.

Erstellung eines Community-Grid für die Geisteswissenschaften


coordinated problem solving

on dynamic and heterogeneous resource assemblies

QuickTime™ and a decompressor

are needed to see this picture.

QuickTime™ and a decompressor

are needed to see this picture.

IMAGING INSTRUMENTS

COMPUTATIONALRESOURCES

LARGE-SCALE DATABASES

DATA ACQUISITION ,ANALYSIS

ADVANCEDVISUALIZATION

Tele-Science Grid

Courtesy of Ellisman & Berman /UCSD&NPACI


Vision:Anyone, anywhere,

anytime, any device

Integration neuer Instrumente und Informationsquellen: zB Handy, PDA, intelligente Sensoren, Sensornetze, Gesundheitsmonitore, usw Komponenten in Autos, Maschinen, Strassen, Bruecken, Kleidung,…

Echtzeit-Analyse von riesigen Datenmengen

Policies, Grid Economy, fuer stabilen, effizienten Service-Betrieb

Ueberwinden politischer, organisatorischer, sozialer Grenzen


The Innovation Engine

[email protected]

Danke ! Folien sind verfuegbar:

Documents

GESISWiesbaden 12. Mai 2006 GESIS Wiesbaden 12. Mai 2006 D-Grid: Neue Forschungsmoeglichkeiten durch Grid-Technologien Wolfgang Gentzsch, D-Grid, North