Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
© 2006 ZAIK/RRZK
Überblick: Auswirkungen von Grids auf
RZ-Serviceangebote
Prof. Dr. Ulrich LangZentrum für Angewandte Informatik Köln
Universität zu Köln
DFN-Nutzergruppe e-Science 10. Mai 2006
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 2
Überblick
Vortrag zur Einstimmung und Bewusstseinsbildung
Was ist das Grid?Wer setzt es ein?Zu welchen Zwecken wird es eingesetzt?Welche Vorteile bringt das Grid?
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 3
Was ist das Grid?
A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities. (Ian Foster & Carl Kesselman, „The Grid“, MK, 1998.)“Grid Problem”, which we define as flexible, secure, coordinated resource sharing among dynamic collections of individuals, institutions, and resources. (Ian Foster, Carl Kesselman and Steven Tuecke, “The Anatomy of the Grid”,..., 2001.)“A Grid provides an abstraction for resource sharing and collaboration action across multiple administrative domains…”(Source: NGG Expert Group, 16 June 2003 “European Grid Research 2005-2010)
Grid computing is a form of distributed computing that involves coordinating and sharing computing, application, data, storage, or network resources across dynamic and geographically dispersed organizations. Grid technologies promise to change the way organizations tackle complex computational problems.
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 4
Geschichte und Stand der Grid-Entwicklung
Umfangreiche internationale Finanzierung für Grid-Projekte> 500 M€ national, Europa- und weltweitUSA, Asien, EU 6FP IST, UK e-Science, D-Grid
Unterschiedliche Phasen der Grid-ProjekteD-Grid begann erst am 2. September 2005 EU 5FP ist beendet, 6FP-Projekte laufen UK e-Science: 2 Finanzierungszyklen wurden durchgeführt, inzwischen Einrichtung von Support-Zentren
Alle Projekte verlangen und versprechen NachhaltigkeitGrid-Infrastrukturen
Globus Toolkit, Unicore, g-Lite, Condor, …
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 5
Grid-Technologie für komplexe wissenschaftliche Probleme
Charakteristiken komplexer wissenschaftlicher Probleme Massive DatenvoluminaMassiver Bedarf an RechenleistungGeographische Verteilung der KooperationspartnerGeographische Verteilung der Ressourcen
AnwendungsbereicheAstronomie, Geowissenschaften, Ingenieurswissenschaften, Bio-und Lebenswissenschaften, Klima- und Wettersimulation, Medizin, etc.
Grid-TechnologieHard- und Software-Infrastruktur für heterogene verteilte Anwendungen und verteiltes Arbeiten
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 6
Charakteristiken von Problemhandhabungen
Organisation von Arbeitsabläufen (Workflows)Kopplung und Integration von ArbeitsschrittenAutomatisierung von Abläufen
Bewegung großer DatensätzeRessourcenorientierte, adaptive Verarbeitung
Kooperation zwischen geographisch verteilten Personen
Integration & Automatisierung durch Middleware & ToolsManagement von Berechnungen und DatenEntdecken (Discovery) von RessourcenKoordinierter Softwareentwicklungsprozess
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 7
Grundlegende Grid-VersprechenGrid technologies advance Science and Education in that we can do things which haven’t been possible before. Grid infrastructure attracts and enables new businesses and creates new jobs, especially in today's rural areas. Grids make us more competitive by better utilizing resources.
Sich selbst überwachende, adaptive InfrastrukturHinreichend beschriebene Komponenten
offen gelegte und abfragbare StrukturierungFunktion, Verhalten, QoS, …
Tools zur Analyse und Anpassung an Grid-ZustandAuffinden geeigneter KomponentenBestimmung wie Komponenten kombiniert werden können
Tools zur Komposition, Diagnose & Zustandsänderung
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 8
Grid TechnologyVirtual Organisations
Sharing & Collaboration
SecuritySingle Sign on, delegation
Distribution & fast file transferBut various protocols
Resource ManagementDiscoveryProcess creationSchedulingMonitoring
PortabilityUbiquitous APIs & Modules
Foster, I., Kesselman, C. and Tuecke, S., The Anatomy of the Grid: Enabling Virtual Organisations, Intl. J. Supercomputer Applications, 15(3), 2001
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 9
Identischer Zugriff für alle KooperationspartnerNutzung aller intellektueller Ressourcen
Labs, Universitäten, entfernte Standorte Wissenschaftler, Studenten
Optimierte Nutzung von Investitionen, z.B. im HPCReduktion von Systemkomplexitäten
Partitionierung von TasksAutomatisierte dynamisch verteilte Abläufe Transparente Nutzung von Ressourcen
Reduktion von Managementproblemen bei langfristigen Berechnungen
Vorteile von Grid-Computing
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 10
UK e-Science Programme: Grid-Anwendungen der nächsten Generation
‘e-Science is about global collaboration in key areas of science, and the next generation of infrastructure that will enable it.’
John Taylor, DG of UK OST
Die Anforderungen der e-Science Grid-Anwendungsprojektebestimmen die durch die Grid Middleware anzubietenden Services
UK Projekte sind mehr auf Grid Data Services als auf Teraflop/s bzw. HPC-Systeme ausgerichtet
Folgende Informationen wurden teilweise Präsentationen von Tony Hey entnommen, der Koordinator der UK e-Science-Initiative war
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 11
Finanzierung des UK e-Science-Programms
Erste Phase: 2001 –2004Anwendungsprojekte
£74MAlle Bereiche derWissenschaft und des Ingenieurswesens
Kern-Programm£15M Forschungsinfrastruktur£20M Projekte in Zusammenarbeit mitIndustrie
Zweite Phase: 2003 –2006Anwendungsprojekte
£96MAlle Bereiche derWissenschaft und des Ingenieurswesens
Kern-Programm
£16M Forschungsinfrastruktur£10M DTI Technology Fund
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 12
UK e-Science Grid Anwendungsprojekte
Teilchenphysik und Astronomie (PPARC)- $25M GridPP und $8M AstroGrid
Ingenieurswissenschaften und Physik (EPSRC)- Finanzierung von 6 Projekte mit jeweils ca. $5M
Biologie, Medizin und Umweltwissenschaften- Gesamtfinanzvolumen $35M
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 13
UK e-Science Pilotprojekte
GRIDPP (PPARC)ASTROGRID (PPARC)Comb-e-Chem (EPSRC)DAME (EPSRC)DiscoveryNet (EPSRC)GEODISE (EPSRC)myGrid (EPSRC)RealityGrid (EPSRC)
Climateprediction.com (NERC)Oceanographic Grid (NERC)Molecular Environmental Grid (NERC)NERC DataGrid (NERC + OST-CP)Biomolecular Grid (BBSRC)Proteome Annotation Pipeline (BBSRC)High-Throughput Structural Biology (BBSRC)Global Biodiversity (BBSRC)
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 14
UK e-Science Pilotprojekte
Biology of Ageing (BBSRC + MRC)Sequence and Structure Data (MRC)Molecular Genetics (MRC)Cancer Management (MRC + PPARC)Clinical e-Science Framework (MRC)Neuroinformatics Modeling Tools (MRC)
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 15
Powering the Virtual Universehttp://www.astrogrid.ac.uk
(Edinburgh, Belfast, Cambridge, Leicester, London, Manchester, RAL)
Multi-wavelength showing the jet in M87: from top to bottom – Chandra X-ray, HST optical, Gemini mid-IR, VLA radio.
Picture credits: “NASA / Chandra X-ray Observatory / Herman Marshall (MIT)”, “NASA/HST/Eric Perlman (UMBC), “Gemini Observatory/OSCIR”, “VLA/NSF/Eric Perlman (UMBC)/Fang Zhou, Biretta (STScI)/F Owen (NRA)”
AstroGrid provides advanced, Grid based, federation and data mining tools to facilitate better and faster scientific output.
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 16
Comb-e-Chem Projekt
X-Raye-Lab
Analysis
Properties
Propertiese-Lab
SimulationVideo
Diff
ract
omet
er
Grid
StructuresDatabase
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 17
Nucleotide Annotation Workflows
Discovery Net Projekt
Download sequence
from Reference
Server
Save to Distributed Annotation
Server
InteractiveEditor &
Visualisation
Execute distributed annotation workflow
NCBIEMBL
TIGR SNP
InterPro
SMART
SWISSPROT
GO
KEGG
1800 clicks500 Web access200 copy/paste3 weeks workin 1 workflow and
few second execution
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 18
Schwerpunkte der englischen e-Science-Förderung
Datazugriff und -integrationOGSA-DAI- und DAIT-Projekt mit IBM
Zentrale Grid-DatendiensteWorkflow, ProvenienzVerteilte Anfragen, Wissensmanagement
Datenpflege, -archivierung und DatenhandhabungDigital Curation Centre mit JISC Sicherheit, AA und Ähnliches
e-Science CA, GSI und WS-Sicherheit
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 19
OGSA – Datenzugriffs- und Integrationsprojekt
Znetraler Bereich der Middleware-ArbeitenEntwicklung hochqualitativer datenzentrischer Middleware-EigenschaftenGesamtetat $5M Etablieren von drei Zentren:Edinburgh, Manchester und NewcastleIndustriepartner: IBM US, IBM Hursley und Oracle UK
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 20
UK e-Science: Phase 2
Drei wesentliche, neue Aktivitäten:
1. Einrichtung nationaler Grid Services und Aufbau einesGrid Operation Centre
2. Finanzierung eines Open Middleware Infrastrukturinstitutes zum Testen, Überarbeiten und Speichern in einem UK-Repository
3. Einrichten eines Digital Curation Centre um Langzeitspeicherprobleme zu behandeln
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 21
Das UK Open Middleware Infrastructure Institute (OMII)
“Repository” für im UK entwickelte Open Source MiddlewareDokumentation, Spezifikation,QA und StandardsFinazierung zur Überführung von ‘Forschungs-’software in eine ‘Produktionsqualität’Finanzierung von MiddlewareProjekten um Softwarelücken zu schliessenZusammenarbeit mit US NSF, EU-Projekten und AnderenUnterstützung durch große IT-FirmenSouthampton wurde als OMII Standort ausgewähltEntspräche im D-Grid Kontext einer Organisation, die sich der Pflege der Prototype-Grid Software widmet.
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 22
D-Grid-Initiative
Integrationsprojekt (DGI)German Astronomy Community Grid (GACG)Collaborative Climate Community Data and ProcessingGrid (C3-Grid) Grid Infrastructures for high Energy Physics (GridHEP)Innovative Grid Developments for engineeringApplicationsMediGridTextGrid
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 23
Ergänzende Funktionalitäten des Grids
Human Resource GridProjekte zur Unterstützung der Zusammenarbeit von Spezialisten
AccessgridAccessgrid basierte kooperative Anwendungen
Ontology Grids, Knowledge Grids
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 24
Human Resource Grid
“A Grid provides an abstraction for resource sharing and collaboration across multiple administrative domains…”(Source: NGG Expert Group, 16 June 2003 “European Grid Research 2005-2010)Charaktristiken eines Human Collaboration Grid
„Ressourcen“ sind hier Spezialisten unterschiedlicher Fachrichtungen und deren Know-howWeitere grid-basierte Ressourcen werden benötigt (Rechner, DB-Server, Scanner, …)Problemstellung ist nur durch Kooperation der Spezialisten behandelbarSpezialisten befinden sich an verschiedenen Standorten
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 25
Access Grid and Collaboration TechnologiesConnecting People and Applications via the Grid
Access Grid
Access Grid ⇒ Integrating Group to Group Collaboration and Visualization
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 26
Referenzen
Greg Riccard: Managing Scientific Information Making theInternet Work for Big Science, UK National e-ScienceCentre, http://www.nesc.ac.uk/presentations/. Oct 2002Tony Hey: The UK e-Science Initiative and Web Services: http://www.hellasgrid.gr/content/downloads/Hey.pdf
© 2006 ZAIK/RRZK
Diskussion und Arbeitsgruppenbildung
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 28
Arbeitsgruppenbildung
Vorbereitung von Folgeveranstaltungen zur Vertiefung der Kernthemen vorbereitenAwareness Creation & Easy Access
Breite Nutzerschaft für Grid Sensibilisieren
Erarbeitung zentraler Serviceangebote Mögliche Arbeitsgruppenthemen sind:
Bereitstellung von Grid-Grundinfrastruktur in installationsfähiger Form Bereitstellung zentraler Basisdienste Bereitstellung grid-fähiger Applikationspakete und AnwendungsworkflowsBereitstellen von Sicherheits- und NetzdienstenAufbau eines Kompetenz-Netzwerks zur Beratung und Unterstützung von Rechenzentren und Nutzern
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 29
Bereitstellung von Grid-Infrastruktur in installationsfähiger Form
Welche Grid-Middlewares sind geeignet? P2P-Basis? Zentrale Dienste? Ad-Hoc-Grids(aufbauen/abbauen, oder dauerhafte Installationen)? Wie können Middlewares weitestgehend vorkonfiguriert werden?
Dazu Anwendungsszenarien von RZen identifizieren.
Integration in existierende zentrale Infrastrukturen (sowohl Grid-Ebene als auch Basis-Ebene) Können Komponenten aus verschiedenen Quellen kombiniert werden? Welche Plattformen werden unterstützt(Linux/Unix, Windows, MacOS X; x86, x86_64, ia64, ppc, ...)?
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 30
Bereitstellung zentraler Basisdienste
Identifikation von Szenarien, welche zentralen Dienste werden benötigt? Inwieweit können P2P-Ansätze zentrale Dienste obsolet machen? Wer kann welche Dienste bereitstellen? Aufwandsabschätzung. Welche vorhandenen Dienste können genutzt werden?Verstetigung der Bereitstellung, auch über lange Zeiträume; Nachhaltigkeit. Bundeslandübergreifende Nutzung von Ressourcen?
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 31
Bereitstellung grid-fähiger Applikationspakete und Anwendungsworkflows
Wer hat bereits Applikationen grid-fähig gemacht?Identifikation fruchtbarer Anwendungsszenarien. Wie können Workflows einfach beschrieben/konstruiert werden? Welche Granularität ist sinnvoll? Können verschiedene Anwendungen gemeinsame Grundlagen nutzen? LizenzproblematikBereitstellung für Anwender: Webportal? Auf welcher Basis? Visualisierung
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 32
Aufbau eines Kompetenz-Netzwerks zur Beratung und Unterstützung von Rechenzentren und Nutzern
Kooperationsstruktur für (Grid-)Spezialisten etablieren:Einrichtung von Mailinglisten zu verschiedenen Themen, Archivierung, Suche. Aufbau von FAQs. Kollaborationstools: z. B. Wikis, Diskussionsforen, Access Grid;Erstellung eines Webportals.
Beratung und SchulungskonzepteThemenschwerpunkte identifizierenZielgruppen (stufenweiser Aufbau von Strukturen):
RZ-Mitarbeiter, Identifikation von Ansprechpartnern für zweite Zielgruppe
Anwender
Außenwirkung
Workshop DFN-Nutzergruppe e-Science, Kassel, 10.5.2006© 2006ZAIK/RRZK 33
Bereitstellung Netzwerk- und Sicherheitsinfrastruktur
Ist dies eigene Arbeitsgruppe oder Teil von Basis-Diensten?
Aufbau einer Authentication & Authorization InfrastructureEntwicklung von Sicherheitskonzept,
Identifizierung von Anforderungen von RZen lokal, Anforderungen auf Grid-Ebene
Ausstellung von Zertifikaten Identifikation geeigneter Software-Tools Unterschiede, Vorteile, Nachteile P2P- oder zentrale Ansätze Ad-Hoc-Mechanismen? Anforderungen an Netzwerk? Leistung, Firewalls, etc.