D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

D-Grid IaaSProjektvorstellung

Stefan Freitag, Marcel Risch

TU Dortmund, fluid Operations AG

24. Oktober 2011

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Ubersicht

1 Allgemeine Informationen

2 D-Grid IaaS

3 Schnittstellen zu D-Grid Diensten

4 Zusammenfassung

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Ausgangssituation

Sicherer, uniformer und einfacher Zugang zuRechenleistung und Speicherkapazitaten→ Grid Middlewares

D-Grid setzt seit Beginn auf Vielfalt

Compute: gLite, Globus Toolkit und UNICOREStorage: dCache, iRODS, OGSA-DAI und SRB

Cloud-Schnittstellen offerieren weitere Form desRessourcenzugangs

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Allgemeine Informationen

Fragestellung:

Wie positionieren sich Grid-Initiativen zum Thema Cloud?

Fokus: Bereitstellung von Rechenressourcen

Software-As-A-Service (SaaS)Entfernter Zugriff auf in einer Cloud betriebene Software

Platform-As-A-Service (PaaS)Kunden erhalten vom Anbieter eine Software-Plattformund entwickeln darauf eigene Dienste

Infrastructure-As-A-Service (IaaS)Bereitstellung von virtuellen Appliances

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Allgemeine Informationen

Fokus: Grid

Betrieb von Grid Middleware-Diensten in CloudsBereitstellung von Cloud-Diensten uber Grid MiddlewaresIntegration von Clouds in bestehende Grid-Infrastruktur

(a) Grid in Cloud (b) Cloud over Grid (c) Cloud and Grid

Fur Distributed Computing Infrastructures interessant: (c)

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

D-Grid IaaS

Fordergeber: BMBF

Forderprogramm: KMU-innovativ. Vorfahrt furSpitzenforschung im Mittelstand.

Projektpartner: fluid Operations AG und TU Dortmund

Laufzeit: 01.06.2010 bis 31.05.2012

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

D-Grid IaaS

Ziel

Erweiterung der D-Grid Basis fur eine kommerzielle Nutzung

. . . oder anders formuliert

Prototypische Einbringung einer Cloud Middleware in dasD-Grid

Erganzung der D-Grid Infrastrukturbasis um eine vierteMiddleware-Saule

Verbreiterung des Kundenspektrums

Verbesserung des bisherigen Angebots

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Schematische Ansicht einer D-Grid Ressource

(Virtualisierungsschicht optional)

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Cloudifizierte D-Grid Ressource

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Cloud Frontend

Realisiert durch den fluidOps eCloudManager

Vorstellung durch Marcel Risch

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Schnittstellen zu D-Grid Diensten

Einbindung einer neuen Middleware erfordert

Technisch: Ankopplung an die zentralen D-Grid DiensteOrganisatorisch: Integration in das Betriebskonzept

Cloud Computing im Kontext des D-Grid, Open IssuesSession, D-Grid All-Hands-Meeting 2010

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Schnittstellen zu D-Grid Diensten

D-MON (http://d-mon.d-grid.de/gridsphere/gridsphere)

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Schnittstellen zu D-Grid Diensten

D-MON

Integration eines GLUE 2.0-kompatiblenInformationssystems in eCM

Zugehoriger Adapter online verfugbar

So good news! It worked out of the box! It’s notvisible from the d-mon.d-grid.de because the VOfunctions use GRRS to attach resources to VOs.

(Emmanouil Paisios)

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Schnittstellen zu D-Grid Diensten

D-MON, GLUE 2.0-Ausgabe

1 <Comput ingServ i ce Creat ionTime=” . . . ><ID>ht tp ://129 .217 .162 .11 </ ID>

3 <Capab i l i t y>execut ionmanagement . j o b e x e cu t i o n </Cap a b i l i t y>

<Tota lJobs>56</Tota lJobs>5 <RunningJobs>56</RunningJobs>

. . .7 <ComputingManager BaseType=”Manager”>

<Name>f l u i dOp s eCloudManager</Name>9 <ProductName>f l u i dOp s eCloudManager</ProductName>

<ProductVer s i on >4.0.0.672</ ProductVer s i on>11 . . .

<Tota lPhys ica lCPUs >204</Tota lPhys ica lCPUs>13 <Tota lLog ica lCPUs>204</Tota lLog ica lCPUs>

</ComputingManager>15 </Comput ingServ ice>

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Schnittstellen zu D-Grid Diensten

Nutzerverwaltung

Einsatz des dgridmap-Skripts zum Bezug derNutzerinformationen

Alternative Idee: VOMRS SOAP-Client

Integration der dgridmap-Informationen in dieeCM-Nutzerverwaltung

Eindeutige Abbildung der NutzerDerzeit keine Unterstutzung des VO-Konzepts

Moglichkeit zur Registrierung D-Grid-fremder Nutzer

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Schnittstellen zu D-Grid Diensten

Nutzerverwaltung

Abbildung: In den eCloudManager eingefugte D-Grid VO-Mitglieder

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Schnittstellen zu D-Grid Diensten

DGAS EE (http://www.rrzn.uni-hannover.de/d-grid_accounting.html)

Potentieller Nachfolger von DGAS

Einsatz von OGF Usage Records

Erweiterung durch den eCloudManagerSensor

Implementierung zweier Komponenten

URCollector: Einsammeln der Usage RecordsATMClient: Transfer an Accounting Server

APEL

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Schnittstellen zu D-Grid Diensten

URCollector(gekurzte) Darstellung der eCM-Accounting Informationen

1 Name : ac3f4432−d953−4f62−7533−43 ab f73753 f3 ;

3 From : Tue Ju l 19 12 : 44 : 25 CEST 2011 ;To :Wed Ju l 27 11 : 30 : 47 CEST 2011 ;

5Cos t s : [ 1311072265749=0.0 ] , [ 1311072289336=1.5 ] ,

7 [1311754541842=0.0 ] , [ 1311759047996=0.0 ] ;

9 Power Changes : [ Tue Ju l 19 12 : 44 : 49 CEST 2011 ] ,[Wed Ju l 27 10 : 15 : 41 CEST 2011 ] ;

11S e l f s e r v i c e type : EC2 ;

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Zusammenfassung

Zusammenspiel von Grid und Cloud in DCI durchausinteressant

Identifikation der Schnittstellen am Beispiel D-Grid

Prototypische Umsetzung anhand einer kommerziellenCloud Middleware

Was ware moglich?

Angebot zum Deployment von Diensten

Bereitstellung von zertifizierten Appliances fur VOs

. . .

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Fragen?

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Monitoring

Offener Punkt

Integration in die Nagios-basierte Monitoring-Infrastruktur

HTTP-Check fur die Erreichbarkeit desInformationssystems

HTTP(S)-Check fur die Erreichbarkeit des User Interface(Self-service Portals)

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Ressourcenverwaltung

Offener Punkt

Integration in den D-Grid GRRS

Hinzufugen eines neuen Ressourcen-Typs

Abhangigkeit zwischen GRRS und D-MON

Kontaktaufnahme mit dem FZJ

Was man beim Anmelden einer solchen Ressourceeinsammeln mußte? [...] Neben einer Beschreibung,dem Administrator, admin und support mailinglistennur noch den Endpunkt in Form einer URL. [...] Esgeht [...] darum die Machbarkeit einer solchenIntegration zu zeigen.

(Stefan Freitag)

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Interaktion mit dem Batchsystem

WN des LRMS laufen als Appliances auf der physischenHardware

Physische Hardware kann auch durch Cloud-Nutzer inAnspruch genommen werden

→ Konkurrenz-Situation→ Partitionierung der physischen Ressourcen

D-Grid IaaS

Risch, Freitag

AllgemeineInformationen

D-Grid IaaS

Schnittstellenzu D-Grid

Interaktion mit dem Batchsystem

Dynamische Gestaltung der Partitionsgroße

Agent uberwacht die Auslastung des LRMS anhand derAnzahl wartender Jobs und freier Knoten

Freie Ressourcen des LRMS konnen bei Bedarf regelbasiertin die Cloud-Partition wandern

Der umgekehrte Fall ist ebenso moglich

Kein Abbrechen von Jobs im LRMS

Die WNs laufen leer und werden anschließendheruntergefahren