S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
Erweiterung einer D-Grid Ressource um eineCompute Cloud Schnittstelle
3. DFN-Forum 2010 KommunikationstechnologienVerteilte Systeme im Wissenschaftsbereich
Stefan Freitag
Institut fur RoboterforschungTechnische Universitat Dortmund
26. Mai 2010
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
1 D-Grid Resourcen Zentrum Ruhr
2 OpenNebula am DGRZR
3 Grid und Cloud am DGRZR
4 Cloud Computing und D-Grid
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
Hardware
256 Blades, je 8 Cores, 16 GByte RAM
SLES 10 SP3 mit Xen 3.2 Kernel
100 TByte Massenspeicher sowie 25 TByte SFS 3.1(Lustre 1.6)
D-Grid und LCG Ressource seit April 2008
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
Dienste
Starke Anlehnung an die D-Grid Referenz-Installation1
Drei Compute Middlewares
gLite 3.1 (lcg-CE) und 3.2 (CREAM-CE, BDII)UNICORE 5 und 6Globus Toolkit 4.0.8 (in Vorbereitung GT 5)
Zwei Storage Middlewares
dCache 1.9.5OGSA-DAI WSRF 2.2
Zusatzlich
LDAPMySQL DB fur OGSA-DAI
Alle Dienste laufen in Xen VMs. Derzeit Evaluation von Xen4.0.
1http://dgiref.d-grid.de/wiki/Introduction
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
Compute Middlewares – Schichtenansicht
VSiteUNICORE
CEgLite
GRAMWS
Batchsystem Server
Worker Nodes
Platform Virtualization
Globus Toolkit
Torque & Maui
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
Durchgefuhrte Erweiterung – Schichtenansicht
VSiteUNICORE
CEgLite
GRAMWS
Torque & MAUI
Worker Nodes
Platform Virtualization
Globus Toolkit
OpenNebula
Batchsystem Server
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
OpenNebula
Auszug aus der Beschreibung (http://www.opennebula.org)
Standard-based open-source toolkit to build private, publicand hybrid clouds. The toolkit provides flexiblearchitecture, interfaces and components that fit into anyexisting data center.
Key features der Version 1.4
Unterstutzung fur Xen, KVM und VMwareZugang zu Amazon EC2 und ElasticHostslibvirt, EC2 Query API und OCCI Schnittstellen
Analog zu Eucalyptus: Unternehmensgrundung (C12G Labs)zur Bereistellung von value-added enterprise-solutions undcommercial support
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
OpenNebula am DGRZR
Angepasster ONE 1.4 GIT Snapshot (Marz 2010)
Einbindung physischer Partitionen in Worker Nodesfile statt tap:aio aufgrund Xen Bug
Xen Infrastructure und SSH Transfer
Abbilder/ Templates fur SL 5.4 Worker Nodes
In Vorbereitung u. a. gLite CREAM-CE, siteBDII
Nutzerinteraktion mit ONE via CLI und ONE MC
Unterstutzung von OCCI via HTTPS
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
Executions Hosts
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
Virtuelle Netzwerke
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
Virtuelle Maschinen
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
Worker Node Template
NAME = udo−wn300VCPU = 8MEMORY = 13312
OS = [ boo t l o a d e r = ”/ roo t / b in /domUloader . py” ]
DISK = [ sou r c e = <path>/wn s l 54 x86 64 . img ” ,t a r g e t = ”xvda ” , r e a don l y = ”no” ]
DISK = [ type = swap , s i z e = 1024 ,t a r g e t = ”xvdb ” , r e a don l y = ”no”
]DISK = [ type = ” b l o ck ” , c l o n e = ” yes ” ,
s ou r c e = ”/ dev/ c c i s s / c0d0p4 ” ,t a r g e t = ” xvdc ” , r e a don l y = ”no”
]NIC = [ NETWORK = ”DGRZRWorkernodes ” ,
IP = 129 . 217 . 242 . 166]
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
Szenario 1: Private Cloud
Deployment von Grid Worker Nodes mittels ONE
Homogen (derzeit im Einsatz)
Heterogen (bereits in small scale getestet 2)
Annahme: VO Anforderungen sind durch VO-spezifischeWorker Nodes erfullbar1:1 Abbildung von Worker Node Typen auf LRMS QueuesUberprufung der Fullstands jeder QueueLeere Queue → Reduktion der zugewiesenen Worker NodesVergabe der freigewordenen Ressourcen an andere(overcrowded) Queues
2B. Konrad: Dynamic management of VMs on HPC resources of TUDortmund (Diplomarbeit, 2009)
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
Szenario 2: Public Cloud
Hauptunterschied zu Szenario 1
Zugriff auf Cloudschnittstellen fur externe Nutzer
Verwaltung von VLANs 3, VMs und VStorage
Spaltung der physischen Ressourcen in Cloud & Grid Partition
Dynamische Anderung der Partitionsgroße
Verdrangung (Suspendierung) von z. B. VMs
Welche VM sind anzuhalten? → Priorisierung
Job Typ: simple batch jobs, MPI jobs, servicesKundenstatus: z. B. Normal, Premium und Platin
3VLANS != ONE virtual networks
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
Integration in D-Grid
Ein Ziel von D-Grid (Quelle: Wikipedia)
Create sustainable & longterm Grid infrastructure in Germany
→ D-Grid ist fokussiert auf Grid Nutzung. Was ist mit Clouds?
Cloud Schnittstellen erlauben einen neuen und einfacherenZugang zu entfernten Ressourcen
Offene Probleme fur eine mogliche Integration in D-Grid
NutzerverwaltungAutorisationAccounting/ BillingMonitoringInformationssystem
S. Freitag
DGRZR
OpenNebulaam DGRZR
Grid undCloud amDGRZR
CloudComputingund D-Grid
Ausblick
DGRZR
Kontextualisierung
Zugriff uber OCCI fur externe Nutzer
Ausweitung der Cloud uber die UAMR
D-Grid
Erweiterung des D-Grid Portfolio um IaaS
Protoypische Integration neuer Technologien
KMUinnovativ Projekt”D-Grid IaaS“(Start: 01.06.2010)