Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle

S. Freitag

DGRZR

OpenNebulaam DGRZR

Grid undCloud amDGRZR

CloudComputingund D-Grid

Erweiterung einer D-Grid Ressource um eineCompute Cloud Schnittstelle

3. DFN-Forum 2010 KommunikationstechnologienVerteilte Systeme im Wissenschaftsbereich

Stefan Freitag

Institut fur RoboterforschungTechnische Universitat Dortmund

26. Mai 2010

S. Freitag

DGRZR

OpenNebulaam DGRZR



1 D-Grid Resourcen Zentrum Ruhr

2 OpenNebula am DGRZR

3 Grid und Cloud am DGRZR

4 Cloud Computing und D-Grid

S. Freitag

DGRZR

OpenNebulaam DGRZR



Hardware

256 Blades, je 8 Cores, 16 GByte RAM

SLES 10 SP3 mit Xen 3.2 Kernel

100 TByte Massenspeicher sowie 25 TByte SFS 3.1(Lustre 1.6)

D-Grid und LCG Ressource seit April 2008

S. Freitag

DGRZR

OpenNebulaam DGRZR



Dienste

Starke Anlehnung an die D-Grid Referenz-Installation1

Drei Compute Middlewares

gLite 3.1 (lcg-CE) und 3.2 (CREAM-CE, BDII)UNICORE 5 und 6Globus Toolkit 4.0.8 (in Vorbereitung GT 5)

Zwei Storage Middlewares

dCache 1.9.5OGSA-DAI WSRF 2.2

Zusatzlich

LDAPMySQL DB fur OGSA-DAI

Alle Dienste laufen in Xen VMs. Derzeit Evaluation von Xen4.0.

1http://dgiref.d-grid.de/wiki/Introduction

http://dgiref.d-grid.de/wiki/Introduction

S. Freitag

DGRZR

OpenNebulaam DGRZR



Compute Middlewares – Schichtenansicht

VSiteUNICORE

CEgLite

GRAMWS

Batchsystem Server

Worker Nodes

Platform Virtualization

Globus Toolkit

Torque & Maui

S. Freitag

DGRZR

OpenNebulaam DGRZR



Durchgefuhrte Erweiterung – Schichtenansicht

VSiteUNICORE

CEgLite

GRAMWS

Torque & MAUI

Worker Nodes

Platform Virtualization

Globus Toolkit

OpenNebula

Batchsystem Server

S. Freitag

DGRZR

OpenNebulaam DGRZR



OpenNebula

Auszug aus der Beschreibung (http://www.opennebula.org)

Standard-based open-source toolkit to build private, publicand hybrid clouds. The toolkit provides flexiblearchitecture, interfaces and components that fit into anyexisting data center.

Key features der Version 1.4

Unterstutzung fur Xen, KVM und VMwareZugang zu Amazon EC2 und ElasticHostslibvirt, EC2 Query API und OCCI Schnittstellen

Analog zu Eucalyptus: Unternehmensgrundung (C12G Labs)zur Bereistellung von value-added enterprise-solutions undcommercial support

http://www.opennebula.org

S. Freitag

DGRZR

OpenNebulaam DGRZR



OpenNebula am DGRZR

Angepasster ONE 1.4 GIT Snapshot (Marz 2010)

Einbindung physischer Partitionen in Worker Nodesfile statt tap:aio aufgrund Xen Bug

Xen Infrastructure und SSH Transfer

Abbilder/ Templates fur SL 5.4 Worker Nodes

In Vorbereitung u. a. gLite CREAM-CE, siteBDII

Nutzerinteraktion mit ONE via CLI und ONE MC

Unterstutzung von OCCI via HTTPS

S. Freitag

DGRZR

OpenNebulaam DGRZR



Executions Hosts

S. Freitag

DGRZR

OpenNebulaam DGRZR



Virtuelle Netzwerke

S. Freitag

DGRZR

OpenNebulaam DGRZR



Virtuelle Maschinen

S. Freitag

DGRZR

OpenNebulaam DGRZR



Worker Node Template

NAME = udo−wn300VCPU = 8MEMORY = 13312

OS = [ boo t l o a d e r = ”/ roo t / b in /domUloader . py” ]

DISK = [ sou r c e = <path>/wn s l 54 x86 64 . img ” ,t a r g e t = ”xvda ” , r e a don l y = ”no” ]

DISK = [ type = swap , s i z e = 1024 ,t a r g e t = ”xvdb ” , r e a don l y = ”no”

]DISK = [ type = ” b l o ck ” , c l o n e = ” yes ” ,

s ou r c e = ”/ dev/ c c i s s / c0d0p4 ” ,t a r g e t = ” xvdc ” , r e a don l y = ”no”

]NIC = [ NETWORK = ”DGRZRWorkernodes ” ,

IP = 129 . 217 . 242 . 166]

S. Freitag

DGRZR

OpenNebulaam DGRZR



Szenario 1: Private Cloud

Deployment von Grid Worker Nodes mittels ONE

Homogen (derzeit im Einsatz)

Heterogen (bereits in small scale getestet 2)

Annahme: VO Anforderungen sind durch VO-spezifischeWorker Nodes erfullbar1:1 Abbildung von Worker Node Typen auf LRMS QueuesUberprufung der Fullstands jeder QueueLeere Queue → Reduktion der zugewiesenen Worker NodesVergabe der freigewordenen Ressourcen an andere(overcrowded) Queues

2B. Konrad: Dynamic management of VMs on HPC resources of TUDortmund (Diplomarbeit, 2009)

S. Freitag

DGRZR

OpenNebulaam DGRZR



Szenario 2: Public Cloud

Hauptunterschied zu Szenario 1

Zugriff auf Cloudschnittstellen fur externe Nutzer

Verwaltung von VLANs 3, VMs und VStorage

Spaltung der physischen Ressourcen in Cloud & Grid Partition

Dynamische Anderung der Partitionsgroße

Verdrangung (Suspendierung) von z. B. VMs

Welche VM sind anzuhalten? → Priorisierung

Job Typ: simple batch jobs, MPI jobs, servicesKundenstatus: z. B. Normal, Premium und Platin

3VLANS != ONE virtual networks

S. Freitag

DGRZR

OpenNebulaam DGRZR



Integration in D-Grid

Ein Ziel von D-Grid (Quelle: Wikipedia)

Create sustainable & longterm Grid infrastructure in Germany

→ D-Grid ist fokussiert auf Grid Nutzung. Was ist mit Clouds?

Cloud Schnittstellen erlauben einen neuen und einfacherenZugang zu entfernten Ressourcen

Offene Probleme fur eine mogliche Integration in D-Grid

NutzerverwaltungAutorisationAccounting/ BillingMonitoringInformationssystem

S. Freitag

DGRZR

OpenNebulaam DGRZR



Ausblick

DGRZR

Kontextualisierung

Zugriff uber OCCI fur externe Nutzer

Ausweitung der Cloud uber die UAMR

D-Grid

Erweiterung des D-Grid Portfolio um IaaS

Protoypische Integration neuer Technologien

KMUinnovativ Projekt”D-Grid IaaS“(Start: 01.06.2010)

Technology

Erweiterung einer D-Grid-Ressource um eine Compute-Cloud-Schnittstelle