Managen von OVM Server SPARC mit der Command Line, dem VM Manager, OpsCenter oder VDCF?

Roman Gächter

Trivadis AG CH-8152 Glattbrugg

Schlüsselworte Management von OVM Server SPARC, welches Tool verwende ich? Mit den neuen Versionen von VM Manager kann ich auch meine LDoms damit managen. Was verwende ich denn jetzt? Die gute alte Command Line "ldm", den VM Manager, Enterprise Manager / OpsCenter oder VDCF von Jomasoft? Kann ich mehrere Tools gleichzeitig einsetzen? In einer Entwicklungs- und Test-Umgebung konnten diese Tools ausführlich getestet und verglichen werden. Ausgangslage Wir haben zwei SPARC T4 Server in unserer Entwicklungs- und Testumgebung. Auf den Servern waren bereits LDoms mit Solaris Zonen aufgesetzt. Geplant war nun das Management von Solaris, OVM Server SPARC und Solaris Zonen mit den Produkten VM Manager, OpsCenter und VDCF von Jomasoft zu testen. Die bestehende LDom Konfiguration sollte möglichst schmerzfrei übernommen werden können. Unsere Umgebung ist so aufgesetzt, dass einzelne Zonen auf eine andere T4 HW geschwenkt werden können. Die Rpool’s der Zonen befinden sich auf SAN Lun’s. Abbildung 1 zeigt die Ausgangslage

Abbildung 1 Ausgangslage Kriterien für die Bewertung der Tools Wir haben die folgenden für uns wichtigen Kriterien definiert um die 3 Tools gegenüberstellen zu können:

• Support unserer Architektur mit aktuellen Versionen von Solaris und OVM Server • Schmerzfreie Übernahme unserer bestehenden Konfiguration • HW Monitoring der SPARC T4 Systeme • Konfigurationsmanagement des SPARC Hypervisors • Konfigurationsmanagement von Solaris Zonen • Optimale Unterstützung des Netzwerkstacks im Hypervisor und in Solaris • Provisioning von Solaris und Solaris Zonen • Solaris Updates / Patching • Migration von Zonen / LDoms von einer HW auf die andere • Monitoring von LDoms, Zonen und Solaris • Einfaches Setup und Bedienbarkeit der Tools

VM Manager Kurzbeschreibung des Produktes: Oracle VM stellt eine Virtualisierungs-Plattform für X86 und SPARC HW zur Verfügung. Über ein graphisches UI und CLI kann die Plattform ohne tiefere Kenntnis der darunterliegenden Virtualisierungs-Technologie verwaltet werden. Die Abbildung 2 zeigt das Konzept von OVM Server / Manger.

Abbildung 2 Erster Eindruck: Wie wir befürchtet hatten konnten wir die bestehende LDOM Konfiguration nicht übernehmen. Der VM Manager benötigt eine „factory default“ VM Server Konfiguration. Auch bezüglich des Netzwerk Setups muss man bei null beginnen.

Der VM Manager hat im Moment noch Einschränkungen auf den SPARC Plattformen. Ein OVM Server Cluster auf X86 baut auf OCFS2 Cluster Filesystem auf, diese Komponente fehlt auf der SPARC Plattform. Since OCFS2 is not available on SPARC, iSCSI and Fibre Channel disks cannot be used to host a repository accessible to SPARC-based Oracle VM Servers. For SPARC-based servers you should always use an NFS server share to host a repository. Man kann ein lokales Repository mit SAN LUN’s verwenden aber nicht in einer Cluster Konfiguration. A repository can also be created on a local storage disk, with the exception that the data within such a repository would only be available to virtual machines running on the Oracle VM Server to which the disk is attached. For SPARC-based servers, ZFS and SAS disks are treated as local storage disk. Installation: Wir haben den VM Manager auf einem Oracle Linux 6.6 installiert. Mit dem mitgelieferten Installer ist das einfach durchzuführen. Auf den Controller LDoms wurde ein VM Manager Agent installiert. Konfiguration: Hier müssen die Schritte „Discovery der OVM Server“, „Konfiguration der Storage“ und „Setup der Server Repositories“ durchgeführt werden. Unsere Tests: „Live Migrations“ von LDoms, mit Storage auf NFS Repositories funktionieren. Das Anhängen von lokalen oder virtuellen Disks lässt sich ohne Probleme durchführen. Der Netzwerkstack von Solaris ist gut integriert. In Abbildung 3 sehen wir das Bilden einer Link Aggregation. Bündeln von NIC’s wird im OVM Manager auch für Solaris wie auf Linux Systemen als Bond bezeichnet.

Abbildung 3 Die Installation von „Guest LDoms“ mit Templates klappt reibungslos. Beim Klonen von LDoms muss man leider die „Source LDom“ runter fahren. Limitationen: Der VM Manager ist für den SPARC Hypervisor noch nicht ausgereift. Es gibt noch zu viele Limitationen: Solaris Zonen kennt er gar nicht. SAN Storage für Cluster ist nicht unterstützt. Es gibt keine Möglichkeit alternative MAC’s auf der Controller Domain zu konfigurieren, welche dann später für VNIC’s von Zonen genutzt werden können. Die Snapshot Technologien von ZFS werden nicht genutzt, sodass es notwendig ist LDoms beim Klonen zu stoppen. In der folgenden Tabelle haben wir die Resultate von VM Manager hinsichtlich unserer Kriterien eingetragen: Resultate von VM Manager Support unserer Architektur mit aktuellen Versionen von Solaris und OVM Server

Solaris 11.2 mit OVM Server 3.x sind unterstützt

+++

Schmerzfreie Übernahme unserer Bestehenden Konfiguration

LDOM und Netzwerkkonfigurationen gehen verloren

---

HW Monitoring der SPARC T4 Systeme nein --- Konfigurationsmanagement des SPARC Hypervisors

ja ++

Konfigurationsmanagement von Solaris Zonen Zonen werden nicht erkannt --- Optimale Unterstützung des Netzwerkstacks im Hypervisor und in Solaris

Linkaggregation ok, sind VNIC’s unterstützt?

Provisioning von Solaris und Solaris Zonen Über Templates? Solaris Updates / Patching nein Migration von Zonen / LDoms von einer HW auf die andere

Ja, mit NFS, im SAN ????

Monitoring von LDoms, Zonen und Solaris LDoms und Solaris ja?? Einfaches Setup und Bedienbarkeit der Tools Relativ einfach OpsCenter Kurzbeschreibung des Produktes: OpsCenter ist ein strategisches Produkt für Oracle und Bestandteil der Management SW für die diversen „Engineered Systems“. Oracle empfiehlt OpsCenter auch um Oracle-Server HW, die hauseigenen Betriebssysteme und die eigenen Virtualisierungstechnologien zu überwachen. Mit dem Oracle Premium Support sind die Nutzung, der Support und die Wartung von OpsCenter ohne Zusatzkosten inbegriffen. Das Einsatzgebiet von OpsCenter ist aus der Abbildung 4 ersichtlich.

Abbildung 4 Die Abbildung 5 zeigt die relativ komplexe Architektur. Es sind diverse Server Komponenten zu installieren. Auf den zu überwachenden Komponenten müssen Agenten installiert werden. Bestandteil ist auch ein lokales Solaris Package Repository.

Abbildung 5 Erster Eindruck: OpsCenter 12c Release 4 (Juni 2015) ist mit der neusten Version von OVM (3.3, Stand September 2015) nicht kompatibel. Die Liste der kompatiblen Systeme gemäß Oracle sind:

• Oracle VM Server for SPARC 3.2 • Oracle Virtual Machine for X86 v3.0.x, 3.1.x and 3.2.x

Quelle: https://docs.oracle.com/cd/E59957_01/doc.123/e59961/toc.htm#OPCCM127 Dies scheint uns ein Nachteil zu sein, da nicht mit der aktuellsten Version von OVM getestet werden konnte. Installation und Konfiguration: Das Setup ist sehr gut gemacht. Es gibt Skripts um die Requirements zu überprüfen und das Setup durchzuführen. Das Web UI von OpsCenter ist gut, das Konzept von Profiles und Policies manchmal etwas unübersichtlich und kompliziert. Die Fehlermeldungen sind nicht leicht verständlich, Abbildung 6 zeigt ein solches Beispiel:

Abbildung 6 Es wurde versucht ein Agent auf Solaris 11 zu installieren. Die Installation schlug fehl, da der Benutzer zu wenige Berechtigungen hatte. Dies ist nicht ersichtlich. Unsere Tests: Das HW Monitoring ist toll gemacht. Man bindet die ILOM’s der Server ein hat danach den vollen Durchblick. Die Abbildung 7 zeigt die Komponente Navigation eines SPARC T4 Systems.

Abbildung 7 Die Abbildung 8 zeigt das Beispiel eines System Status und die Firmware Version eines T4 Servers.

Abbildung 8 Abbildung 9 zeigt die Graphiken für den Stromverbrauch und die Temperatur eines T4 Systems an.

Abbildung 9 Auch für das Monitoring von Solaris sind zahlreiche Policies vorhanden. Abbildung 10 zeigt die Policies einer Solaris 11 Global Zone.

Abbildung 10 Solaris Zone Provisioning & Update Einfach zu machen mit OpsCenter. Bedingt, dass der Agent auf der globalen Zone installiert ist. Die generierten Datasets sind auf dem System allerdings nur schwer den einzelnen Zonen zuzuweisen, da die Pfade generiert werden. root@opsvm1:~# zoneadm list -cv ID NAME STATUS PATH BRAND IP 0 global running / solaris shared - opsZ2-migrated unavailable /var/mnt/oc-zpools/a205877f-59e4-47f3-8b39-ee1c3bc14608/3e52240f-df9a-4035-903b-0c334cb8e110 solaris excl Das Update von Solaris über OpsCenter ist möglich. Ebenfalls kann bestimmt werden ob ein Boot Environment erzeugt wird oder nicht. Abbildung 11, zeigt das GUI für Solaris Updates.

Abbildung 11 Nach dem Update funktionierte der OS Agent laut OpsCenter nicht mehr. Der Agent auf dem Server listet die Connection allerdings auf: # sc-console list-connections scn-agent https://172.16.64.14:21165 urn:scn:clregid:9bc68cd1-b118-4820-b166-af395b41e666:20150923123445879 (Problem noch nicht gelöst auch nach Neuinstallation des Agents). Solaris Zone Migrieren: Um eine Solaris Zone Migrieren zu können, müssen die Zpools der Zonen auf „shared Storage“ liegen. Um dies beim Deployen der Zone auswählen zu können, muss der Server in einem Server Pool sein, der mit dem „shared Storage“ verbunden ist. Dies ist aus dem Wizard nicht ersichtlich. Die Migration verlief Problemlos, dauerte jedoch 20 Minuten. 09/28/2015 03:26:12 PM CEST INFO Waiting for opsZ2 to complete shutdown (72063) 09/28/2015 03:37:42 PM CEST INFO Zone opsZ2 forcibly shutdown (72065)

Interaktion von OpsCenter und VM Manager: OpsCenter und VM Manager können zusammen verwendet werden. Die Tasks die in jeweils einem UI gemacht werden, sind dann ebenfalls im anderen ersichtlich. Falls eine Operation auf einem Objekt ausgeführt werden will, dass gerade verwendet wird, erscheint eine Meldung, dass dies nicht möglich ist.

Abbildung 12 zeigt einen Lock zwischen OpsCenter und VM Manager

Abbildung 12 In der folgenden Tabelle haben wir die Resultate von OpsCenter hinsichtlich unserer Kriterien eingetragen: Resultate von OpsCenter Support unserer Architektur mit aktuellen Versionen von Solaris und OVM Server

Nein, OVM wird max. in der Version 3.2.X unterstützt

Schmerzfreie Übernahme unserer Bestehenden Konfiguration

Ja

HW Monitoring der SPARC T4 Systeme ja Konfigurationsmanagement des SPARC Hypervisors

Konfigurationsmanagement von Solaris Zonen Ja, Logins, Netzwerk Optimale Unterstützung des Netzwerkstacks im Hypervisor und in Solaris

Provisioning von Solaris und Solaris Zonen Ja, bei VMs auf x86 ohne Provisioning Solaris Updates / Patching Ja Migration von Zonen / LDoms von einer HW auf die andere

Zonen: Ja, LDOMS:

Monitoring von LDoms, Zonen und Solaris Ja Einfaches Setup und Bedienbarkeit der Tools Ja, UI eher kompliziert VDCF Kurzbeschreibung: Das kommerzielle Produkt VDCF (Virtual Datacenter Control Framework) von der Firma Jomasoft stellt ein Framework für Solaris und die SPARC Virtualisierungs-Technologien zur Verfügung. Unterstützt werden die Installation, das Management, das Monitoring und DR von Solaris 10/11, sowie Virtualisierung mittels LDoms und Solaris Zonen. Die Abbildung 13 zeigt die Übersicht von VDCF.

Abbildung 13 Erster Eindruck: Es handelt sich um ein kommerzielles Produkt mit einer kostenlosen „Free“ Version. Die „Free“ Version ist auf 5 Nodes beschränkt, eignet sich jedoch gut um einen ersten Eindruck des Produktes zu erhalten. Es gibt kein GUI aber ein top Command Line Interface, welches kaum Wünsche offen lässt. Die Architektur ist einfach gehalten. Man benötigt einen VDCF Management Server, lauffähig auf Solaris X86 oder SPARC. Es werden keine Agenten benötigt. Die zu managenden Komponenten werden über SSH angesprochen. VDCF Proxy Server können bei Bedarf eingesetzt werden. Installation: Die Installation gestaltet sich einfach. Die SW wird in Form von Solaris Paketen ausgeliefert und lässt sich über den Solaris Package Manger installieren. Man startet mit einer zentralen Konfigurationsdatei. Nachdem man SSH Keys auf den Controller Domains installiert hat und RBAC konfiguriert ist kann man auch schon mit dem Setup loslegen. Übernahme unserer Umgebung: Im Gegensatz zum VM Manager kann VDCF problemlos eine bestehende LDom Konfiguration übernehmen. Es gibt eine entsprechende Discovery Funktion. nodecfg -c discover nonroot hostname=germany.ttc.trivadis.com name=germany add Sehr nützlich ist auch die Funktion bestimmte SAN LUN’s der Controller LDoms für andere Zwecke zu reservieren wenn man diese nicht mit VDCF kontrollieren will.

diskadm -c show diskadm -c mark name=60002AC0000000000000006B0000D140 foreign IPS: Wir hatten bereits im OpsCenter ein IPS Repository. Mit wenigen Befehlen konnten wir einen AI Installations-Service für VDCF aufsetzen. ipsadm -c show_repo ipsadm -c show_build ipsadm -c create_service patchlevel=2.14 platform=sparc \ name=sparc_214 ipsadm -c create_build name=sparc_214 patchlevel=2.14 \ service=sparc_214 Deployment von LDoms und Zonen: Deployments von LDoms sind mit ein paar wenigen „gdom“ Commands möglich. Am Schluss wird mit dem „node –c enable_install“ die Installation über den AI Service angestossen. gdom -c create name=davos cdom=switzerland cores=2 ram=4G \ comment="Davos LDOM“ diskadm -c mark name=60002AC0000000000000006E0000D140 useable gdom -c adddisk name=davos type=root guids=60002AC0000000000000006E0000d140 gdom -c addnet name=davos ipaddr=davos.ttc.trivadis.com \ netmask=255.255.254.0 gdom -c commit name=davos node -c enable_install name=davos build=sparc_t4_2 Ähnlich einfach gestaltet sich das Deployment von Zonen. Hier kommt der Command „vserver“ zum Zuge. Auch das Zuweisen eines ZFS Rpools aus dem SAN ist mit dem „dataset“ Command schnell gemacht. vserver -c create name=owl node=bern vserver -c addnet name=owl type=managment \ ipaddr=owl.ttc.trivadis.com stack=exclusive dataset -c create name=rpool vserver=owl \ layout=60002AC0000000000000006C0000D140d0 vserver -c addfs type=root name=owl vserver -c commit name=owl server -c boot name=owl

Migrationen von Zonen und LDoms: Die Migration von Zonen und LDoms auf andere HW läuft ebenfalls problemlos. Praktisch sind hier die Option „candidates“ bei den „gdom“ und „vserver“ Commands, welche anzeigen, ob es überhaupt entsprechende Ressourcen und Konfigurationen auf der anderen HW gibt. cdom -c show gdom -c show gdom -c show name=bern candidates gdom -c migrate name=bern cdom=germany node -c show gdom -c show vserver -c show name=raven candidates vserver -c migrate name=raven node=davos Monitoring: HW Monitoring ist mit dem „hwmon“ realisiert. Die wichtigsten Daten lassen sich anzeigen. Man muss dazu das ILOM der HW einbinden. hwmon -c show Current Hardware State Node Model Console Soft State HW State Last Change Last Update Monitoring germany ORCL,SPARC-T4-1 ILOM OS-RUN OK 2015-10-21 15:03:39 2015-10-21 15:03:39 ON switzerland ORCL,SPARC-T4-1 ILOM OS-RUN OK 2015-10-21 15:03:39 2015-10-21 15:03:39 ON Es gibt auch eine Funktion „osmon“ um die wichtigsten Parameter des Solaris OS zu monitoren. osmon -c show_fs [ over=<percent> ] [ summary ] [ root ] osmon -c show_smf [ state="state1,state2,state3" ] [ search=<smf name> ] [ server=<server name> ] [ summary ] osmon -c show_dataset [ over=<percent> ] [ summary ] [ root | dataset ] osmon -c show_server server=<server name> [ all ] osmon -c summary [ server=<server name> ]

[ dataset|fs|smf ] osmon -c show No critical osmon data found Die Funktion „rcmon“ ermöglicht das Monitoring von Ressourcen. rcmon -c show server=bern cpu hourly rcmon -c show server=davos memory daily rcmon -c summary node=davos rcmon -c summary vserver=raven In der folgenden Tabelle haben wir die Resultate von VDCF hinsichtlich unserer Kriterien eingetragen:

Fazit: Das OpsCenter wäre für HW- und OS-Monitoring nützlich – leider ist das Produkt nicht kompatibel mit den aktuellen Versionen von OVM, was die Installation auf einer Primären- oder IO-LDom quasi ausschließt. Die Funktionalität, welche über das HW-Monitoring hinaus geht ist nicht so toll. Der VM Manager ist noch nicht reif für den Einsatz für die SPARC Plattform. Blind für den Virtualisierungslayer Zone und ermöglicht keine Migration von LDoms mit Storage auf SAN.

Von den untersuchten Tools überzeugte uns nur VDCF. Das Tool punktet bei allen unseren Bewertungskriterien. Kontaktadresse: Roman Gächter Trivadis AG Europastrasse 5 Tel: +41-44-8087020 CH-8152 Glattbrugg Fax: +41-44-8087021