1

LDom Performance optimieren

Marcel Hofstetter

hofstetter@jomasoft.ch

Mitgründer, Geschäftsführer, Enterprise ConsultantJomaSoft GmbH

2

Inhalt

Wer ist JomaSoft?

SPARC LDom Technologie

Virtuelle Devices / Live Migration

Virtual Functions (VF)

DIO und I/O Domains

Generelle Performance Empfehlungen

VDCF: Management und Deployment Tool

3

Wer ist JomaSoft?

Software Unternehmen gegründet im Juli 2000

Spezialisiert im Bereich Solaris und

Software Entwicklung

Produkt VDCF (Virtual Datacenter Control Framework):

Installation, Management, Monitoring und DR

von Solaris 10/11, sowie Virtualisierung

mittels LDoms und Solaris Zonen

VDCF wird seit 2006 produktiv in Europa genutzt

4

Oracle VM Server for SPARC

SPARC Hypervisor

Jede Logical Domain läuft mit dediziertem Memory und CPU Threads→ Zero Overhead

Firmware basierter Hypervisor

Isoliertes Betriebssystem und Applikationen in jeder Logical Domain

5

Logical Domains (LDoms)

„Nur“ auf Oracle CMT Server

Systeme: T5xx0, T3-x, T4-x, T5-xM5, M6, M10, (M7)

Mehrere, separate Solaris Instanzen auf einer Hardware

Kombinierbar mit Zonen

Live Migration(auf andere Hardware ohne Unterbruch)

6

Control Domain Setup

Benötigt ausreichende Ressourcen für die Verarbeitung

des virtuellen I/O

Solaris Version:

- Solaris 11 / Aktuelle Version per November 2014: 11.2

Mindestens: Solaris 11.1 → 1.19.0.6.0 (U1.SRU19)

- Optimierte Verarbeitung des virtuellen I/O- Guest Domain Console History

Hardware Ressourcen:

- Mindestens 2 CPU Cores- Mindestens 8 GB RAM

7

Guest Domain Setup

Solaris Solaris 10 U11+ (150400-13) / Solaris 11.1 SRU19

Produktion Ganze CPU Cores zuweisen

Test Nicht Performance kritisch → Einzelne vCpu (Threads)

Memory Abhängig von Applikation

Disk Ganze LUN / Keine Files

Netzwerk Buffer für verbesserte NetzperformanceSeit LDom 3.1 für neue LDoms extended-mapin-space=on

Bestehende LDoms „nachrüsten“ mitldm set-domain extended-mapin-space=on myldom

8

Virtuelle Disk Devices (vdisk)

9

vDisk Performance

Welche Solaris Version läuft auf Ihren Control und Guest Domains?

Solaris 11: 1.19.0.6.0 (U1.SRU19) 19.05.2014 Solaris 10: Kernel 150400-13 (U11+) 12.06.2014

10

Virtuelle Netzwerk Devices (vnet)

11

Virtual Functions (VF)

12

Virtual Functions (VF)

NIC mit SR-IOV Support notwendig (igb, ixgbe)

Hardware direkt von Guest Domain genutzt

→ Keine Live Migration

WANBOOT mit vnet 20Min → 1Min mit VF (OBP Issue)

Nutzung (ab LDom 3.1):ldm create-vf -n max /SYS/MB/NET0/IOVNET.PF0

ldm add-io /SYS/MB/NET0/IOVNET.PF0.VF0 guest1

ldm add-io /SYS/MB/NET0/IOVNET.PF0.VF1 guest2

Kein Performancegewinn zwischen T4 mit 1 Gb Netz

(868 Mbit/s mit VF und vnet)

13

Vergleich: Lokale Nutzung vnet und VF

LDoms mit 2 GB RAM und 1 Core auf SPARC T4-1

vf->vnet

vnet->vf

vf->vf

vnet->vnet

0 1000 2000 3000 4000 5000 6000 7000 8000 9000

Durchsatz auf SPARC T4-1

mit lokalen LDoms

1 Thread

2 Threads

4 Threads

6 Threads

MBit/s

Ko

mm

un

ika

tion

s-V

ari

an

te

14

Direct-IO (DIO)

15

Root I/O Domain

16

Generelle Performance Empfehlungen

Mehrere Disk/LUN verwenden um vom Striping zu profitieren

Genügend Memory für Applikationen und Caching

Bei ZFS auf SAN mit vielen physischen Disks:zfs_vdev_max_pending (Default 10) erhöhen

17

VDCF – Virtual Datacenter Control Framework

Management Werkzeug für Zonen und LDOMs

für Solaris 10 + 11

Sehr Stabil / Seit 2006 produktiv genutzt

Zentral installiert mit Datenbank

Dynamische Virtualisierung:

Unterstützt Migrationen und Failover/DR

Ressource Konfiguration und Monitoring

18

VDCF – Architektur

19

VDCF – Dynamische Virtualisierung

20

VDCF - Vorteile

Einfachheit

Mittels einer handvoll intuitiver Befehle können virtuelle Solaris Umgebungen auch von unerfahrenen Solaris Admins erstellt und betrieben werden.

Standardisierung

VDCF baut auf den existierenden Solaris Technologien für Zones und LDOMs auf. Virtuelle Server können innerhalb von Minuten anstatt Stunden in einer standardisierten Form bereitgestellt werden.

Verfügbarkeit und Failover

VDCF erlaubt das manuelle und automatische Auslösen von virtuellen Server Migrationen. Dies führt zu verbesserter Verfügbarkeit und schnellerem Desaster Recovery.

21

VDCF – LDom WANBOOT Performance

VDCF nutzt Virtual Function für LDom Installation

●Temporäre Konfiguration der Virtual Function (VF) für schnelle WANBOOT Installation

●Nach der Installation wird temporäre Virtual Function (VF) automatisch entfernt

●Damit ist Netzwerk voll virtualisiert und LDom kann Live migriert werden.

●Voraussetzung: LDom 3.1, Solaris 11 oder Solaris 10 Update 11+

22

VDCF – Mehr Infos

Produkt Dokumentation Online

Komplette Dokumentation und Videos ab Webpage verfügbar

Free Edition

Kostenlose Test-Version in der Anzahl verwaltbare Objekte limitiert. Voller Funktionsumfang.

Testen via POC

Zusammen mit JomaSoft vor Ort eine Installation in Ihrer Testumgebung.

Webpage

http://www.jomasoft.ch/vdcf

23

Links/Blogs

uperf "A network performance tool" http://www.uperf.org/

Stefan Hinker Blog https://blogs.oracle.com/cmt/de/

Raghuram Kothakota's Weblog https://blogs.oracle.com/raghuram/

http://www.solarisinternals.com/wiki/index.php/ZFS_Evil_Tuning_Guide

24

LDom Performance optimieren

Fragen ?Weitere JomaSoft Vorträge an der #DOAG2014

Di, 18.11. 17:00 – 17:45 „Effizienter Solaris 11 Betrieb mit VDCF“

Do, 20.11. 13:00 – 13:45 „Wie setzt Swisscom Solaris 11 ein“

Verpasst? eMail an hofstetter@jomasoft.ch oder DOAG Präsentation Download nutzen

Marcel Hofstetter hofstetter@jomasoft.ch