Storage 3.0 mit Windows Server 2012 (R2): Neue Technologien -

Neue SzenarienCarsten Rachfahl, MVP Virtual Machine

Storage Verbesserungen in WS 2012

Cluster-Aware

Updating

SMB3

Virtual

Fibre ChannelHyper-V Replica

8,000 VMs

per Cluster

VM Prioritization

64-node clusters

Dedup

Scale-Out

File ServerStorage Spaces

Offload Data

Transfer

VM Storage

MigrationiSCSI Target ServerReFS VHDX

SMI-S Storage

Service

NTFS

Trim / UnmapNFS 4.1SM API

CSVFS online

CHKDSK

Windows Server 2012

SMB 3.0

SMB Multichannel

• Geschwindigkeit• Bandbreiten-Aggregation durch Nutzung mehrere

Kanäle

• Verteilung der Prozessor-Belastung auf mehrere Cores (RSS Support)

• Failover• Implementiert Ende-zu-Ende Ausfall Erkennung

• Benutzung von NIC-Teaming möglich

• Automatische Konfiguration• SMB erkennt und nutzt mehrere Pfade (auch

dynamisch)

• Für einzelne NICs abschaltbar

Multiple 1GbE NICsSingle 10GbE

RSS-capable NIC

SMB Server

SMB Client

SMB Server

SMB Client

Switch

10GbE

NIC

10GbE

NIC

10GbE

Switch

1GbE

NIC

1GbE

NIC

1GbE

Switch

1GbE

NIC

1GbE

NIC

1GbE

RSS

RSS

Demo Video SMB Multichannel

SMB Direct (SMB über RDMA)• Schnelle Netzwerkkommunikation aus

dem HPC Computing

• Benutzt RDMA um Daten zwischenHosts zu übertragen

• hoher Durchsatz

• geringer Latenz

• geringe Prozessor-Belastung

• alle Möglichkeiten von SMBMultichannel

• Implementierungen• Infiniband – bis 56GBit auf Infiniband Switchen

• RoCE - 10GBit Ethernet Switche mit DCB Support

• iWARP - 10GBit Ethernet Switche

• Preis?

File Server

SMB Direct

Client

Application

NIC

RDMA

NIC

TCP/

IP

SMB Direct

Ethernet and/or

InfiniBand

TCP/

IP

Unchanged API

SMB ServerSMB Client

MemoryMemory

NDKPINDKPI

RDMA

NIC NIC

RDMA1

2

3

4

*) Based on Hewlett Packard list prices on 5/15-2012

SMB 3.0 Performance• SMB Multichannel und SMB Direkt kombiniert ergibt

fantastische Datenübertragungsraten

• Beispiel aus Jose Barretos TechEd Talk:• Client und Server mit je drei 40GBit Infiniband Karten

• SMB Server mit multiplen Fusion I/O Karten (=> 10 Stück)

• Ergebnis• Kontinuierliche Datenübertragung von

• 120 GBit/s == 15GByte/s

Quelle: http://SMB3.info

Multiple RDMA NICs

SMB Server

SMB Client

Switch

40Gb IB

NIC

40Gb IB

NIC

40Gb IB

Switch

40Gb IB

NIC

40Gb IB

NIC

40Gb IB

Switch

40Gb IB

NIC

40Gb IB

NIC

40Gb IB

Fusion IOFusion IO

Fusion IOFusion IO

Fusion IO

Fusion IOFusion IO

Fusion IOFusion IOFusion IO

SMB Direct Performance Enhancements

Scale-out File Server

SMB Direct

Hyper-V

VHDEfficiency

Erhöhung der Effizienz und der Dichte für Hosting

Workloads mit kleinen I/O Pattern wie z.B. OLTP

Datenbanken in VM

Optimiert für 40GBit Ethernet and 56GBit InfiniBand

Performance

50% Durchsatz Verbesserung für kleine I/O

Workloads mit SMB over RDMA

Verbesserung der 8KB I/Os von ~300K IOPS auf

~450K IOPS pro Interface (auf gleicher Hardware)

SMB Transparentes Failover• Failover ist transparent für die Anwendungen

• Zero downtime für die Anwendung

• kurzzeitiger I/O-Delay während das Failovers

• Unterstützt geplante und ungeplante Failovers• Hardware/Software Wartung

• Hardware/Software Ausfälle

• Load Balancing / Client Redirection

• Resilient für Datei- und Verzeichnisoperationen

• Funktioniert mit beiden Typen des Dateiserversim Cluster:• Scale-Out File Server

• “Classic” File Server

• Anforderungen:• Windows Server 2012 Failover Cluster

• SMB Client mit SMB 3.0

• Dateifreigaben sind mit „Continuously Availability“ Eigenschaft konfiguriert

Datei Server Cluster

Node A Node B

\\fs1\share \\fs1\share

Hyper-V Host

Speicherpools• Neue Möglichkeit der Festplatten-

Abstraktion• Speicherpools

• mehrere physischen Datenträgern werden zusammengefasst

• Hinzufügen oder Entfernen ist möglich

• Virtuelle Datenträger• werden in Speicherpools kreiert

• Simple, 2 Wege Mirror und 3 Wege Mirror,oder Parity und doppelte Parity

• Feste oder Dünne Bereitstellung

• Volumes• werden in Virtuellen

Datenträgern kreiert

Infrastructure-as-a-Service Storage Vision

•Modell erlaubt es die Kosten und den Implementationsaufwand drastisch zu Reduzieren

• Trennung von Compute und Storage• Mehr Rechenleistung => weiteren Hyper-V Nodes

• Mehr Storage Kapazität => weiteres JBODs / Platten

• Mehr Durchsatz => weiteren Scale-Out Cluster Node

• Industrie Standard Komponenten: Server, Netzwerk und Storage• günstige Netwerkkomponenten (SMB 3.0)

• günstige Shared JBODs und SAS Platten / SSDs

• Eine durchgängige Managementplatform

Scale-Out File Server ClustersStorage Spaces Virtualization and Resiliency

Hyper-V Clusters

SMB

Shared JBOD

Storage

Schnelles Wiederherstellen des Space

• Mirror Spaces Rebuild• Paraller Rebuild Prozess

• Höherer Durchsatz• Optimierte Plattenausnutzung

• Ausnutzung von Reserve Kapazität

• Bei R2 kein HotSpare Platte mehr notwendig

Rebuild Metric Measurement

Data Rebuilt 2,400 GB

Time Taken 49 min

Rebuild Throughput > 800 MB/s

Storage Spaces – Storage Tiering

• Optimierte Daten Platzierung• Pool besteht aus SSDs und HDDs

• Verschieden Tiers werden pro Virtual Disk angelegt

• Hot Data (SSDs), Cold Data (HDDs)

• Sub-File-Level Daten Optimierung

• Ergänz bar mit dem Write-Back Cache

• Administratoren können Vorgang beeinflussen• Festpinnen von Dateien im Tier möglich

• Beispiel: VDI Pooled VM’s VHDX im SSD Pool pinnen

Cold DataHot Data

Storage Spaces - Write-Back Cache

•Random Platten Zugriff• Vorrangiges Zugriffs Verhalten in

Virtualisierten Umgebungen

• SSDs liefern höhere IOPS für Random Access

• SSD absorbieren Schreibspitzen

•Verbesserte Performance für Real-World Workloads• SSDs absorbieren Random Writes bei hohen

IOPS

• Natlose Integration und bekanntes Management

Cold DataHot Data

SMB

Optimiertes Rebalancing des Scale-out File Server

• Scale-Out File Server Clients werden zum“besten” Node für den Zugriff umgeleitet

• das vermeidet Redirected-I/O im Scale-Out Fileserver

• SMB Verbindungen werden pro Share hergestellt

• Maßgebend ist der Besitzer des CSVs

• Cluster balanciert auch die CSV Besitzer

• Automatisches Verhalten, kein Administrator eingreifen erforderlich

File Server 2File Server 1

Storage Spaces

\\SOFS\Share2

Share1 Share2 Share1 Share2

\\SOFS\Share1

CiB (Cluster in a BOX)

• Zwei Knoten Scale-out File Server als Fertiglösung aus einer Hand• Windows Storage Server 2012 Standard

• Redundant aufgebaut

• Auf Basis von Storage Spaces oder SAS RAID Kontroller

• Kompaktes Design (2 bis 4 HE)

• durch externe Platten-Shelfs erweiterbar

• Beispiele:• HP Store Easy 5000

• WiWynn SV330

• Quanta CB220

• Dell VRTX

Server Enclosure

x4 SAS

through

midplanex4 SAS

through

midplane

Additional JBODs …

1/10G Ethernet cluster connect

B

port

sA

port

s

x8 PCIe

Server BServer A

x8 PCIe

x4 SAS

External JBOD

x8 PCIe

x4 SAS

x8 PCIe

10G E or

Infiniband

10G E or

Infiniband

B ports

A ports

SAS

Expander

SAS

Expander23…10

NetworkNetwork

23…10SAS

Expander

Storage

Controller

CPU

SAS

Expander

Storage

Controller

CPU

Beispiel Scale-Out File Servers

• Drei 60 Platten JBODs• Pro JBOD:

• 25x 4TB Near-Line SAS Platten

• 5x 800GB SAS SSDs

• Insgesamt 4x VDisk um I/O zu verteilen

• Zwei Fileserver als Scale-Out File Server• 2 E6-26xx Prozessoren, 384 GB RAM, 2x 120 GB

SSDs,

• 2x 4fach LSI SAS HBA, 2x 40GB Mellanox SMB Direct Ethernet Karte

Demo Video Transparenter Failover

Neuerungen im iSCSI Target Server

VHDX Support

• Provisionieren von großen LUNs (bis zu 64TB)

• Online vergrößern und verkleinern LUNs

• Bereitstellen von dynamisch erweiterbaren LUNs

SMI-S Support

• Voll mit SMI-S managbarer iSCSI Target Server

• Ermöglicht das volle Ende-zu-Ende

Management mit System Center VMM 2012 R2

• Standards-based Management

iSCSI Target Server

SCVMM

NFSv4.1 Server

Implementation

Identity Mapping

Improvements

Manageability

Enhancements

Infrastructure

Improvements

NFS in Windows Server 2012 R2

Performance &

Interoperability

Availability

Improvements

NFSv4.1 implementation #2 in 10 best features of Windows Server 2012

Quotes

Source http://www.theregister.co.uk/2012/05/01/microsoft_nfs/

Source (http://www.theregister.co.uk/2013/01/10/10_best_server12)

NFS Failover & general implementation

Universal Storage• Windows Server 2012 ist mit SMB 3.0, iSCSI und NFS jetzt ein

Universal Storage System

SMB

• SMB 3.0

• Klassischer und

Scale-out Datei

Server

• Standard Hardware

iSCSI

• Blockstorage

• Universelles

Storage Protokoll

• z.B. für Hyper-V

2008 R2

NFS

• UNIX/Linux/Mac +

VMWare Support

• modernste

Implementierung

Storage Verbesserungen in WS 2012

Cluster-Aware

Updating

SMB 3.0

Virtual

Fibre Channel

Hyper-V Replica

8,000 VMs

per Cluster

VM Prioritization

64-node clusters

Dedup

Scale-Out

File ServerStorage Spaces

Offload Data Transfer

VM Storage

MigrationiSCSI Target ServerReFS VHDX

SMI-S Storage

Service

NTFS

Trim / UnmapNFS 4.1SM API

CSVFS online

CHKDSK

Windows Server 2012

Infrastructure-as-a-Service Storage Vision

Scale-Out File Server ClustersStorage Spaces Virtualization and Resiliency

Hyper-V Clusters

SMB

ManagementSystem Center 2012 R2

VirtualisierungWindows Server 2012 R2 Hyper-V

Storage SubsystemScale-Out Fileserver

JBODs mit SAS Festplatten

SMB 3.0

Shared JBOD

Storage

Shared JBOD

Storage

Shared JBOD

Storage

Infrastructure-as-a-Service Storage Vision• Modell erlaubt die Kosten und den Implementationsaufwand

drastisch zu reduzieren

• Trennung von Compute und Storage• Mehr Rechenleistung => weiteren Hyper-V Nodes

• Mehr Storage Kapazität => weiteres JBODs / Platten

• Mehr Durchsatz => weiteren Scale-Out Cluster Node

• Industrie Standard Komponenten: Server, Netzwerk und Storage• günstigem Netwerkkomponenten (SMB 3.0)

• Günstige Shared JBODs und SAS Platten / SSDs

• Eine durchgängige Managementplatform

Scale-Out File Server ClustersStorage Spaces Virtualization and Resiliency

Hyper-V Clusters

SMB

Shared JBOD

Storage

SMB 3.0• Das SMB (Server Messaging Block) Protokoll unterliegt

einem stetigen Verbesserungsprozess

SMB Multichannel• Geschwindigkeit

• Bandbreiten-Aggregation durch Nutzung mehrere Kanäle

• Verteilung der Prozessor-Belastung auf mehrere Cores (RSS Support)

• Failover

• Implementiert Ende-zu-Ende Ausfall Erkennung

• Benutzung von NIC-Teaming möglich

• Automatische Konfiguration

• SMB erkennt und nutzt mehrere Pfade (auch dynamisch)

• Für einzelne NICs abschaltbar

Multiple 1GbE NICsSingle 10GbE

RSS-capable NIC

SMB Server

SMB Client

SMB Server

SMB Client

Switch

10GbE

NIC

10GbE

NIC

10GbE

Switch

1GbE

NIC

1GbE

NIC

1GbE

Switch

1GbE

NIC

1GbE

NIC

1GbE

RSS

RSS

Demo Video SMB Multichannel

SMB Direct (SMB über RDMA)• Schnelle Netzwerkkommunikation aus

dem HPC Computing

• Benutzt RDMA um Daten zwischen Hosts zu übertragen

• hoher Durchsatz

• geringer Latenz

• geringe Prozessor-Belastung

• alle Möglichkeiten von SMB Multichannel

• Implementierungen• Infiniband – bis 56GBit auf Infiniband Switchen

• RoCE - 10GBit Ethernet Switche mit DCB Support

• iWARP - 10GBit Ethernet Switche

• Preis?

File Server

SMB Direct

Client

Application

NIC

RDMA

NIC

TCP/

IP

SMB Direct

Ethernet and/or

InfiniBand

TCP/

IP

Unchanged API

SMB ServerSMB Client

MemoryMemory

NDKPINDKPI

RDMA

NIC NIC

RDMA1

2

3

4

*) Based on Hewlett Packard list prices on 5/15-2012

SMB 3.0 Performance• SMB Multichannel und SMB Direkt

kombiniert ergibt fantastische Datenübertragungsraten

• Beispiel aus Jose Barretos TechEd Talk:• Client und Server mit je drei 40GBit Infiniband

Karten• SMB Server mit multiplen Fusion I/O Karten (=> 10

Stück)

• Ergebnis• Kontinuierliche Datenübertragung von

Quelle: http://SMB3.info

Multiple RDMA NICs

SMB Server

SMB Client

Switch

40Gb IB

NIC

40Gb IB

NIC

40Gb IB

Switch

40Gb IB

NIC

40Gb IB

NIC

40Gb IB

Switch

40Gb IB

NIC

40Gb IB

NIC

40Gb IB

Fusion IOFusion IO

Fusion IOFusion IO

Fusion IO

Fusion IOFusion IO

Fusion IOFusion IOFusion IO

SMB Transparentes Failover• Failover ist transparent für die Anwendungen

• Zero downtime für die Anwendung

• kurzzeitiger I/O-Delay während das Failovers

• Unterstützt geplante und ungeplante Failovers• Hardware/Software Wartung

• Hardware/Software Ausfälle

• Load Balancing / Client Redirection

• Resilient für Datei- und Verzeichnisoperationen

• Funktioniert mit beiden Typen des Dateiserversim Cluster:

• Scale-Out File Server

• “Classic” File Server

• Anforderungen:• Windows Server 2012 Failover Cluster

• SMB Client mit SMB 3.0

• Dateifreigaben sind mit „Continuously Availability“ Eigenschaft konfiguriert

Datei Server Cluster

Fehler tritt auf – Verbindung und Handles gehen

verloren, Anwendungs-I/O hängt verübergehend

Normaler Betrieb

Verbindung und Handles werden “auto-recovered”,

Anwendungs-I/O wird fehlerfrei vortgesetzt

Node A Node B

\\fs1\share \\fs1\share

Hyper-V Host

Speicherpools• Neue Möglichkeit der Festplatten-

Abstraktion• Speicherpools

• mehrere physischen Datenträgern werden zusammengefasst

• Hinzufügen oder Entfernen ist möglich

• Virtuelle Datenträger• werden in Speicherpools kreiert

• Simple, 2 Wege Mirror und 3 Wege Mirror,oder Parity und doppelte Parity

• Feste oder Dünne Bereitstellung

• Volumes• werden in Virtuellen

Datenträgern kreiert

Storage Spaces – Storage Tiering•Optimierte Pool besteht aus SSDs und HDDs• Verschieden Tiers werden pro Virtual Disk angelegt

• Hot Data (SSDs), Cold Data (HDDs)

• Sub-File-Level Daten Optimierung

• Ergänz bar mit dem Write-Back Cache

•Administratoren können Vorgang beeinflussen• Festpinnen von Dateien im Tier möglich

• Beispiel VDI: Golden Image VHDX im SSD Pool pinnen

Cold DataHot Data

Storage Spaces - Write-Back Cache

•Random Platten Zugriff• Vorrangiges Zugriffs Verhalten in

Virtualisierten Umgebungen

• SSDs liefern höhere IOPS für Random Access

• SSD absorbieren Schreibspitzen

•Verbesserte Performance für Real-World Workloads• SSDs absorbieren Random Writes bei hohen

IOPS

• Natlose Integration und bekanntes Management

Cold DataHot Data

SMB

Optimiertes Rebalancing des Scale-out File Server

• Scale-Out File Server Clients werden zum“besten” Node für den Zugriff umgeleitet

• das Vermeidet Redirected-I/O im Scale-Out Fileserver

• SMB Verbindungen werden pro Share hergestellt

• Maßgebend ist der Besitzer des CSVs

• Cluster balanciert auch die CSV Besitzer

• Automatisches Verhalten, kein Administrator eingreifen erforderlich

File Server 2File Server 1

Storage Spaces

\\SOFS\Share2

Share1 Share2 Share1 Share2

\\SOFS\Share1