Aus der Praxis - storageconsortium.de...Anwenderkonferenz SC 5. Mai 2011 Seite 1 Aus der Praxis: Backup und Deduplizierung mit Quantum DXi Dr. Kurt Städler, Leiter IT Infrastruktur,

Anwenderkonferenz SC 5. Mai 2011

Seite 1

Aus der Praxis:

Backup und Deduplizierung mit Quantum DXi Dr. Kurt Städler, Leiter IT Infrastruktur, Universität St. Gallen


Seite 2 Agenda

–  Einleitung –  Rückblick: Einführung DXi 7500

•  Ausgangslage •  Evaluation •  Implementation & Betrieb

–  Einführung DXi 6700 •  Ausgangslage •  Lösungsvarianten •  Implementation & Betrieb

–  Zusammenfassung

–  Fragen und Antworten


Seite 3 Wer ist die Universität St. Gallen? 1/2

–  Gegründet 1898 als „Handelsakademie“ à ursprüngliche (und wieder aktuelle) Marke „HSG“

–  Heute: „Hochschule für Wirtschafts-, Rechts- und Sozialwissenschaften sowie Internationale Beziehungen“

–  Ca. 6‘700 Studierende (Herbst 2010), davon 25 % AusländerInnen (Zulassungsprüfung notwendig)

–  Rund 2‘250 Angestellte in Verwaltung und Instituten

–  38 Institute/Forschungsstellen/Centers


Seite 4 Wer ist die Universität St. Gallen? 2/2

–  Fünf Schools, verantwortlich für die Lehre –  Abschlussmöglichkeiten auf Bachelor-, Master-

und/oder Doktoratsstufe –  CHF 183 Mio. Jahresbudget (2009),

wovon 50 % Eigenfinanzierung –  Mind. ein ehemaliger HSG-Student dürfte in

Deutschland bekannt sein…


Seite 5 IT Basisinfrastruktur

–  Netzwerk •  voll redundantes Cisco MPLS-Netzwerk •  10 Gbps im Core, 1 Gbps im Edge- u. Access-Layer •  VoIP ready: aktuell wird IP-Telefonie eingeführt •  Campusweite WLAN-Abdeckung

–  Server •  ca. 180 Server (inkl. Labor, virtuell und physisch) •  95 % Windows, 2.5 % Linux, 2.5% Sun Solaris •  Hardware: HP •  Virtualisierung: VMWare V4.1 (5 Hosts, 31 Guests)

–  Clients •  noch WinXP; Win 7: ab Sommer 2011 •  Hardware: Dell (auslaufend) und HP


Seite 6 Aktuelle Storage-Infrastruktur

–  Prim./sec. Storage: Netapp Appliances •  Prim. Storage: FAS3040 (2 Head-Cluster), 12.5 TB •  Sec. Storage: FAS3020, 27 TB •  Labor: FAS 2020, 4 TB •  Protokolle: FC, CIFS, NFS (für VMWare)

–  Backup •  Quantum DXi 6700, 40 TB / 800 TB •  Quantum DXi 7500, 18 TB / 360 TB (Reserve-System) •  Quantum i500 Tape Library (LTO-4), 230 Slots, 700 TB •  Symantec Netbackup V 7.0

–  Archivierung •  keine echte Archivierung, nur Auslagerung von Mail-

Attachements (mit Opentext Livelink)


Seite 7 Übersicht SAN / Storage-Infrastruktur


Seite 8 „Speichertreiber“ an der HSG

–  Allgemeines Datenwachstum •  Zahl der Angestellten und Studierenden nimmt zu •  laufend neue Ansprüche, neue Applikationen •  neue Methoden (z.B. Aufzeichnungen auf Video)

–  Zunehmender E-Mailverkehr •  Attachments werden immer zahlreicher und grösser •  keine Mailquota (ausser bei Studierenden)

–  Institute mit speziellen Forschungsprojekten –  Technisch bedingt: Domino-Datenbanken

•  inkrementelle Sicherungen sind de facto Vollsicherungen

•  gilt für Maildatenbanken wie auch allg. Domino-DBs


Seite 9 Agenda







Seite 10 Gründe für eine Deduplikationslösung 1/2

–  „Datensammler“ •  sehr viele Altdaten, welche sich nicht mehr ändern •  Bsp.: Institut mit ca. 3.4 TB Forschungsdaten:

1.6 TB (= 50 %) davon sind älter als 2 Jahre!

–  Domino-Datenbanken •  Problem der inkrementellen Backups •  tägliche Datenmenge E-Mail-DBs: ca. 1.8 TB, davon

nur sehr wenige Änderungen auf Block-Level!

–  Identische Serverbetriebssysteme •  80x Windows 2003 •  20x Windows 2008 •  je 5x Linux und Sun Solaris


Seite 11 Gründe für eine Deduplikationslösung 2/2

–  Datenbanken generell (MS-SQL, Oracle) •  i.d.R. wenig Änderungen auf Block-Level (sofern

keine Reorg-/Resize-Prozesse durchgeführt werden) –  ISO-Dateien der Mailauslagerung (z.Zt. 2.4 TB)

•  Dateien sind bei jedem Backup identisch

–  Deduplikationslösung = Disk-System •  sehr flexibel und schnell bei Zugriffen •  viele virtuelle Laufwerke, somit viele parallele

Backup-Prozesse möglich •  modularer Aufbau, einfacher ausbaubar

–  „Green IT“: Strom, Platz, Klimatisierung…


Seite 12 Evaluation – Beschaffung

–  Kostenrahmen: > EUR 75'000, < EUR 150'000 –  Zu sicherndes Volumen (2008): ca. 5.5 TB –  3 Firmen hatten 4 Angebote eingereicht

•  FSC Centric Stor VTA 500; 10.8 TB netto •  Quantum DXi 7500; 18 TB / ca. 88 TB (inkl. Dedup) •  DataDomain DD565; 10 TB / ca. 80 TB (inkl. Dedup) •  Netapp VTL 300; 24.7 TB netto

–  Kosten/GB: zwischen EUR 1.40 und EUR 5.30 (inkl. notwendige VTL-Lizenzen für Netbackup)


Seite 13 Evaluation – Herstellerangebote 1/2

–  FSC Centric Stor VTA 500 •  keine Deduplikation (erst auf Q1/09 angekündigt) •  nur 10.8 TB verfügbarer Backup-Speicher •  „High End“ System, zu komplex

–  DataDomain DD565 •  Nutzung primär als NAS (IP); VTL aber möglich •  keine „direct to tape“-Option •  nur 10 TB physischer Speicher à etwas knapp?!

–  Netapp VTL 300 •  Angebot ohne Deduplikation •  wohl 24.7 TB netto, im Vgl. zu Dedup aber wenig!


Seite 14 Evaluation – Herstellerangebote 1/2

–  Quantum DXi 7500 •  Nutzung primär als VTL (FC); NAS auch möglich •  18 TB physischer Speicher, davon 10 TB für Dedup,

8 TB als Cache reserviert •  sowohl „inline“ als „post process“ Deduplikation

à Entscheid: Teststellung mit Quantum DXi 7500 •  falls Anforderungen erfüllt werden, nahtloser

Übergang in Produktionsbetrieb


Seite 15 Implementation 1/2

–  Volle Integration in produktiver Umgebung! –  Backup-Server (Media- und Master-Server)

•  3x HP DL 380 •  4 Gbps FC-Anbindung •  2 Gbps IP-Anbindung (mittels Ether Channeling)

–  Konfiguration DXi 7500 •  1 Partition, 16 Drives (2 reserviert für Restores) •  1‘100 Slots/Tapes à 50 GB (LTO-3 Emulation)


Seite 16 Implementation 2/2

–  Überarbeitung der Backup-Policies •  nur noch zwei Storage Lifecycle Policies:

P1: daily inc (1m), weekly full (1m) P2: daily inc (1m), weekly full (1m), monthly full (14m)

–  Schrittweise Einbindung der Server •  Start mit 18 Servern •  Vollbetrieb (Q1/2009): ca. 80 Server •  Totale Datenmenge: ca. 6 TB •  Daten = Mix aus Domino-DBs, File-Daten, ISO-Files,

MS-SQL- und Oracle-Datenbanken…


Seite 17 Erste Erfahrungen mit Quantum DXi 7500

–  System besteht aus diversen Komponenten •  2 Diskshelfs/RAID-Controller (je 16x 750 GB SATA II) •  1 Controller Node „Appliance“ •  1 FC- und 1 IP-Switch

–  Konfiguration und Aufbau DXi 7500 •  verlief problemlos, innerhalb eines Nachmittags

–  Integration in SAN und Netbackup •  verlief problemlos •  nach ca. 2 h erste Backup-Daten überspielt! •  vollständige Konfiguration: 1 Tag


Seite 18 Betriebsbeginn DXi 7500 1/2


Seite 19 Betriebsbeginn DXi 7500 2/2


Seite 20 Durchsatzraten DXi 7500

–  Backups (Full): zwischen 8 MB/s und ca. 50 MB/s •  Zahlen beziehen sich auf einzelne Server •  gesamter Input auf DXi wurde nicht gemessen •  z.T. Limitationen beim Netz (100 Mbps) •  inkrementelle Backups z.T. viel langsamer

–  Restores •  max. 73 MB/s auf Windows-Server •  44 MB/s bei gleichzeitigem Fullbackup von 15 Servern

–  VTL to Tape (LTO-4), via LAN: ca. 80 MB/s –  Fazit: sehr zufriedenstellende Werte, massive

Steigerung gegenüber alter Lösung!


Seite 21 Agenda







Seite 22 Erste Anzeichen von Überlast 1/2

„Tag Deletion“-Prozess gerät in Rückstand: ca. 5 Monate zwischen den ersten Anzeichen und den ersten Auswirkungen


Seite 23 Erste Anzeichen von Überlast 2/2

–  Zu sichernde Datenmenge nimmt stetig zu •  Datenwachstum aufgrund Zuwachs Personal und

Studierenden •  immer mehr Applikationen •  Digitalisierung von alten Dokumenten und Filmen •  HSG übernimmt Bibliothekssysteme dreier Kantone

(Hosting)

–  Grundausstattung der DXi 7500 knapp bemessen •  wurde von Quantum offen kommuniziert, war HSG

bewusst •  finanzielle Einschränkungen liessen keine grössere

Lösung zu


Seite 24 Erfolgte Massnahmen

–  Zeitpunkt der Massnahmen: Oktober 2009 –  Ausbau der DXi 7500 um 9 TB

•  neu nun 27 TB nutzbarer Speicher

–  Teilauslagerung der Backups auf DXi 5500 •  DXi 5500 war Leihgabe von Quantum •  Backup-Auslagerungen waren notwendig, damit sich

DXi 7500 erholen konnte •  „Erholungszeitraum“: ca. 3 Monate!


Seite 25 Gesamtsituation nach Ausbau (Okt. 2010)

Kennzahlen: Auf der DXi gespeicherte Datenmenge: ~ 323 TB Systemerweiterung im Okt. 2009

Blockpoolgrösse: ~ 8,7 TB

Reduktionsfaktor: ~ 37 : 1 permanente Tag Deletion


Seite 26 Leistungs- und Kapazitätsgrenze erreicht!

–  Das System muss zu viele Daten aufnehmen –  Prozesse überlagern sich zeitlich –  Space reclamation Laufzeit steigt stetig und läuft nahezu ständig –  Datendeduplizierungsbacklog: ~ 750‘000 tags à ca. 170 TB –  System kann sich nicht mehr befreien und läuft voll


Seite 27 Lösungsvarianten

–  Erneute Systemerweiterung DXi 7500 •  Ausbau um 18 TB erhöht Leistungsfähigkeit des

Systems um ca. 15 % bis 20 % •  Option: nur 9 TB à ausser Preis keine Option!

–  Neubeschaffung DXi 6700 mit 40 TB •  preislich in etwas gleich wie Ausbau DXi 7500 •  Vorteil der neuesten Hardware

–  Hersteller-/Strategiewechsel •  KEINE Option, da kein techn. Problem, sondern

Problem der zu sichernden Datenmengen! •  führt zu administrativem Aufwand bei Beschaffung

(mögliches Ausschreibungsverfahren)


Seite 28 Entscheid: Neubeschaffung DXi 6700

–  Neueste Hardware •  Raid 6 anstelle von Raid 5 •  2 * SSD als Raid 1 je 8 TB Shelf für Blockpool Index •  Dual Quad Core Prozessor anstelle von Dual Xenon •  50 % mehr RAM (48 GB anstelle von 32 GB), dadurch

höhere Performancewerte

–  Techn. Anforderungen sind weiterhin erfüllt •  VTL Schnittstelle •  4 * 8 Gbps FC ports •  Basiskapazität 40 TB, Erweiterung bis 56 TB möglich

–  Sämtliche Softwarelizenzen sind nun enthalten


Seite 29 Implementation DXi 6700 1/2

–  „Startschwierigkeiten“ nach prompter Lieferung •  Verdacht auf defekte Controller-Einheit à Austausch der ganzen Einheit

•  ersetzter Controller funktionierte immer noch nicht… •  Fehlerursache: gequetschtes Kabel (Kabelbinder zu

straff angezogen)


Seite 30 Implementation DXi 6700 2/2

–  Nach Fehlerbehebung: rasche und problemlose Integration in bestehende Umgebung!

•  Hauptsächliche Anpassungen in Netbackup •  bestehende Policies etc. wurden übernommen •  HW-Einbau viel einfacher als bei DXi 7500, da Ver-

kabelung zw. Controller und Disk-Shelfs intern geführt

–  Konfiguration DXi 6700 •  1 Partition, 34 Drives •  1‘000 Slots/Tapes à 200 GB (LTO-4 Emulation)

–  DXi 7500 •  bleibt parallel bis nach Ablauf der Retention-Times

bestehen (read only)


Seite 31 Durchsatzraten DXi 6700

–  Backups & Restores: wie bei DXi 7500 •  Limite liegt nicht bei DXi, sondern bei Server-I/Os

–  VTL to Tape (LTO-4), via LAN: ca. 100 MB/s •  Verbesserung um ca. 20 MB/s; Netzwerklimite erreicht

–  Fazit: weiterhin sehr zufriedenstellende Werte, Cloning auf Tape läuft so performant, das auf „direct to tape“ verzichtet wird


Seite 32 Betriebsbeginn DXi 6700


Seite 33 Tag Deletion

–  Das System kommt nie an die Leistungsgrenze –  Keine zeitliche Überlagerung der Prozesse


Seite 34 FC- und CPU-Auslastungen


Seite 35 FC- und CPU-Auslastungen (Det. Vollsicherung)


Seite 36 Agenda







Seite 37 Aktuelle Kennzahlen

–  110 Server werden gesichert •  12 TB, > 21 Mio. Files pro Vollsicherung

–  Gesamtkapazität Backup: ca. 1.8 PB, davon •  ca. 800 TB auf DXi 6700 (Faktor 20:1) •  > 700 TB auf Scalar i500 Tape Library (LTO-4) •  ca. 300 TB auf DXi 7500 (Reserve / für Spezialsysteme)

–  Platzbedarf auf DXi 6700 •  brutto gesichert (seit Dez. 10): 156 TB •  Platzbedarf dedupliziert: 8.04 TB •  Deduplikationsfaktor: 19.4:1 (94.8 % Reduktion)


Seite 38 Backup-Verfahren

–  Backup-Applikation •  Symantec Netbackup V7.0

–  Methoden: nur zwei Richtlinien (Policies) •  P1: daily incr., weekly full •  P2: dail incr., weekly full, monthly full

–  Aufbewahrungsfristen & Medien •  daily incr.: 1 Monat (nur auf VTL) •  weekly full: 1 Monat (VTL), 1 Monat (PTL) •  monthly full: 1 Monat (VTL), 14 Monate (PTL)

–  Automatische Duplikation auf Tape (PTL)


Seite 39 Problem Datenwachstum

–  Quantum bietet mit DXi 6700 sehr gute Lösung für die HSG

•  aufgrund Datenarten (Domino-DBs, Forschungsdaten, ISO-Files der Mailauslagerung etc.)

•  Lösung ist skalierbar bzw. stufenweise ausbaubar à planbare Finanzierungsmöglichkeiten

•  integriert gut in bestehendes Umfeld (Netbackup, Brocade-Switches, Netapp)

Was nie genützt hat und s.w. auch nie nützen wird: –  Appell an BenutzerInnen, nicht mehr benötigte

Daten zu löschen. Der Mensch ist wohl Jäger und Sammler geblieben!


Seite 40 Agenda







Seite 41 Fragen / Diskussion

?

Documents

Aus der Praxis - storageconsortium.de...Anwenderkonferenz SC 5. Mai 2011 Seite 1 Aus der Praxis: Backup und Deduplizierung mit Quantum DXi Dr. Kurt Städler, Leiter IT Infrastruktur,