Aus der Praxis - storageconsortium.de...Anwenderkonferenz SC 5. Mai 2011 Seite 1 Aus der Praxis:...

Anwenderkonferenz SC 5. Mai 2011

Seite 1

Aus der Praxis:

Backup und Deduplizierung mit Quantum DXi Dr. Kurt Städler, Leiter IT Infrastruktur, Universität St. Gallen

Seite 2 Agenda

–  Einleitung –  Rückblick: Einführung DXi 7500

•  Ausgangslage •  Evaluation •  Implementation & Betrieb

–  Einführung DXi 6700 •  Ausgangslage •  Lösungsvarianten •  Implementation & Betrieb

–  Zusammenfassung

–  Fragen und Antworten

Seite 3 Wer ist die Universität St. Gallen? 1/2

–  Gegründet 1898 als „Handelsakademie“ à ursprüngliche (und wieder aktuelle) Marke „HSG“

–  Heute: „Hochschule für Wirtschafts-, Rechts- und Sozialwissenschaften sowie Internationale Beziehungen“

–  Ca. 6‘700 Studierende (Herbst 2010), davon 25 % AusländerInnen (Zulassungsprüfung notwendig)

–  Rund 2‘250 Angestellte in Verwaltung und Instituten

–  38 Institute/Forschungsstellen/Centers

Seite 4 Wer ist die Universität St. Gallen? 2/2

–  Fünf Schools, verantwortlich für die Lehre –  Abschlussmöglichkeiten auf Bachelor-, Master-

und/oder Doktoratsstufe –  CHF 183 Mio. Jahresbudget (2009),

wovon 50 % Eigenfinanzierung –  Mind. ein ehemaliger HSG-Student dürfte in

Deutschland bekannt sein…

Seite 5 IT Basisinfrastruktur

–  Netzwerk •  voll redundantes Cisco MPLS-Netzwerk •  10 Gbps im Core, 1 Gbps im Edge- u. Access-Layer •  VoIP ready: aktuell wird IP-Telefonie eingeführt •  Campusweite WLAN-Abdeckung

–  Server •  ca. 180 Server (inkl. Labor, virtuell und physisch) •  95 % Windows, 2.5 % Linux, 2.5% Sun Solaris •  Hardware: HP •  Virtualisierung: VMWare V4.1 (5 Hosts, 31 Guests)

–  Clients •  noch WinXP; Win 7: ab Sommer 2011 •  Hardware: Dell (auslaufend) und HP

Seite 6 Aktuelle Storage-Infrastruktur

–  Prim./sec. Storage: Netapp Appliances •  Prim. Storage: FAS3040 (2 Head-Cluster), 12.5 TB •  Sec. Storage: FAS3020, 27 TB •  Labor: FAS 2020, 4 TB •  Protokolle: FC, CIFS, NFS (für VMWare)

–  Backup •  Quantum DXi 6700, 40 TB / 800 TB •  Quantum DXi 7500, 18 TB / 360 TB (Reserve-System) •  Quantum i500 Tape Library (LTO-4), 230 Slots, 700 TB •  Symantec Netbackup V 7.0

–  Archivierung •  keine echte Archivierung, nur Auslagerung von Mail-

Attachements (mit Opentext Livelink)

Seite 7 Übersicht SAN / Storage-Infrastruktur

Seite 8 „Speichertreiber“ an der HSG

–  Allgemeines Datenwachstum •  Zahl der Angestellten und Studierenden nimmt zu •  laufend neue Ansprüche, neue Applikationen •  neue Methoden (z.B. Aufzeichnungen auf Video)

–  Zunehmender E-Mailverkehr •  Attachments werden immer zahlreicher und grösser •  keine Mailquota (ausser bei Studierenden)

–  Institute mit speziellen Forschungsprojekten –  Technisch bedingt: Domino-Datenbanken

•  inkrementelle Sicherungen sind de facto Vollsicherungen

•  gilt für Maildatenbanken wie auch allg. Domino-DBs

Seite 9 Agenda

Seite 10 Gründe für eine Deduplikationslösung 1/2

–  „Datensammler“ •  sehr viele Altdaten, welche sich nicht mehr ändern •  Bsp.: Institut mit ca. 3.4 TB Forschungsdaten:

1.6 TB (= 50 %) davon sind älter als 2 Jahre!

–  Domino-Datenbanken •  Problem der inkrementellen Backups •  tägliche Datenmenge E-Mail-DBs: ca. 1.8 TB, davon

nur sehr wenige Änderungen auf Block-Level!

–  Identische Serverbetriebssysteme •  80x Windows 2003 •  20x Windows 2008 •  je 5x Linux und Sun Solaris

Seite 11 Gründe für eine Deduplikationslösung 2/2

–  Datenbanken generell (MS-SQL, Oracle) •  i.d.R. wenig Änderungen auf Block-Level (sofern

keine Reorg-/Resize-Prozesse durchgeführt werden) –  ISO-Dateien der Mailauslagerung (z.Zt. 2.4 TB)

•  Dateien sind bei jedem Backup identisch

–  Deduplikationslösung = Disk-System •  sehr flexibel und schnell bei Zugriffen •  viele virtuelle Laufwerke, somit viele parallele

Backup-Prozesse möglich •  modularer Aufbau, einfacher ausbaubar

–  „Green IT“: Strom, Platz, Klimatisierung…

Seite 12 Evaluation – Beschaffung

–  Kostenrahmen: > EUR 75'000, < EUR 150'000 –  Zu sicherndes Volumen (2008): ca. 5.5 TB –  3 Firmen hatten 4 Angebote eingereicht

•  FSC Centric Stor VTA 500; 10.8 TB netto •  Quantum DXi 7500; 18 TB / ca. 88 TB (inkl. Dedup) •  DataDomain DD565; 10 TB / ca. 80 TB (inkl. Dedup) •  Netapp VTL 300; 24.7 TB netto

–  Kosten/GB: zwischen EUR 1.40 und EUR 5.30 (inkl. notwendige VTL-Lizenzen für Netbackup)

Seite 13 Evaluation – Herstellerangebote 1/2

–  FSC Centric Stor VTA 500 •  keine Deduplikation (erst auf Q1/09 angekündigt) •  nur 10.8 TB verfügbarer Backup-Speicher •  „High End“ System, zu komplex

–  DataDomain DD565 •  Nutzung primär als NAS (IP); VTL aber möglich •  keine „direct to tape“-Option •  nur 10 TB physischer Speicher à etwas knapp?!

–  Netapp VTL 300 •  Angebot ohne Deduplikation •  wohl 24.7 TB netto, im Vgl. zu Dedup aber wenig!

Seite 14 Evaluation – Herstellerangebote 1/2

–  Quantum DXi 7500 •  Nutzung primär als VTL (FC); NAS auch möglich •  18 TB physischer Speicher, davon 10 TB für Dedup,

8 TB als Cache reserviert •  sowohl „inline“ als „post process“ Deduplikation

à Entscheid: Teststellung mit Quantum DXi 7500 •  falls Anforderungen erfüllt werden, nahtloser

Übergang in Produktionsbetrieb

Seite 15 Implementation 1/2

–  Volle Integration in produktiver Umgebung! –  Backup-Server (Media- und Master-Server)

•  3x HP DL 380 •  4 Gbps FC-Anbindung •  2 Gbps IP-Anbindung (mittels Ether Channeling)

–  Konfiguration DXi 7500 •  1 Partition, 16 Drives (2 reserviert für Restores) •  1‘100 Slots/Tapes à 50 GB (LTO-3 Emulation)

Seite 16 Implementation 2/2

–  Überarbeitung der Backup-Policies •  nur noch zwei Storage Lifecycle Policies:

P1: daily inc (1m), weekly full (1m) P2: daily inc (1m), weekly full (1m), monthly full (14m)

–  Schrittweise Einbindung der Server •  Start mit 18 Servern •  Vollbetrieb (Q1/2009): ca. 80 Server •  Totale Datenmenge: ca. 6 TB •  Daten = Mix aus Domino-DBs, File-Daten, ISO-Files,

MS-SQL- und Oracle-Datenbanken…

Seite 17 Erste Erfahrungen mit Quantum DXi 7500

–  System besteht aus diversen Komponenten •  2 Diskshelfs/RAID-Controller (je 16x 750 GB SATA II) •  1 Controller Node „Appliance“ •  1 FC- und 1 IP-Switch

–  Konfiguration und Aufbau DXi 7500 •  verlief problemlos, innerhalb eines Nachmittags

–  Integration in SAN und Netbackup •  verlief problemlos •  nach ca. 2 h erste Backup-Daten überspielt! •  vollständige Konfiguration: 1 Tag

Seite 18 Betriebsbeginn DXi 7500 1/2

Seite 19 Betriebsbeginn DXi 7500 2/2

Seite 20 Durchsatzraten DXi 7500

–  Backups (Full): zwischen 8 MB/s und ca. 50 MB/s •  Zahlen beziehen sich auf einzelne Server •  gesamter Input auf DXi wurde nicht gemessen •  z.T. Limitationen beim Netz (100 Mbps) •  inkrementelle Backups z.T. viel langsamer

–  Restores •  max. 73 MB/s auf Windows-Server •  44 MB/s bei gleichzeitigem Fullbackup von 15 Servern

–  VTL to Tape (LTO-4), via LAN: ca. 80 MB/s –  Fazit: sehr zufriedenstellende Werte, massive

Steigerung gegenüber alter Lösung!

Seite 21 Agenda

Seite 22 Erste Anzeichen von Überlast 1/2

„Tag Deletion“-Prozess gerät in Rückstand: ca. 5 Monate zwischen den ersten Anzeichen und den ersten Auswirkungen

Seite 23 Erste Anzeichen von Überlast 2/2

–  Zu sichernde Datenmenge nimmt stetig zu •  Datenwachstum aufgrund Zuwachs Personal und

Studierenden •  immer mehr Applikationen •  Digitalisierung von alten Dokumenten und Filmen •  HSG übernimmt Bibliothekssysteme dreier Kantone

(Hosting)

–  Grundausstattung der DXi 7500 knapp bemessen •  wurde von Quantum offen kommuniziert, war HSG

bewusst •  finanzielle Einschränkungen liessen keine grössere

Lösung zu

Seite 24 Erfolgte Massnahmen

–  Zeitpunkt der Massnahmen: Oktober 2009 –  Ausbau der DXi 7500 um 9 TB

•  neu nun 27 TB nutzbarer Speicher

–  Teilauslagerung der Backups auf DXi 5500 •  DXi 5500 war Leihgabe von Quantum •  Backup-Auslagerungen waren notwendig, damit sich

DXi 7500 erholen konnte •  „Erholungszeitraum“: ca. 3 Monate!

Seite 25 Gesamtsituation nach Ausbau (Okt. 2010)

Kennzahlen: Auf der DXi gespeicherte Datenmenge: ~ 323 TB Systemerweiterung im Okt. 2009

Blockpoolgrösse: ~ 8,7 TB

Reduktionsfaktor: ~ 37 : 1 permanente Tag Deletion

Seite 26 Leistungs- und Kapazitätsgrenze erreicht!

–  Das System muss zu viele Daten aufnehmen –  Prozesse überlagern sich zeitlich –  Space reclamation Laufzeit steigt stetig und läuft nahezu ständig –  Datendeduplizierungsbacklog: ~ 750‘000 tags à ca. 170 TB –  System kann sich nicht mehr befreien und läuft voll

Seite 27 Lösungsvarianten

–  Erneute Systemerweiterung DXi 7500 •  Ausbau um 18 TB erhöht Leistungsfähigkeit des

Systems um ca. 15 % bis 20 % •  Option: nur 9 TB à ausser Preis keine Option!

–  Neubeschaffung DXi 6700 mit 40 TB •  preislich in etwas gleich wie Ausbau DXi 7500 •  Vorteil der neuesten Hardware

–  Hersteller-/Strategiewechsel •  KEINE Option, da kein techn. Problem, sondern

Problem der zu sichernden Datenmengen! •  führt zu administrativem Aufwand bei Beschaffung

(mögliches Ausschreibungsverfahren)

Seite 28 Entscheid: Neubeschaffung DXi 6700

–  Neueste Hardware •  Raid 6 anstelle von Raid 5 •  2 * SSD als Raid 1 je 8 TB Shelf für Blockpool Index •  Dual Quad Core Prozessor anstelle von Dual Xenon •  50 % mehr RAM (48 GB anstelle von 32 GB), dadurch

höhere Performancewerte

–  Techn. Anforderungen sind weiterhin erfüllt •  VTL Schnittstelle •  4 * 8 Gbps FC ports •  Basiskapazität 40 TB, Erweiterung bis 56 TB möglich

–  Sämtliche Softwarelizenzen sind nun enthalten

Seite 29 Implementation DXi 6700 1/2

–  „Startschwierigkeiten“ nach prompter Lieferung •  Verdacht auf defekte Controller-Einheit à Austausch der ganzen Einheit

•  ersetzter Controller funktionierte immer noch nicht… •  Fehlerursache: gequetschtes Kabel (Kabelbinder zu

straff angezogen)

Seite 30 Implementation DXi 6700 2/2

–  Nach Fehlerbehebung: rasche und problemlose Integration in bestehende Umgebung!

•  Hauptsächliche Anpassungen in Netbackup •  bestehende Policies etc. wurden übernommen •  HW-Einbau viel einfacher als bei DXi 7500, da Ver-

kabelung zw. Controller und Disk-Shelfs intern geführt

–  Konfiguration DXi 6700 •  1 Partition, 34 Drives •  1‘000 Slots/Tapes à 200 GB (LTO-4 Emulation)

–  DXi 7500 •  bleibt parallel bis nach Ablauf der Retention-Times

bestehen (read only)

Seite 31 Durchsatzraten DXi 6700

–  Backups & Restores: wie bei DXi 7500 •  Limite liegt nicht bei DXi, sondern bei Server-I/Os

–  VTL to Tape (LTO-4), via LAN: ca. 100 MB/s •  Verbesserung um ca. 20 MB/s; Netzwerklimite erreicht

–  Fazit: weiterhin sehr zufriedenstellende Werte, Cloning auf Tape läuft so performant, das auf „direct to tape“ verzichtet wird

Seite 32 Betriebsbeginn DXi 6700

Seite 33 Tag Deletion

–  Das System kommt nie an die Leistungsgrenze –  Keine zeitliche Überlagerung der Prozesse

Seite 34 FC- und CPU-Auslastungen

Seite 35 FC- und CPU-Auslastungen (Det. Vollsicherung)

Seite 36 Agenda

Seite 37 Aktuelle Kennzahlen

–  110 Server werden gesichert •  12 TB, > 21 Mio. Files pro Vollsicherung

–  Gesamtkapazität Backup: ca. 1.8 PB, davon •  ca. 800 TB auf DXi 6700 (Faktor 20:1) •  > 700 TB auf Scalar i500 Tape Library (LTO-4) •  ca. 300 TB auf DXi 7500 (Reserve / für Spezialsysteme)

–  Platzbedarf auf DXi 6700 •  brutto gesichert (seit Dez. 10): 156 TB •  Platzbedarf dedupliziert: 8.04 TB •  Deduplikationsfaktor: 19.4:1 (94.8 % Reduktion)

Seite 38 Backup-Verfahren

–  Backup-Applikation •  Symantec Netbackup V7.0

–  Methoden: nur zwei Richtlinien (Policies) •  P1: daily incr., weekly full •  P2: dail incr., weekly full, monthly full

–  Aufbewahrungsfristen & Medien •  daily incr.: 1 Monat (nur auf VTL) •  weekly full: 1 Monat (VTL), 1 Monat (PTL) •  monthly full: 1 Monat (VTL), 14 Monate (PTL)

–  Automatische Duplikation auf Tape (PTL)

Seite 39 Problem Datenwachstum

–  Quantum bietet mit DXi 6700 sehr gute Lösung für die HSG

•  aufgrund Datenarten (Domino-DBs, Forschungsdaten, ISO-Files der Mailauslagerung etc.)

•  Lösung ist skalierbar bzw. stufenweise ausbaubar à planbare Finanzierungsmöglichkeiten

•  integriert gut in bestehendes Umfeld (Netbackup, Brocade-Switches, Netapp)

Was nie genützt hat und s.w. auch nie nützen wird: –  Appell an BenutzerInnen, nicht mehr benötigte

Daten zu löschen. Der Mensch ist wohl Jäger und Sammler geblieben!

Seite 40 Agenda

Seite 41 Fragen / Diskussion

Aus der Praxis - storageconsortium.de...Anwenderkonferenz SC 5. Mai 2011 Seite 1 Aus der Praxis:...

Documents

Praxis für Mediation - elternkonsens.de · Praxis für Mediation Eberhard Kempf Diplom Psychologe Mediation · Supervision · Beratung Praxis für Mediation • Lerchenweg 6 •

„Aus der Praxis für die Praxis“ - vom Leitsymptom zur Diagnose · „Aus der Praxis für die Praxis“ - vom Leitsymptom zur Diagnose Kopfschmerzen, Thoraxschmerzen, Rückenschmerzen,

Kathrin Städler - fh-diakonie.de · Spiritualität in der Pflege, sei es Gesundheits- und Krankenpflege oder Altenpflege -, befassen. Untersucht werden zum einen die spirituellen

Bundesprogramm „Lernort Praxis“ - BMFSFJ€¦ · 1. Das Bundesprogramm „Lernort Praxis“ Ziel des Bundesprogramms „Lernort Praxis“ war es, Kindertageseinrichtungen in ihrer

- Theorie und aktuelle Praxis“ - docomomo.de Einladung... · “URBANITÄT - Theorie und aktuelle Praxis“ 15. KARLSRUHER TAGUNG zur Architektur - Theorie u. Praxis Freitag, 23

Weisses Alpenschaf · 5 5 1885.6601 OT Gähwiler Marco, Bischofszell 4.3.4. 6 9 1902.4554 OH Städler Peter, Lüchingen 4.3.4. 7 8 1887.1578 BES Sonderer Corinne, Weite 3.3.4. 3 1824.5534

ETERNUS CS800 Backup-to-Disk mit Deduplizierung...Case Study P + P, Germany Herausforderungen Zentrale Backup Lösung für zwei RZ Transferzeit für lokale Backups ins 2. RZ: 16 Stunden

FH-Diakonie_Reihe:DiakonieCare: Städler, Kathrin

Deduplizierung durch künstliche neuronale Netze¼nstliche-neuronale-Netze.pdf · DEDUPLIZIERUNG DURCH KÜNSTLICHE NEURONALE NETZE georges alkhouri Abschlussarbeit zur Erlangung des

Praxis Elektrotechnik

Die Praxis

VfA, Verein für Abfallentsorgung, 9470 Buchs...Ilic Ivica 01.07.92 Senn Michael 15.10.90 Ilic Vlado 01.03.89 Städler Pius 01.11.09 Jud Jürg 01.08.08 Vetsch Hansueli 01.04.07 Teilzeit-

Aus der Praxis für die Praxis Zielgruppenorientierte ... · Aus der Praxis für die Praxis Zielgruppenorientierte Produktkliniken Weiterbildungstag Ruhr - Lippe Prof. Dr. Rudolf

Beckenboden-Therapie nach Tanzberger und Heller Praxis ... · Beckenboden-Therapie nach Tanzberger und Heller Praxis Tina Flaig. Praxis Tina Flaig Krankengymnastik / Physiotherapie

Aus der Praxis für die Praxis - Annette Kübler

Aus der Praxis für die Praxis – der beratende Spielhandel

Aus der Praxis für die Praxis RAHMENKONZEPT … · AKEP Anadili ve Kültür-Eğitim Programı Schul-, Integrations- und Elternbildungsprogramm Aus der Praxis für die Praxis RAHMENKONZEPT

Fujitsu Storage Days 2017 - Friedrich Esser - „Aus der Praxis – für die Praxis“

Praxis der Lebensversicherungs- mathematikRentenversicherung) liefert Damit könnten auch Effekte bei Parameteränderungen studiert werden Praxis der Praxis der ...korn/de/teaching/VL_SS12... ·

Mitteilungsblatt€¦ · Praxis Ulrich Suaudeau Die Praxis ist vom 22.12. bis 23.12.14 geschlossen. ... Praxis Werner Dinkelbach Die Praxis ist vom 02.01.2015 bis zum 09.01.2015 geschlos-