View
213
Download
0
Category
Preview:
Citation preview
Future Trends DWH InfrastrukturDipl.-Ing. Michael AhrensPrincipal Solution Architect & SAP Technology Consultant
Montag, 21. März 2011
• Storage limitiert Applikationsperformance• Limitierung Storage zu Server durch Storage Subsystem• Bottlenecks im Storage Array• SAN Bottlenecks• Random I/O Bottlenecks durch physikalische Plattengeschwindigkeit
• I/O Bandbreite schränkt DWH Performance stark ein• Random I/O Bottlenecks beschränken OLTP Performance
EinleitungStorage Bottleneck
Montag, 21. März 2011
EinleitungExadata Technologie
• Datenbankserver• Rechen- und Speicherintensive -
Verarbeitung wird im DB server durchgeführt
• Vollparallele Joins und Aggregate
Bandbreitenintensives Suchen & Lesen
Rechenintensive Verarbeitung
• Exadata Storage Server• IO-intensives Suchen wird im
Storage Server durchgeführt• Exadata Smart Scans und Exadata
Storage Indizes filtern für die Query irrelevante Daten heraus
Zusammenarbeit von Datenbankserver und Exadata Zellen um SQL auszuführen Exadata Zelle ist intelligenter Storage und kein Datenbankknoten
Montag, 21. März 2011
EinleitungExadata Technologie
Exadata Zelle
InfiniBand Switch/Network
Single-InstanceDatabase
RAC Database
Exadata Zelle Exadata Zelle
• Exadata Zellen als einzelne Storage Server mit Platten und Exadata Software• Verteilung der Oracle Datenbanken über mehrere Exadata Zellen• Datenbankerweiterungen für Kommunikation mit Exadata Storage Server• Praktisch keine Limitierung der Anzahl der Exadata Zellen im Storage Grid
Montag, 21. März 2011
• Nein! Die Database Maschine ist nicht einfach ein “Toaster”, sondern eher eine “Bäckerei” mit allen Möglichkeiten…
Oracle Exadata ist die klassische
marktführende Oracle Datenbank mit einer besonders optimierten
Hardware.
EinleitungIst die Database Maschine ein Toaster (Appliance) ?
Montag, 21. März 2011
ProduktüberblickExadata Database Machine
• Exadata Storage Server • Optimierter Storage für Oracle• Extreme I/O und SQL Performance• Hardware und Software
• Exadata Storage Server Software
• Exadata Database Machine• Vorkonfiguriert• Hohe Performance • Well-balanced• Appliance-Ansatz
• Oracle Database 11.2
Montag, 21. März 2011
Oracle Exadata Storage Server Hardware
HardwareStorage Server X2-2, X2 -8
• Oracle X4275 Server• 2 x 6-Core Intel® Xeon® E5670 Prozessoren • 24GB RAM• Dual-port 4X QDR (40Gb/s) InfiniBand card• Disk Optionen
• 12 x 600 GB SAS disks (7.2 TB gesamt) => HSHS heißt High Speed
• 12 x 2TB SATA disks (24 TB gesamt) => HCHC heißt High Capacity
• 4 x 96 GB Oracle Flash PCIe Cards (384 GB gesamt) • Zentraler Baustein des massiv parallelen Storage Grid
• Bis zu 1.5 GB/sec Rohdaten Bandbreite pro Zelle• Bis zu 75,000 IOPS mit Smart Flash Cache
• Software vorinstalliert• Oracle Exadata Storage Server Software• Oracle Enterprise Linux• Treiber, Utilities
• Zentraler Ansprechpartner Oracle• 3 Jahre, 24 x 7, 4 Std. Reaktionszeit
Montag, 21. März 2011
• Transparentes Caching von “Hot Data” auf den 4 Flash Cards
• PCI Express für hohen Durchsatz• Keine Beschränkung durch Disk Controller
• Smart Caching• “Smarter” als bekannter LRU Algorithmus• Kein Überlauf des Caches• Automatismus
• Caching kann durch Anwendungen optimiert werden
4 x 96 GB Flash Cards
Exadata Software FeaturesExadata Smart Flash Cache
Montag, 21. März 2011
Memory Dimm F20 PCIe 96GB Flash15K SAS Disk
Tape
• Vorteile• Weniger Platten • Einfachere Storagesysteme • Bessere Antwortszeit• Geringerer Stromverbrauch• Hoher ROI
• Optimaler Ansatz• Großteil der Daten auf günstigen Platten• Transparenter Zugriff auf “Hot data” auf Flash• Vermeidung Controller Engpaß durch Nutzung
flash cards anstelle von Flash Disks• Flash Cards im Exadata Storage
• Hohe Bandbreite, low Latency Interconnect
Oracle Database 11g Release 2 und Flash TechnologieFlash Cache
15k SAS Disk
F20 PCIe 96GB Flash
• Speichern großer Datenmengen
• Aber: Beschränkung auf 250 i/o’s pro Sekunde
• Speichern geringer Datenmengen
• Aber: Sehr hohe i/o Rate
>> 10000 i/o’s pro Sekunde
Montag, 21. März 2011
Oracle Exadata Database Server Hardware
• Oracle X4170 Server• 2 x 6-Core Intel® Xeon® E5670 Prozessoren • 96GB RAM• Dual-port 4X QDR (40Gb/s) InfiniBand card• 2 x 10Gbit Ethernet• Disk Optionen
• 8 x 600 GB SAS disks (4.8 TB gesamt) => HS• 8 x 2TB SATA disks (16 TB gesamt) => HC
• Oracle Database Software vorinstalliert• Oracle Enterprise Linux oder Oracle Solaris 11• Treiber, Utilities• Zentraler Ansprechpartner Oracle• 3 Jahre, 24 x 7, 4 Std. Reaktionszeit
HardwareDatabase Server X2-2
Montag, 21. März 2011
Oracle Exadata Database Server Hardware
• Oracle X4800 Server• 8 x 8-Core Intel® Xeon® E7560 Prozessoren • 1TB RAM• 4 x Dual-port 4X QDR (40Gb/s) InfiniBand card• 8 x 10Gbit Ethernet• Disk Optionen
• 8 x 600 GB SAS disks (4.8 TB gesamt) => HS• 8 x 2TB SATA disks (16 TB gesamt) => HC
• Oracle Database Software vorinstalliert• Oracle Enterprise Linux oder Oracle Solaris 11• Treiber, Utilities• Zentraler Ansprechpartner Oracle• 3 Jahre, 24 x 7, 4 Std. Reaktionszeit
HardwareDatabase Server X2-8
Montag, 21. März 2011
HardwareInfiniband Netzwerk
Datacenter InfiniBand Switch 36
• Einheitliches InfiniBand Netzwerk• Verbindung zu Exadata Zellen• RAC Interconnect• Externe Anschlüsse (optional)
• Hohe Leistung bei geringer Latenz• 80 Gb/s Bandbreite pro Link
(40 Gb/s pro Richtung)• “SAN-Effizienz” :
Zero copy, buffer reservation• Einfache Administration ähnlich
einem IP Netzwerk• Protokolle
• Zero-copy Zero-loss Datagram Protocol (ZDP RDSv3) • Internet Protocol over InfiniBand (IPoIB)
Montag, 21. März 2011
• 8 Oracle X4170 M2 Database Server• Oder 2 Oracle X4800 Database Server• 14 Exadata Storage Server
• 14 * 12 * 600GB SAS Platten (100TB gesamt) oder• 14 * 12 * 2TB SATA Platten (336TB gesamt) und• 14 * 4 * 96GB Oracle Flash PCIe Cards (5,3TB gesamt)
• 3 Oracle Datacenter InfiniBand Switch 36• 36-port Managed QDR (40Gb/s) Switch
• 1 “Admin” Cisco Ethernet Switch 4948• Keyboard, Video, Mouse (KVM) Hardware• Redundante Power Distributions Units (PDUs)• Zentraler Ansprechpartner Oracle
• 3 Jahre, 24 x 7, 4 Std. Reaktionszeit
Skalierbarkeit durch Hinzufügen weiterer Racks!
HardwareFull Rack
Montag, 21. März 2011
Exadata Storage Zelle
Exadata Software FeaturesExadata Storagelayout und ASM
16 Celldisks
Sys Area
Griddisk 1
Griddisk n
1 CelldisksASM disk 1
ASM disk n
Eine Griddisk entspricht genau einer ASM disk
Eine X4275
4x Oracle Flash PCIe F20 12x 600 GB SAS oder 2TB SATA
Montag, 21. März 2011
• ASM Striping für Gleichverteilung I/O• ASM Spiegelung gegen Plattenfehler• ASM Failure Groups gegen Zellenfehler
Exadata Storage Zelle Exadata Storage Zelle
Hot Hot Hot Hot Hot Hot
ASMDisk Group
ASMFailure GroupASM
Failure Group
Cold Cold Cold Cold Cold Cold
Exadata Software FeaturesExadata Storagelayout und ASM
Griddisk 1 Griddisk n Griddisk 1 Griddisk n
Montag, 21. März 2011
• Reserviert für unterschiedliche Datenbanken den jeweiligen Anteilam gesamten I/O
• Beispiel Inter-Datenbank Plan:• Database A: 33% der I/O Bandbreite• Database B: 67% der I/O Bandbreite• Ungenutzte Bandbreite kann von DB A
genutzt werden• Oder
• DB B hat geringere Priorität als DB A• Z.B. Test- oder Entwicklungs-DB
• Innerhalb jeder Datenbank Priorisierung gemäß DB Resource-Plan
Database B(RAC)
Database A(Single-Instance)
33% 67%
Exadata Software FeaturesExadata I/O Resource Management
Montag, 21. März 2011
17
Integriertes “End to End” monitoringVon der Applikation über das Datacenter zum Support
Exadata
Application Operations
Data CenterOperations
Oracle Support
Grid Control OpsCenter My Oracle Support
Montag, 21. März 2011
© 2010 Oracle Corporation – Proprietary and Confidential 18
• effizientes Management über alle Systeme
• schnelle Deployments
• weniger Downtime
• “sprawl” unter Kontrolle
Physikalische Systeme
Virtuelle Systeme
• Einheitliches, durchgängiges, automatisiertes Lifecyle-Management• Virtuelle und physikalische Systeme in einem Tool
Exadata ManagementOracle Enterprisemanager OPS Center
Montag, 21. März 2011
19
DeployProvisioning of Firmware, OS, Middelware, and Applications
Clone and Scale-out
TestFunctional Testing
Load TestingTest Management
MaintainRemote Management
- TelemetryPhone Home
- Proactive SupportMy Oracle Support Integration
ManageEnd-to-End Diagnostics
- Service Levels- Root Cause
Configuration Mgmt- Change Tracking
Patch Automation- Firmware, OS Monitor
Application-to-DiskExadata Monitoring Integration
- System, Switch, StorageEnergy Utilization and Impact
GridControl
OpsCenter
EnterpriseManager
Komplettes und integriertes ManagementOracle Enterprisemanager OPS Center
Montag, 21. März 2011
Exadata ManagementOracle Enterprisemanager OPS Center
• Netzwerk discovery von Servern, Betriebssystemen und Virtuelle Maschinen
• Support von zahlreichen Protokollen• Oracle Service Tag• SNMP• SSH• IPMI
• Automatisches Inventory• CPU• Memory• Software payload
• Intelligentes gruppieren von Systemen
Montag, 21. März 2011
Exadata ManagementOracle Enterprisemanager OPS Center
End-to-End Monitoring
• Hardwaremonitoring ohne Agenten• Stromverbrauch• Hardware status
• Temperatur• Lüftergeschwindigkeit• Spannung
• OS Überwachung der wichtigsten Statistiken• Load• CPU• Memory
• History
Montag, 21. März 2011
Exadata ManagementOracle Enterprise Manager Grid Control
OEM Agent
SQLPlus
Montag, 21. März 2011
Exadata ManagementOracle Enterprise Manager Grid Control Exadata Plugin
Management Cluster ExadataPlugin
Cell cli
Cell cli
Cell cli
Cell cli
• Database Management• Single Instance• RAC• Dataguard• RMAN
Montag, 21. März 2011
Exadata ManagementOracle Enterprise Manager Grid Control
• OEM Grid Control kann ohne Funktionserweiterungen zum Management des ASM’s und der Datenbankinstanzen im Exadata verwendet werden.
• OEM Grid Control kann durch Management Packs, Konnektoren und System Monitoring Plugins erweitert werden. (http://www.oracle.com/technology/products/oem/datasheets.html)
• Provisioning and Patch Automation Pack for Database(http://www.oracle.com/technology/products/bi/db/exadata/index.html)
• Exadata Storage Server Plug-in from(http://www.oracle.com/technology/products/bi/db/exadata/index.html)
Montag, 21. März 2011
Exadata Maximum Availability Archtitecture (MAA)Komplette, offene, integrierte Verfügbarkeit
• Keine Single Points of Failure in Exadata Storage Architektur• Oracle Automatic Storage Management (ASM)• Schutz vor Platten- und Zellen-Ausfällen Datenspiegelung über
Zellen hinweg• Oracle Real Application Clusters (RAC)• Redundante Infiniband Strecken (Disk, Interconnect) und
Switches
Exadata ist in sich hochverfügbar
Montag, 21. März 2011
Exadata Maximum Availability Archtitecture (MAA)Extended RAC
LAN
Real Application
Clusters
ASM
Fast Recovery
Area
Real Application
Clusters
ASM
Fast Recovery
Area
HA Management
• Infiniband• 10 Gigabit Ethernet
• Infiniband• max. 100m• freigegebene Kabel
• 10 Gigabit Ethernet• max. 40 Km• Veränderung der Performance
Montag, 21. März 2011
WAN
• Schutz vor• Server Fehlern• Storage Fehlern• Netzwerk Fehlern• RZ Fehlern
• Echtzeit Standby offen für queries• Korrektur menschlichen Versagens
• Datenbank-, Tabellen-, Zeilen, Transaktionsebene
• Online Indizierung und Tabellenredefinition• Online patching und upgrades
Real Application
Clusters
ASM
Fast Recovery
Area
Active Data Guard
HA Management
Exadata Maximum Availability Archtitecture (MAA)Desaster Recovery Data Guard
Sync / Async Redo Transport
Data Guard
Montag, 21. März 2011
• Wird direkt auf dem DB System installiert• Überwacht den Datenbestand• Änderungen am Datenbestand werden transaktionssicher auf das Zielsystem übertragen• Das Ganze funktioniert bidirektional
Exadata Maximum Availability Archtitecture (MAA)Bi-Direct Desaster Recovery Golden Gate
Montag, 21. März 2011
Source
Database(s)
Target
Database(s)
LAN / WAN /
Internet
(TCP/IP)
Capture: Committed changes are captured (and can be filtered) as they occur by reading the transaction logs.
Capture
Trail files: Stages and queues data for routing.
Source Trail
Delivery: Applies data with transaction integrity, transforming the data as required.
Target Trail
Delivery
Bi-directional
Source TrailTarget TrailDelivery Capture
Pump
Pump
Route: Data is compressed, encrypted for routing to targets.
Pump: Distribute data for routing to multiple targets.
Read/WriteWorkload
Read/WriteWorkload
Exadata Maximum Availability Archtitecture (MAA)Bi-Direct Desaster Recovery Golden Gate
Montag, 21. März 2011
Exadata BackupExadata Backup Grundlagen
• Backupserver• Hält die Backup DB• Steuert die Backupzycklen• Kann auch Mediaserver sein
• Mediaserver• Steuert die Backupmedien• Tape, Disks, Worm usw.
• Network Data Management Protocol (NDMP)• Entwickelt für Systeme ohne Backupclients• NAS
Montag, 21. März 2011
Exadata BackupExadata Backup Client
• Legato Networker• EMC• Muss auf der Database Machine installiert
werden.• Netzwerk basiertes Backup
• Netbackup• Symantec• Muss auf der Database Machine
installiert werden.• Netzwerk basiertes Backup
• Tivoli Storage Manager• IBM• Muss auf der Database Machine installiert
werden.• Netzwerk basiertes Backup
Montag, 21. März 2011
• Empfohlene Oracle Backup Strategie• Einmaliges Level 0 Image Copy = Basis Backup• Tägliches Erstellen von inkrementellen Level 1 Backups
• Nur geänderte Blöcke werden geschrieben• Geänderte Blöcke werden bereits auf den Exadata Zellen
identifiziert und nur diese zum Datenbank Server gesendet• Das inkrementelle Backup des Tages wird mit dem
existierenden Backup aktualisiert (Merge)• Der RMAN Katalog sollte außerhalb der Database Maschine
gespeichert werden
Exadata BackupExadata Backup Strategie
Montag, 21. März 2011
Exadata Full Rack
Backup Server
Media Server
Database Machines
10Gbit
• 10 Gbit Ethernet• Backupserver Administration• Mediaserver Administration• Backupclient SW Installation
Exadata BackupExadata Variante 1
Mehrere RMAN Datenströme
mittels Backupclient
Backupclient schreibt über das Netzwerk
Media Server schreibt
Backupclientdaten auf Tape
Montag, 21. März 2011
© 2010 Oracle Corporation – Proprietary and Confidential 34
Oracle Database MachineOracle X4170
Oracle Secure Backup Management Server
StorageTek SL500
Zwei Oracle x4275Oracle Secure Backup
ServerInfiniband Quad Data Rate
NetworkBrocade 5100 8GB
FC SAN
Mehrere RMAN
Datenströme via TCP/IP tunneled über IB
Media Service tracks,
konvertiert RMAN daten in Fibre channel
Blöcke
Zu jedem RMAN
Datenstrom gehört ein
Tape Laufwerk
Exadata BackupExadata Variante 2
Montag, 21. März 2011
Exadata Full Rack
S7320
N* J4400
NDMP
40Gbit Infiniband
NFS oder iSCSI
RMAN Backup to Disk
• 40 Gbit Infiniband• Storageappliance• Modular Erweiterbar• Clusterbar• Raidschutz
Exadata BackupExadata Variante 3
Mehrere RMAN Datenströme via TCP/IP tunneled
über IB
RMAN schreibt die Datenströme in
Backupfiles auf dem OpenStorage gespeichert
NDMP fähige Backupsoftware
schreibt die RMAN Backupfiles auf
Tape
Montag, 21. März 2011
S7000
• Oracle StorEdge S7320 NAS• 1 8-Core Intel® 2.4GHz Prozessor• up to 72GB RAM per Node• Dual-port 4X QDR (40Gb/s) InfiniBand card• Disk Optionen je J4400
• 24 x 300 GB SAS disks (7.2 TB gesamt)• 24 x 500 GB SATA disks (12 TB gesamt)• 24 x 1TB SATA disks (24 TB gesamt)• 24 x 2TB SATA disks (48 TB gesamt)
• Maximal 4 * J4400
Exadata BackupExadata eine Appliance passt zur Database Maschine
Montag, 21. März 2011
• Bauliche Anforderungen • Wege• System Standort• Bodenausschnitte• Servicefläche
• Anforderung an die Umgebung• Temperatur• Relative Luftfeuchte
• Kühlung und Luftströmung• Stromversorgung• Netzwerkrichtlinien
• Oracle Enterprise Installation Standards (EIS)• Site Audit Report
Exadata SiteplanningExadata Anforderungen an die Infrastruktur
Montag, 21. März 2011
Power Max – 14 kW (14,3 kVA)Typical – 9.6 kW (9.9 kVA)
Cooling Max – 48,600 BTU/hrTypical – 32,800 BTU/hr
Airflow: front-to-back(subject to actual data center environment)
Max ~2200 CFMTypical ~950 CFM
Physical Dimensions 78.66” (H) x 23.62”(W) x 47.24”(D)1998mm (H) x 600mm (W) x 1200mm (D)
Weight 2171 lbs (986.8 kg)Operating Temperature Operating temperature/humidity: 5 ºC to 35 ºC (41
ºF to 95 ºF), 10% to 90% relative humidity, non-condensing
Altitude Operating: Up to 3,048 m, max. ambient temperature is de-rated by 1° C per 300 m above 900 m
IP addresses 22 (InfiniBand Network)68 (Ethernet Network - assuming single cluster)
Network Drops Minimum 10 network drops
External Connectivity 8 (up to 24 ) Ethernet PortsAt least 12 InfiniBand Ports
Exadata SiteplanningExadata Full Rack Anforderungen
Montag, 21. März 2011
• Management Netzwerk• Wird an das Firmennetzwerk angeschlossen• Innerhalb der Oracle Database Machine sind alle Server, ILOM und die Switche
selber an den Ethernet Switch verbunden• Von dort führt eine Verbindung nach außen• Änderungen sind nicht erlaubt
• KVM Netzanschluss• Client Netzwerk
• Bietet Anschluss an das Firmennetz für den Zugriff der Clients• InfiniBand Netzwerk
• Privates Netzwerk zwischen Datenbank Rechnern und Exadata Zellen• Oracle RAC Cluster Interconnect
• Zusätzliche Netzwerke• Die Datenbank Rechner haben zusätzliche Netzwerkkarten
Exadata SiteplanningExadata Netzwerk Anforderungen
Montag, 21. März 2011
Management/ILOMClient NetzwerkZusätzliches Netzwerk 1Zusätzliches Netzwerk 2Privates Infiniband Netzwerk
Exadata SiteplanningExadata Netzwerk Diagramm
Montag, 21. März 2011
Exadata AnlieferungExadata Container
Montag, 21. März 2011
Exadata AnlieferungExadata der Weg in das Rechenzentrum.
• Rack Dimensionen • Höhe: 2000 mm !• Breite: 600 mm• Tiefe: 1200 mm• Servicefläche
• Gewicht• Quarter Rack: 342 kg• Half Rack: 550 kg• Full Rack: 987 kg
• Maximale Neigung 6°• Bi Mobile• Gabelstapler
Montag, 21. März 2011
Exadata AnlieferungExadata der Weg in das Rechenzentrum.
Montag, 21. März 2011
Exadata InstallationExadata HW/OS Installation
• EIS Installation ist in der Regel nach 4 Stunden fertig.• Vorkonfiguration im Fertigungswerk • Keine Transportschäden
Montag, 21. März 2011
Fragen & Antworten
Montag, 21. März 2011
Recommended