© 2008 Hitachi Data Systems
Archivieren mit Hitachi’sContent Archive Platform HCAP
Wolfgang Draese – Pre-Sales Consultant
2© 2008 Hitachi Data Systems
2008 Unternehmens Ausblick
Hitachi führt die Industrie in die Speicher Virtualisierung an
Hitachi ist das einzige Unternehmen das Speicher Virtualisierung in seinemFlagschiff einbaut- Mitbewerber habenVirtualisierung nur in Peripherie Produkten
Mit den Intelligenten Virtuellen Kontrollernhat Hitachi das “Gehirn” vom “Körper” des Speichers getrent—Die Innovation aus demProdukt—wieder einmal werden die Märktegetrennt
Hitachi bietet den höchsten Grad an Hardware und Software Erfahrungen, wiean den Plattform Richtungen und demPortfolio von einheitliche Storage Services
3© 2008 Hitachi Data Systems
Hitachi Data Systems im Überblick
SpitzenleistungenSpitzenleistungen imim KundenserviceKundenserviceVerliehenVerliehen an Hitachi Data Systems von:an Hitachi Data Systems von:
100% 100% igeige TochterTochter derder Hitachi,LtdHitachi,Ltd. (NYSE:HIT). (NYSE:HIT)
Hitachi, Ltd. Hitachi, Ltd. SchwerpunktSchwerpunkt in in SpeicherSpeicher InfrastrukturInfrastrukturLLöösungensungen, , SpeicherSpeicher Management Software und Management Software und SpeicherSpeicherConsulting ServicesConsulting Services
•• gegrgegrüündetndet 19891989•• DirekterDirekter und und indirekterindirekter VertriebVertrieb in 170Lin 170Läändern & ndern & RegionenRegionen•• 3,400 3,400 MitarbeiterMitarbeiter ((steigendsteigend))
4© 2008 Hitachi Data Systems
Hitachi, Ltd. (NYSE:HIT/TSE:6501)
• gegründet 1910
• Hersteller von 20.000 Produkten– 932 Niederlassungen– 355.000 Mitarbeiter
• Umsatz im GJ2006 US-$86,8 Milliarden
• GJ2006 F&E Investitionen: US-$4,5 Milliarden– da 40% im IT-Bereich
• über US-$ 5,6 Milliarden in “cash”
Einer derweltgrößten
Elektronikkonzerne
Nummer 48 in der “2007 FORTUNE Global 500®”-Liste
5© 2008 Hitachi Data Systems
Hitachi, Ltd. GJ2006 –Umsatz nach Industriesegment
GJ2006 Umsätze von US-$86,8 Mrd.
26%26%4%4%
11%11%
13%13%
10%10%
15%15%
21%21%
High Functional-Materialien und Komponenten
Informationssysteme und Telekommunikation
Energie- und Industriesysteme
Finanzdienstleistungen
Elektronische Geräte
“Digital Media” und Konsumerprodukte
Logistik, Dienstleistungenund Weiteres
6© 2008 Hitachi Data Systems
Hitachi, Ltd. weltweit einziger vertikalerSpeicheranbieter mit US-$7,9 Mrd. Umsatz
Zwei starke Storage Business-Gruppen:
Speichertechnologie-Marktführer:• Enterprise Speicher Plattform, Midrange Speicher Plattform, Speicher-
Management Software, Beratungsdienstleistungen, HDDs
• Intelligente Virtual Storage Controller, Midrange Systeme, Rich Media, Mobile Music, Game Players ermöglichen das “Terabyte Home”
• Hard Disk Drive (HDD) Business/ Hitachi Global Storage Technologies: US-$ 4,9 Mrd.
• Speichersysteme und Lösungsgeschäft/Hitachi, Ltd. und Hitachi Data Systems: US-$ 3,0 Mrd
Wachstum und Investition in neue Märkte:
7© 2008 Hitachi Data Systems
Hitachi, Ltd.: Eines der 10 größten Software Unternehmen weltweit
Source: Software Magazine
Hitachi, Ltd. gelistet auf #9
• Web Server Software
• Tiered Storage Software• Middleware
• Operating Systems
Hitachi Global Software Angebote:
• Business Continuity• Storage Management
2006Umsatz von $9 Mrd.
8© 2008 Hitachi Data Systems
Hitachi, Ltd.: Die Schöpfer von Innovationen
Office 2005 RankingsU.S. Patent & Trademark
Hitachi, Ltd. #8
• Networking
• Biotechnology• Nanotechnology
• Thermo-Nuclear Fusion• Electron Microscopy
Hitachi Global PatentWachsendes Portfolio:
• Storage System Technologies• RFID Solutions
Hitachi USP ASIC
9© 2008 Hitachi Data Systems
Hitachi: An Open & Collaborative Partner
10© 2008 Hitachi Data Systems
Focus Bereiche 2007
Hitachis Global Storage Solutions Portfolio
StorageStorageVirtualizationVirtualization Data ProtectionData Protection Green SolutionsGreen Solutions
11© 2008 Hitachi Data Systems
Environmental Track Record
Hitachi begins Hitachi begins GroupGroup--wide investment wide investment in in
environmental facilities environmental facilities (1972)(1972)
Environmental Environmental Vision 2015Vision 2015
established established (2006)(2006)
ActivitiesActivities
AwardsAwards
Start of Start of Green 21 Green 21 ActivitiesActivities (1999)(1999)
Environmental Action Environmental Action PlanPlan formulated formulated (1992)(1992)
ISO Certification ISO Certification Committee set up Committee set up
(1994) (1994)
Technology for phasing Technology for phasing out the six substances out the six substances
covered by covered by RoHS RoHS Directive completed Directive completed (2005)(2005)
Stratospheric Ozone Stratospheric Ozone Layer Protection AwardLayer Protection Award-- U.S. Environmental Protection U.S. Environmental Protection
Agency (1991)Agency (1991)
Awarded Global Awarded Global Environment PrizeEnvironment Prize
-- WWF Japan (1993)WWF Japan (1993)
BestBest--ofof--thethe--Best Best Stratospheric Stratospheric
Ozone ProtectionOzone Protection-- U.S. EPA (1997)U.S. EPA (1997)
Minister of International Minister of International Trade & IndustryTrade & Industry’’s Prizes Prize-- Green Japan Center sponsored Green Japan Center sponsored
annual Resource Recycling annual Resource Recycling ceremony (1999)ceremony (1999)
Fourth Fourth Environmental Environmental Report, Report, ““Award Award for Excellencefor Excellence””
(2000)(2000)
12© 2008 Hitachi Data Systems
Supporting Environmental Activities
• Eco-friendly DataCenters
• Corporate SocialResponsibility
• Green Supply Chain
13© 2008 Hitachi Data Systems
Power Savings Storage Service
Power On RAID Group
Power Down RAID Group
Server tells array to power up for transactionServer tells array to power up for transaction
HDDs power up HDDs power up
Transaction takes placeTransaction takes place
Server tells array to power downServer tells array to power down
HDDs power downHDDs power down
14© 2008 Hitachi Data Systems
Hitachi Services Oriented Storage Lösungs Architektur
Applications
Email CRM File/Print Database ERP ECM
Stor
age
Plat
form
Physical Storage
FCFC SATASATA TAPETAPE ArchiveArchive
Object ServicesObject Services
File ServicesFile Services
Block ServicesBlock Services
Index, Search, Classification, Security
Virtualization, Replication, Migration, De-Duplication, Security, Encryption, Archiving
Virtualization, Discovery, Partitioning, Provisioning, Volume Management, Replication, Migration, Security, Metering
QoS
Sample Metrics
I/O
SLA
RTO
RPO
Charge Back
Utilization
StorageEconomics
Storage Practices
Risk Analysis
DataClassification
Consolidation &Tiered Storage
Compliance &Archiving
© 2008 Hitachi Data Systems
Archivieren mit Hitachi’sContent Archive Platform HCAP
16© 2008 Hitachi Data Systems
12 Exabyte
24 Exabyte
36 Exabyte
Informationsflut
Datenvolumen
300.000 v. Chr. 2.0001.5001.0005000
Für die Erstellung von 12 Exabyte Daten brauchten die Menschen 300.000 Jahre!
Für die Erstellung weiterer 12 Exabyte Datenbrauchten die Menschen circa 2,5 Jahre!
Für die Erstellung der dritten 12 Exabyte Datenbrauchten die Menschen circa 1 Jahr!
Quelle: School of Information Management and Systems (SIMS) der University of California, Berkeley.http://www.sims.berkeley.edu/
17© 2008 Hitachi Data Systems
Definition of an Archive
• What is an archive?• A consistent copy of a
collection of data, usually taken for the purpose of maintaining a long-term durable record of a business or application state. (Collins Dictionary.)
18© 2008 Hitachi Data Systems
Seeing Red: The Business Challenge
Average cost of pre-trial discovery is $1.3M
Feb ’05 Bank of America incident: lost backup tapes - 1.2 million federal employees credit cards affected
June ’05 Morgan Stanley incident:misplaced backup tapes containing critical email records; plaintiff seeking $2.7B in damages and govt. investigating non-compliance
April ‘05 watershed case of Zubulake vs. UBS Warburg - Federal jury mandated that UBS pay $29.2 million in damages
Significance: Placed burden of producing electronic evidence on companies issued with discovery
Result: Companies must proactively prepare for electronic discovery
19© 2008 Hitachi Data Systems
Digital archivierte Kapazität nach Medium
Source: Enterprise Strategy Group
0
5,000,000
10,000,000
15,000,000
20,000,000
25,000,000
30,000,000
2005 2006 2007 2008 2009 2010
Totale, digitalarchivierte Kapazität nach Mediumtyp in PB
Festplatte Band Opt. Platte
20© 2008 Hitachi Data Systems
Compliance: Aufbewahrungszeit werden länger
21© 2008 Hitachi Data Systems
Eine integrierte Archiv Lösung
• Offen• Objektorientiert• Regelbasiert• Zugänglich für mehrere Anwendungen• Schnelle Inhaltsermittlung• Basierend auf Standartschnittstellen
Hitachi Content Archiv PlattformEinführung
22© 2008 Hitachi Data Systems
• Das Informationswachstum steigt – besonders in Punkto „Fixed Content“
• Wofür steht „Fixed Content“?• z.B. Office Dokumente, E-Mails, Bilder, MP3s,
Medizinische Aufnahmen, usw…• Gesetze erzwingen zu neunen Strategien in der
Datenaufbewahrung• Warum nutzt man nicht die herkömmlichen
Speichermethoden?• Keine Lösung für das Problem der
Langzeitarchivierung• Sie bieten keinen Schutz, wie z.B. Authentifizierung• Sie sind nicht immer Online => Das Aktive Archiv!
Wofür wurde HCAP entwickelt?
23© 2008 Hitachi Data Systems
Referenzmodel für aktive Archivierung
** Modified Version of OAIS (ISO 14721:2002)
Preservation Planning
Administration
Producer ConsumerIngest Access
Primary Storage
Next Tier
Next Tier
DataManagement
PPP
P
2
24© 2008 Hitachi Data Systems
Eine integrierte Lösung von
Hitachi Content Archive Platform (HCAP)Variante 1
Hitachi Data Systems
25© 2008 Hitachi Data Systems
USP VM und USP VM USP VM und USP VM ““DiskDisk--LessLess””
USP100/600/1100USP100/600/1100USP VUSP V
Size of Organization ServedSmall Business or Department Large BusinessMidsized Business or Department
Func
tiona
lity
Dem
ande
dHitachi Content Archive Platform (HCAP)Variante 2
WMS100WMS100AMS200AMS200
AMS1000AMS1000AMS500AMS500
Intelligent Virtual Intelligent Virtual Storage ControllersStorage Controllers
Hitachi Content Archive Platform
Einheitliche Managementplattform
Bis zu 20 PB unterstützte Kapazität
26© 2008 Hitachi Data Systems
HCAP mit Fremdspeicher
ERP Video Streaming Data Mining E-mail Print
Services
100% High 100% High Perf.Perf.
Archive Archive BackupBackup99.9% General 99.9% General
PurposePurpose
Thunder 9585V™ Lightning 9980V™ Thunder SATA CLARiiON IBM SharkEMC DMX2000
File Service
Universal Storage Platform V
HCAP
Hitachi Content Archive Platform
Kombination von Archivierung und Virtualisierung
27© 2008 Hitachi Data Systems
Was erfordert aber „Fixed Content“?
• Integrierte Disaster Recovery Funktionen• Unterstützung von Business Continuity Plänen mit technischen
Funktionalitäten• Minimierung des Adminaufwandes auf annähernd Null
• Skalierbarkeit bis in den Peta Bytebereich• Langlebigkeit der Technologie• Migrationspfade
• Schutz vor Änderungen der Inhalte• Unterstützung bei der Erfüllung von gesetzlichen Bestimmungen
• Performanter Zugriff • Immer und überallVerfVerfüügbarkeitgbarkeit
AuthentizitAuthentizitäätt
LebensdauerLebensdauer
ManagementManagement
28© 2008 Hitachi Data Systems
Wie setzt man alle Kriterien für eine “Aktive Archivierung” nun um?
Inhalt, der aufbewahrt werden soll
Metadaten, die erläuternde Attribute über den File beinhalten
Richtlinien zur Verwaltung der Aufbewahrungsfrist, Schutz, Verwendung, die die Authentizität garantieren
Anwender lesen und schreiben Files, die intern als ein „Gesamtobjekt“ verwaltet werden
29© 2008 Hitachi Data Systems
P
21May212036
May
Aktive Archivierungmit objektbasierenden Regeln (Policies)
AuthenticationSchutz vor Verfälschungund ZerstörungPeriodisches Checking auf IntegritätAuswählbareHashalgorithmen SHA-1, 256, 384, 512; MD5, RIPEMD-160
0 1 1 0 0 1 1 0 0 1 0 11 1 1 0 1 1 0 1 1 1 0 00 0 1 1 0 0 0 1 0 0 0 1
A
X X X X X X X X X X X XX X X X X X X X X X X XX X X X X X X X X X X X
RetentionSchutz vor Löschung in einem definierten AufbewahrungszeitraumSetzbar für einzelne Objekte oder vererbbar
SchutzZusätzlicher Schutz durch einstellbare Anzahl interner ReplikakopienSelbstkonfigurierend und Selbstheilend
ShreddingPhysisches Löschen der Informationen von PlattegemäßUS DoD 5520-M spec.
ReplikationObjektbasierend: Bi-directional,Dateien, Metadaten und PoliciesRepliziert Daten in eine andere Lokation
Duplicate EliminationErkennt und untersucht DuplicatesEntfernt Duplicates, aber schützt die Integrität
30© 2008 Hitachi Data Systems
Datenverschlüsselung
• Schützt den Content vor einer Rekonstruktion von gestohlenen Medien.
• nutzt eine patentierte “Secret Sharing”Technologie
– Transparente Verschlüsselung des gesamten Contents, Metadaten und Search Index
– Nutzt ein “Distributed Key Management”
• Beeinflusst nicht die SEC 17a-4 ComplianceAnforderungen
31© 2008 Hitachi Data Systems
<M>
Custom Metadata
• Ermöglicht Applikationen bestimmte Metadaten mit HCAP Objekten zu verknüpfen
• “Custom metadata” kann zur Kommentierung von Objekten genutzt werden
• Content und Metadaten formen ein einziges, suchbares HCAP Objekt
• „Custom metadata“ kann an ein HCAP Objekt angehängt werden
• an neue, oder an bereits bestehende HCAP Objekte
Erhöht die Möglichkeit Daten nach User- oder Applikationsanforderungen zu markieren
32© 2008 Hitachi Data Systems
Tape Library
Archive Object Backup
NDMP V4
Content ArchivePlatform Objects
• Wiederherstellung des kompletten Archivs, eines Verzeichnisses oder eines einzelnen Objekts
• Backup Sets können signiert, verschlüsselt und/oder komprimiert werden
• Hitachi Data Protection Suite, CommVault Galaxy, NetBackup, usw.
• Unterstützung von vollen bzw. inkrementellen und differenziellen Backup
33© 2008 Hitachi Data Systems
Archive Object Replikation
• Cluster-zu-Cluster Replikation im GUI, inkl. Reporting
Objects
•Primäres Archiv zu einer Stand-by Replica -klassisches Disaster Recovery•Remote Office zu Zentralarchiv Konfiguration•Bi-Directional – Active-Active Konfiguration wo 2 Cluster als Replika zueinander stehen
34© 2008 Hitachi Data Systems
Content Replication
• das Administrations-GUI erlaubt die Erstellung von Replikationslinks zwischen Archiven
• Quell-Ordner wird mit einem bestimmten Zielcluster verbunden
• Einstellbare “Link” Optionen enthalten z.B.:
• Digital Signatures – stellt die sichere Authentifizierung sicher
• Komprimierung – Minimiert die Anforderungen an die WAN Bandbreite
• Encryption in flight – Ermöglicht die Nutzung von öffentlichen Netzen
• die Replication basiert auf dem Objekt• Content, Metadaten, und Policies
• Reporting über den Replikationsprozessund seinen Backlog
Replicated file contentSynchronized and secure archive objects
Wide Area Network
London, UKNY, USA
HCAP ArchivePeer clusters linked for replication
35© 2008 Hitachi Data Systems
NFS WebDAVCIFS/SMBHTTP / HTTPS
• Performance ähnlich dem HTTP Gateway
• Für RFC 2518 Clienten
• “MountPoint” ist Teil einer URL
• MS Windows Interface
• Mapping von Netzwerklaufwerken zu einem Clusterfilesystempfad (data oder meta data)
• Schnellstes Gateway
• Viele existierende Libs
• GET, PUT, EXISTS, DELETE Operationen
• Metadaten können der URL mitgegeben werden
File System – Protokoll Unterstützung
SMTP
Bis zu 3x schnell als HTTP
SMTP Server unterstütztRFCs 1652, 2821, 2822 und 2920
NDMP
Standard Backup/Restore Gateway
Daten und Metadata werden zueinemtransportfähigenObjekt geformt
• KompatibelesInterface, hauptsächlich für UNIX
• Hoher Protokoll Overhead
36© 2008 Hitachi Data Systems
Migration zur nächsten Generationen
Cluster zu Cluster Replikation
37© 2008 Hitachi Data Systems
Migration zur nächsten Generationen
Software Updates
1 2
3 4
38© 2008 Hitachi Data Systems
Migration zur nächsten Generationen
Volume Migration
Kopieren der Daten per Storagemittelvon einer Generation zur nächsten
39© 2008 Hitachi Data Systems
HiCommand Tiered Storage Manager in Aktion
Exchange DB
Exchange Log
Order Entry DB
Web Commerce
Appl. Development
Transaction logs
Reservation Sys
Manufacturing DB
Archiv / HCAP
Food Distribution
Scheduling
Logistics
Mapping
USP mit externen Speicher
Storage-Infrastrukturerscheint wie ein
Speicher-Reservoir
Applikationsdatenwerden an die
passenden Speicherschichten
gespeichert
Korrektur der Daten loka
Relokierung einer Applik
Konsolidieren
Ausscheiden eines Array
Hinzufügen eines Array
Archiviere Inhalte
…
© 2008 Hitachi Data Systems
Archivieren mit Hitachi’sContent Archive Platform HCAP
41© 2008 Hitachi Data Systems
Hitachi Data Discovery Suite
… und wie findet man seine Informationen wieder?
42© 2008 Hitachi Data Systems
HNAS
HNAS + HDDS
HDDS
HCAP
HCAP Search
HCAP + Search
Data Discovery Suite stellt eine einzige Suchoberfläche für die Suche über verschiedene Hitachi High-Performance NAS Plattform und Hitachi Content Archive
ISVs können alle Funktionalitäten der Data Discovery Suite durch CLIs und APIs inklusive Suche, Risiko Berechnung ACL Filtern und Datei Einstufung nutzen
Data Discovery Suite Basis TopologieGemischte Hitachi High-Performance NAS Plattform und Hitachi Content Archive Plattform Konfiguration
43© 2008 Hitachi Data Systems
Hitachi Data Discovery Suite Funktionen, Möglichkeiten, Nutzen
• Funktionen– Daten Zugriff basierend auf Microsoft Active Directory und LDAP Rechten– Windows Vista Gadget
• Möglichkeit– Verschiedene Nutzer können direkt ihre autorisierten Dateien
wiederherstellen.
• Nutzen– Hilft bei reduzieren der Betriebskosten. Stellt Datenschutz zur Verfügung.
• Was ist einmalig an dieser Funktion?– Zentralisierte Authentifizierung durch das Nutzen von LDAP oder Active
Directory.– Hitachi Data Discovery Suite unterstützt die Hitachi Content Archive
Plattform und Hitachi High-Performance NAS Plattform Hardware.
44© 2008 Hitachi Data Systems
Hitachi Content Archive Platform Services
• Implementation Service• Replication Service• Assessment Service• Migration Service
Hitachi Content Archive Platform
45© 2008 Hitachi Data Systems
ArC
IngestionData production applications process and send satellite images to ArC via HTTP
Processing Cluster70 applications augmenting original data
with additional analysis and metadata
Access via HTTP Gateway Archivas data preservation
Access via NFS Gateway
AccessResearch community
Why NASA chose HDS:
• Open file system interface
• Ease of scalability
• Data ingestion performance
72TB solution (36TB protected)The environment:
• 72TB archive
• HCAP archives data from Aura's Ozone Monitoring Instrument (OMI), which monitors the ozone and other chemical components in the Earth’s atmosphere.
Case Study: NASA’s scientific data
HCAP gives me lots of flexibility in how I configure my storage. I can drop the cluster in and scale it to large amounts of storage.”
– Curt TilmesNASA Goddard Space Flight Center
“
46© 2008 Hitachi Data Systems
Case Study: Postini
• Global leader in integrated message management
– Suite of on-demand services provides spam, virus, and worm blocking, message archiving and encryption and message continuity provided on a “software as a service” basis
• 35,000 Businesses Served• 9.1 Million End Users• 1 Billion Messages Every Day
• Replicated HDS Systems in redundant global data centers provide trustworthy, protected archive storage for Postini Archive Manager server
“When planning our Postini Archive Manager service, we invested a great deal of time and resources investigating and testing virtually every available archival storage solution on the market today. After extensive, hands-on testing, we concluded that only HDS offered the combination of data protection, performance, scalability, flexibility and cost-effectiveness demanded by both us and our customers”
Scott Petry, Founder, CTO and EVP of Product Development
Santa Clara London
Chicago Amsterdam
47© 2008 Hitachi Data Systems
Nondisruptive Service
• SelbstschutzRegeln erzwingen eine Dokumentenaufbewahrungszeit, Authentifizierung und Objektreplikation zur Sicherung von digitalem Vermögen
• Selbst-KonfigurierendEinfachste Installation und Integration durch das Setzen von Systemkonfigurationen durch High –Level Policies
P
• FernwartungDiagnose, Patches und Upgrades können per Modem oder VPN durchgeführt werden
• SelbstheilungDie Architektur federt den Ausfall von Einzelkomponenten ab, ohne einen Einfluss auf die Datenintegrität, bzw. den Zugriff auf die Daten
• Self-BalancingPasst sich automatisch an die Umgebung an, durch die ständige Kontrolle sämtlicher Aktivitäten und Kapazitäten der einzelnen Knoten
• DatensicherheitSämtliche Daten werden auf in der Industrie bewährten SAN – Speichersystmen abgelegt.Grundsätzlich Hardware RAID geschützt!