Archivieren mit Hitachi’s Content Archive Platform HCAPkonferenz-nz.dlr.de/pages/storage2008/present/1. Konferenztag/05_05... · ©2008 Hitachi Data Systems Archivieren mit Hitachi’s

© 2008 Hitachi Data Systems

Archivieren mit Hitachi’sContent Archive Platform HCAP

Wolfgang Draese – Pre-Sales Consultant

2© 2008 Hitachi Data Systems

2008 Unternehmens Ausblick

Hitachi führt die Industrie in die Speicher Virtualisierung an

Hitachi ist das einzige Unternehmen das Speicher Virtualisierung in seinemFlagschiff einbaut- Mitbewerber habenVirtualisierung nur in Peripherie Produkten

Mit den Intelligenten Virtuellen Kontrollernhat Hitachi das “Gehirn” vom “Körper” des Speichers getrent—Die Innovation aus demProdukt—wieder einmal werden die Märktegetrennt

Hitachi bietet den höchsten Grad an Hardware und Software Erfahrungen, wiean den Plattform Richtungen und demPortfolio von einheitliche Storage Services


Hitachi Data Systems im Überblick

SpitzenleistungenSpitzenleistungen imim KundenserviceKundenserviceVerliehenVerliehen an Hitachi Data Systems von:an Hitachi Data Systems von:

100% 100% igeige TochterTochter derder Hitachi,LtdHitachi,Ltd. (NYSE:HIT). (NYSE:HIT)

Hitachi, Ltd. Hitachi, Ltd. SchwerpunktSchwerpunkt in in SpeicherSpeicher InfrastrukturInfrastrukturLLöösungensungen, , SpeicherSpeicher Management Software und Management Software und SpeicherSpeicherConsulting ServicesConsulting Services

•• gegrgegrüündetndet 19891989•• DirekterDirekter und und indirekterindirekter VertriebVertrieb in 170Lin 170Läändern & ndern & RegionenRegionen•• 3,400 3,400 MitarbeiterMitarbeiter ((steigendsteigend))


Hitachi, Ltd. (NYSE:HIT/TSE:6501)

• gegründet 1910

• Hersteller von 20.000 Produkten– 932 Niederlassungen– 355.000 Mitarbeiter

• Umsatz im GJ2006 US-$86,8 Milliarden

• GJ2006 F&E Investitionen: US-$4,5 Milliarden– da 40% im IT-Bereich

• über US-$ 5,6 Milliarden in “cash”

Einer derweltgrößten

Elektronikkonzerne

Nummer 48 in der “2007 FORTUNE Global 500®”-Liste


Hitachi, Ltd. GJ2006 –Umsatz nach Industriesegment

GJ2006 Umsätze von US-$86,8 Mrd.

26%26%4%4%

11%11%

13%13%

10%10%

15%15%

21%21%

High Functional-Materialien und Komponenten

Informationssysteme und Telekommunikation

Energie- und Industriesysteme

Finanzdienstleistungen

Elektronische Geräte

“Digital Media” und Konsumerprodukte

Logistik, Dienstleistungenund Weiteres


Hitachi, Ltd. weltweit einziger vertikalerSpeicheranbieter mit US-$7,9 Mrd. Umsatz

Zwei starke Storage Business-Gruppen:

Speichertechnologie-Marktführer:• Enterprise Speicher Plattform, Midrange Speicher Plattform, Speicher-

Management Software, Beratungsdienstleistungen, HDDs

• Intelligente Virtual Storage Controller, Midrange Systeme, Rich Media, Mobile Music, Game Players ermöglichen das “Terabyte Home”

• Hard Disk Drive (HDD) Business/ Hitachi Global Storage Technologies: US-$ 4,9 Mrd.

• Speichersysteme und Lösungsgeschäft/Hitachi, Ltd. und Hitachi Data Systems: US-$ 3,0 Mrd

Wachstum und Investition in neue Märkte:


Hitachi, Ltd.: Eines der 10 größten Software Unternehmen weltweit

Source: Software Magazine

Hitachi, Ltd. gelistet auf #9

• Web Server Software

• Tiered Storage Software• Middleware

• Operating Systems

Hitachi Global Software Angebote:

• Business Continuity• Storage Management

2006Umsatz von $9 Mrd.


Hitachi, Ltd.: Die Schöpfer von Innovationen

Office 2005 RankingsU.S. Patent & Trademark

Hitachi, Ltd. #8

• Networking

• Biotechnology• Nanotechnology

• Thermo-Nuclear Fusion• Electron Microscopy

Hitachi Global PatentWachsendes Portfolio:

• Storage System Technologies• RFID Solutions

Hitachi USP ASIC


Hitachi: An Open & Collaborative Partner


Focus Bereiche 2007

Hitachis Global Storage Solutions Portfolio

StorageStorageVirtualizationVirtualization Data ProtectionData Protection Green SolutionsGreen Solutions


Environmental Track Record

Hitachi begins Hitachi begins GroupGroup--wide investment wide investment in in

environmental facilities environmental facilities (1972)(1972)

Environmental Environmental Vision 2015Vision 2015

established established (2006)(2006)

ActivitiesActivities

AwardsAwards

Start of Start of Green 21 Green 21 ActivitiesActivities (1999)(1999)

Environmental Action Environmental Action PlanPlan formulated formulated (1992)(1992)

ISO Certification ISO Certification Committee set up Committee set up

(1994) (1994)

Technology for phasing Technology for phasing out the six substances out the six substances

covered by covered by RoHS RoHS Directive completed Directive completed (2005)(2005)

Stratospheric Ozone Stratospheric Ozone Layer Protection AwardLayer Protection Award-- U.S. Environmental Protection U.S. Environmental Protection

Agency (1991)Agency (1991)

Awarded Global Awarded Global Environment PrizeEnvironment Prize

-- WWF Japan (1993)WWF Japan (1993)

BestBest--ofof--thethe--Best Best Stratospheric Stratospheric

Ozone ProtectionOzone Protection-- U.S. EPA (1997)U.S. EPA (1997)

Minister of International Minister of International Trade & IndustryTrade & Industry’’s Prizes Prize-- Green Japan Center sponsored Green Japan Center sponsored

annual Resource Recycling annual Resource Recycling ceremony (1999)ceremony (1999)

Fourth Fourth Environmental Environmental Report, Report, ““Award Award for Excellencefor Excellence””

(2000)(2000)


Supporting Environmental Activities

• Eco-friendly DataCenters

• Corporate SocialResponsibility

• Green Supply Chain


Power Savings Storage Service

Power On RAID Group

Power Down RAID Group

Server tells array to power up for transactionServer tells array to power up for transaction

HDDs power up HDDs power up

Transaction takes placeTransaction takes place

Server tells array to power downServer tells array to power down

HDDs power downHDDs power down


Hitachi Services Oriented Storage Lösungs Architektur

Applications

Email CRM File/Print Database ERP ECM

Stor

age

Plat

form

Physical Storage

FCFC SATASATA TAPETAPE ArchiveArchive

Object ServicesObject Services

File ServicesFile Services

Block ServicesBlock Services

Index, Search, Classification, Security

Virtualization, Replication, Migration, De-Duplication, Security, Encryption, Archiving

Virtualization, Discovery, Partitioning, Provisioning, Volume Management, Replication, Migration, Security, Metering

QoS

Sample Metrics

I/O

SLA

RTO

RPO

Charge Back

Utilization

StorageEconomics

Storage Practices

Risk Analysis

DataClassification

Consolidation &Tiered Storage

Compliance &Archiving




12 Exabyte

24 Exabyte

36 Exabyte

Informationsflut

Datenvolumen

300.000 v. Chr. 2.0001.5001.0005000

Für die Erstellung von 12 Exabyte Daten brauchten die Menschen 300.000 Jahre!

Für die Erstellung weiterer 12 Exabyte Datenbrauchten die Menschen circa 2,5 Jahre!

Für die Erstellung der dritten 12 Exabyte Datenbrauchten die Menschen circa 1 Jahr!

Quelle: School of Information Management and Systems (SIMS) der University of California, Berkeley.http://www.sims.berkeley.edu/


Definition of an Archive

• What is an archive?• A consistent copy of a

collection of data, usually taken for the purpose of maintaining a long-term durable record of a business or application state. (Collins Dictionary.)


Seeing Red: The Business Challenge

Average cost of pre-trial discovery is $1.3M

Feb ’05 Bank of America incident: lost backup tapes - 1.2 million federal employees credit cards affected

June ’05 Morgan Stanley incident:misplaced backup tapes containing critical email records; plaintiff seeking $2.7B in damages and govt. investigating non-compliance

April ‘05 watershed case of Zubulake vs. UBS Warburg - Federal jury mandated that UBS pay $29.2 million in damages

Significance: Placed burden of producing electronic evidence on companies issued with discovery

Result: Companies must proactively prepare for electronic discovery


Digital archivierte Kapazität nach Medium

Source: Enterprise Strategy Group

0

5,000,000

10,000,000

15,000,000

20,000,000

25,000,000

30,000,000

2005 2006 2007 2008 2009 2010

Totale, digitalarchivierte Kapazität nach Mediumtyp in PB

Festplatte Band Opt. Platte


Compliance: Aufbewahrungszeit werden länger


Eine integrierte Archiv Lösung

• Offen• Objektorientiert• Regelbasiert• Zugänglich für mehrere Anwendungen• Schnelle Inhaltsermittlung• Basierend auf Standartschnittstellen

Hitachi Content Archiv PlattformEinführung


• Das Informationswachstum steigt – besonders in Punkto „Fixed Content“

• Wofür steht „Fixed Content“?• z.B. Office Dokumente, E-Mails, Bilder, MP3s,

Medizinische Aufnahmen, usw…• Gesetze erzwingen zu neunen Strategien in der

Datenaufbewahrung• Warum nutzt man nicht die herkömmlichen

Speichermethoden?• Keine Lösung für das Problem der

Langzeitarchivierung• Sie bieten keinen Schutz, wie z.B. Authentifizierung• Sie sind nicht immer Online => Das Aktive Archiv!

Wofür wurde HCAP entwickelt?


Referenzmodel für aktive Archivierung

** Modified Version of OAIS (ISO 14721:2002)

Preservation Planning

Administration

Producer ConsumerIngest Access

Primary Storage

Next Tier

Next Tier

DataManagement

PPP

P

2


Eine integrierte Lösung von

Hitachi Content Archive Platform (HCAP)Variante 1

Hitachi Data Systems


USP VM und USP VM USP VM und USP VM ““DiskDisk--LessLess””

USP100/600/1100USP100/600/1100USP VUSP V

Size of Organization ServedSmall Business or Department Large BusinessMidsized Business or Department

Func

tiona

lity

Dem

ande

dHitachi Content Archive Platform (HCAP)Variante 2

WMS100WMS100AMS200AMS200

AMS1000AMS1000AMS500AMS500

Intelligent Virtual Intelligent Virtual Storage ControllersStorage Controllers

Hitachi Content Archive Platform

Einheitliche Managementplattform

Bis zu 20 PB unterstützte Kapazität


HCAP mit Fremdspeicher

ERP Video Streaming Data Mining E-mail Print

Services

100% High 100% High Perf.Perf.

Archive Archive BackupBackup99.9% General 99.9% General

PurposePurpose

Thunder 9585V™ Lightning 9980V™ Thunder SATA CLARiiON IBM SharkEMC DMX2000

File Service

Universal Storage Platform V

HCAP


Kombination von Archivierung und Virtualisierung


Was erfordert aber „Fixed Content“?

• Integrierte Disaster Recovery Funktionen• Unterstützung von Business Continuity Plänen mit technischen

Funktionalitäten• Minimierung des Adminaufwandes auf annähernd Null

• Skalierbarkeit bis in den Peta Bytebereich• Langlebigkeit der Technologie• Migrationspfade

• Schutz vor Änderungen der Inhalte• Unterstützung bei der Erfüllung von gesetzlichen Bestimmungen

• Performanter Zugriff • Immer und überallVerfVerfüügbarkeitgbarkeit

AuthentizitAuthentizitäätt

LebensdauerLebensdauer

ManagementManagement


Wie setzt man alle Kriterien für eine “Aktive Archivierung” nun um?

Inhalt, der aufbewahrt werden soll

Metadaten, die erläuternde Attribute über den File beinhalten

Richtlinien zur Verwaltung der Aufbewahrungsfrist, Schutz, Verwendung, die die Authentizität garantieren

Anwender lesen und schreiben Files, die intern als ein „Gesamtobjekt“ verwaltet werden


P

21May212036

May

Aktive Archivierungmit objektbasierenden Regeln (Policies)

AuthenticationSchutz vor Verfälschungund ZerstörungPeriodisches Checking auf IntegritätAuswählbareHashalgorithmen SHA-1, 256, 384, 512; MD5, RIPEMD-160

0 1 1 0 0 1 1 0 0 1 0 11 1 1 0 1 1 0 1 1 1 0 00 0 1 1 0 0 0 1 0 0 0 1

A

X X X X X X X X X X X XX X X X X X X X X X X XX X X X X X X X X X X X

RetentionSchutz vor Löschung in einem definierten AufbewahrungszeitraumSetzbar für einzelne Objekte oder vererbbar

SchutzZusätzlicher Schutz durch einstellbare Anzahl interner ReplikakopienSelbstkonfigurierend und Selbstheilend

ShreddingPhysisches Löschen der Informationen von PlattegemäßUS DoD 5520-M spec.

ReplikationObjektbasierend: Bi-directional,Dateien, Metadaten und PoliciesRepliziert Daten in eine andere Lokation

Duplicate EliminationErkennt und untersucht DuplicatesEntfernt Duplicates, aber schützt die Integrität


Datenverschlüsselung

• Schützt den Content vor einer Rekonstruktion von gestohlenen Medien.

• nutzt eine patentierte “Secret Sharing”Technologie

– Transparente Verschlüsselung des gesamten Contents, Metadaten und Search Index

– Nutzt ein “Distributed Key Management”

• Beeinflusst nicht die SEC 17a-4 ComplianceAnforderungen


<M>

Custom Metadata

• Ermöglicht Applikationen bestimmte Metadaten mit HCAP Objekten zu verknüpfen

• “Custom metadata” kann zur Kommentierung von Objekten genutzt werden

• Content und Metadaten formen ein einziges, suchbares HCAP Objekt

• „Custom metadata“ kann an ein HCAP Objekt angehängt werden

• an neue, oder an bereits bestehende HCAP Objekte

Erhöht die Möglichkeit Daten nach User- oder Applikationsanforderungen zu markieren


Tape Library

Archive Object Backup

NDMP V4

Content ArchivePlatform Objects

• Wiederherstellung des kompletten Archivs, eines Verzeichnisses oder eines einzelnen Objekts

• Backup Sets können signiert, verschlüsselt und/oder komprimiert werden

• Hitachi Data Protection Suite, CommVault Galaxy, NetBackup, usw.

• Unterstützung von vollen bzw. inkrementellen und differenziellen Backup


Archive Object Replikation

• Cluster-zu-Cluster Replikation im GUI, inkl. Reporting

Objects

•Primäres Archiv zu einer Stand-by Replica -klassisches Disaster Recovery•Remote Office zu Zentralarchiv Konfiguration•Bi-Directional – Active-Active Konfiguration wo 2 Cluster als Replika zueinander stehen


Content Replication

• das Administrations-GUI erlaubt die Erstellung von Replikationslinks zwischen Archiven

• Quell-Ordner wird mit einem bestimmten Zielcluster verbunden

• Einstellbare “Link” Optionen enthalten z.B.:

• Digital Signatures – stellt die sichere Authentifizierung sicher

• Komprimierung – Minimiert die Anforderungen an die WAN Bandbreite

• Encryption in flight – Ermöglicht die Nutzung von öffentlichen Netzen

• die Replication basiert auf dem Objekt• Content, Metadaten, und Policies

• Reporting über den Replikationsprozessund seinen Backlog

Replicated file contentSynchronized and secure archive objects

Wide Area Network

London, UKNY, USA

HCAP ArchivePeer clusters linked for replication


NFS WebDAVCIFS/SMBHTTP / HTTPS

• Performance ähnlich dem HTTP Gateway

• Für RFC 2518 Clienten

• “MountPoint” ist Teil einer URL

• MS Windows Interface

• Mapping von Netzwerklaufwerken zu einem Clusterfilesystempfad (data oder meta data)

• Schnellstes Gateway

• Viele existierende Libs

• GET, PUT, EXISTS, DELETE Operationen

• Metadaten können der URL mitgegeben werden

File System – Protokoll Unterstützung

SMTP

Bis zu 3x schnell als HTTP

SMTP Server unterstütztRFCs 1652, 2821, 2822 und 2920

NDMP

Standard Backup/Restore Gateway

Daten und Metadata werden zueinemtransportfähigenObjekt geformt

• KompatibelesInterface, hauptsächlich für UNIX

• Hoher Protokoll Overhead


Migration zur nächsten Generationen

Cluster zu Cluster Replikation



Software Updates

1 2

3 4



Volume Migration

Kopieren der Daten per Storagemittelvon einer Generation zur nächsten


HiCommand Tiered Storage Manager in Aktion

Exchange DB

Exchange Log

Order Entry DB

Web Commerce

Appl. Development

Transaction logs

Reservation Sys

Manufacturing DB

Archiv / HCAP

Food Distribution

Scheduling

Logistics

Mapping

USP mit externen Speicher

Storage-Infrastrukturerscheint wie ein

Speicher-Reservoir

Applikationsdatenwerden an die

passenden Speicherschichten

gespeichert

Korrektur der Daten loka

Relokierung einer Applik

Konsolidieren

Ausscheiden eines Array

Hinzufügen eines Array

Archiviere Inhalte

…




Hitachi Data Discovery Suite

… und wie findet man seine Informationen wieder?


HNAS

HNAS + HDDS

HDDS

HCAP

HCAP Search

HCAP + Search

Data Discovery Suite stellt eine einzige Suchoberfläche für die Suche über verschiedene Hitachi High-Performance NAS Plattform und Hitachi Content Archive

ISVs können alle Funktionalitäten der Data Discovery Suite durch CLIs und APIs inklusive Suche, Risiko Berechnung ACL Filtern und Datei Einstufung nutzen

Data Discovery Suite Basis TopologieGemischte Hitachi High-Performance NAS Plattform und Hitachi Content Archive Plattform Konfiguration


Hitachi Data Discovery Suite Funktionen, Möglichkeiten, Nutzen

• Funktionen– Daten Zugriff basierend auf Microsoft Active Directory und LDAP Rechten– Windows Vista Gadget

• Möglichkeit– Verschiedene Nutzer können direkt ihre autorisierten Dateien

wiederherstellen.

• Nutzen– Hilft bei reduzieren der Betriebskosten. Stellt Datenschutz zur Verfügung.

• Was ist einmalig an dieser Funktion?– Zentralisierte Authentifizierung durch das Nutzen von LDAP oder Active

Directory.– Hitachi Data Discovery Suite unterstützt die Hitachi Content Archive

Plattform und Hitachi High-Performance NAS Plattform Hardware.


Hitachi Content Archive Platform Services

• Implementation Service• Replication Service• Assessment Service• Migration Service



ArC

IngestionData production applications process and send satellite images to ArC via HTTP

Processing Cluster70 applications augmenting original data

with additional analysis and metadata

Access via HTTP Gateway Archivas data preservation

Access via NFS Gateway

AccessResearch community

Why NASA chose HDS:

• Open file system interface

• Ease of scalability

• Data ingestion performance

72TB solution (36TB protected)The environment:

• 72TB archive

• HCAP archives data from Aura's Ozone Monitoring Instrument (OMI), which monitors the ozone and other chemical components in the Earth’s atmosphere.

Case Study: NASA’s scientific data

HCAP gives me lots of flexibility in how I configure my storage. I can drop the cluster in and scale it to large amounts of storage.”

– Curt TilmesNASA Goddard Space Flight Center

“


Case Study: Postini

• Global leader in integrated message management

– Suite of on-demand services provides spam, virus, and worm blocking, message archiving and encryption and message continuity provided on a “software as a service” basis

• 35,000 Businesses Served• 9.1 Million End Users• 1 Billion Messages Every Day

• Replicated HDS Systems in redundant global data centers provide trustworthy, protected archive storage for Postini Archive Manager server

“When planning our Postini Archive Manager service, we invested a great deal of time and resources investigating and testing virtually every available archival storage solution on the market today. After extensive, hands-on testing, we concluded that only HDS offered the combination of data protection, performance, scalability, flexibility and cost-effectiveness demanded by both us and our customers”

Scott Petry, Founder, CTO and EVP of Product Development

Santa Clara London

Chicago Amsterdam


Nondisruptive Service

• SelbstschutzRegeln erzwingen eine Dokumentenaufbewahrungszeit, Authentifizierung und Objektreplikation zur Sicherung von digitalem Vermögen

• Selbst-KonfigurierendEinfachste Installation und Integration durch das Setzen von Systemkonfigurationen durch High –Level Policies

P

• FernwartungDiagnose, Patches und Upgrades können per Modem oder VPN durchgeführt werden

• SelbstheilungDie Architektur federt den Ausfall von Einzelkomponenten ab, ohne einen Einfluss auf die Datenintegrität, bzw. den Zugriff auf die Daten

• Self-BalancingPasst sich automatisch an die Umgebung an, durch die ständige Kontrolle sämtlicher Aktivitäten und Kapazitäten der einzelnen Knoten

• DatensicherheitSämtliche Daten werden auf in der Industrie bewährten SAN – Speichersystmen abgelegt.Grundsätzlich Hardware RAID geschützt!

Documents

Archivieren mit Hitachi’s Content Archive Platform HCAPkonferenz-nz.dlr.de/pages/storage2008/present/1. Konferenztag/05_05... · ©2008 Hitachi Data Systems Archivieren mit Hitachi’s