Webinar 5: Daten speichern in der Cloud – Die AWS Storage Dienste

Webinar 5:Daten speichern in der Cloud –

die AWS Storage-Dienste

Steffen KrauseTechnical Evangelist

@AWS_Aktuellhttp://www.facebook.com/awsaktuell

skrause@amazon.de

Teilen Sie uns mit:Was gut ist, was nicht

Was Sie bei unseren Veranstaltungen

sehen wollen

Was Sie sich von AWS wünschen

skrause@amazon.de

Ihr Feedback ist wichtig

1. Was ist Amazon Web Services und wofür kann ich AWS nutzen2. Erste Schritte mit Amazon Web Services – von der Anmeldung bis zur

ersten Instanz3. Amazon Web Services 1*1 – welche Dienste gibt es wofür?4. Server in der Cloud – die AWS Compute-Dienste

Aufzeichnungen: http://aws.amazon.com/de/recorded-webinar/ 5. Daten speichern in der Cloud – die AWS Storage-Dienste

17. April 2013, 16 Uhr6. Datenbanken in der Cloud – SQL und NoSQL

7. Mai 2013, 16 UhrAnmeldung unter http://aws.amazon.com/de/about-aws/events/

Die Webinar-Serie

Themen

• Object Storage– S3– CloudFront– Glacier

• Block Storage– EBS

• Verbindung von AWS Storage mit Storage im eigenen Datacenter

AWS Storage Optionen

Object Storage Block Storage

Verbindung von AWS Storage mit Storage im eigenen Datacenter

#1Object Storage

●○○

Amazon S3Simple Storage Service

Sie legen es in S3AWS speichert es mit 99.999999999% Dauerhaftigkeit

Hoch skalierbarer Webzugriff auf Objekte

Mehrere redundante Kopien in einer Region

Sie legen es in S3AWS speichert es mit 99.999999999% Dauerhaftigkeit

Aber es ist mehr als nur ein Simple Storage Service

1 2 3 4 5 6 70

200

400

600

800

1000

1200

1400

1.3 Billionen*

Regelmäßiger Spitzenwert: 835000 Transaktionen pro Sekunde

Milliarden* Objekte

* - Deutsche Skala: Milliarde=109, Billion=1012

Objekte in S3

Kosten ab 5,5 Cent pro Gigabyte

Zugriff über Web-APIs

Zugriff auf S3 via REST oder SDKs für:- Java- .NET- PHP- Ruby- Python- iOS- Android

Was ist S3?

Hoch skalierbare Datenspeicherung

Zugriff über APIsEin Web Store, kein Dateisystem

Schnell

Hochverfügbar und dauerhaft

Kostengünstig

Ein regionaler DienstIhre Daten verlassen nie die RegionEs sei denn, Sie bewegen die Daten

Reduced Redundancy Storage

Reduziert die Kosten durch Datenspeicherung mit geringerer

Redundanz als der Standard Storage

Bietet 99,99% Dauerhaftigkeit und 99,99% Verfügbarkeit der Objekte

innerhalb eines Jahres

Standard

Bietet 99,999999999% Dauerhaftigkeit und 99,99% Verfügbarkeit der Objekte

innerhalb eines Jahres

Entworfen, um den gleichzeitigen Verlust der Daten

in zwei Einrichtungen zu überdauern

Amazon S3 Speicherklassen

Glacier

Geeignet für Datenarchivierung, wo Daten selten zugegriffen werden und

eine Zugriffszeit von mehreren Stunden akzeptabel ist

Verwendet den sehr kostengünstigen Amazon Glacier

Storage-Dienst, wird aber von Amazon S3 verwaltet

Reduced Redundancy Storage

Reduziert die Kosten durch Datenspeicherung mit geringerer

Redundanz als der Standard Storage

Bietet 99,99% Dauerhaftigkeit und 99,99% Verfügbarkeit der Objekte

innerhalb eines Jahres

Standard

Bietet 99,999999999% Dauerhaftigkeit und 99,99% Verfügbarkeit der Objekte

innerhalb eines Jahres

Entworfen, um den gleichzeitigen Verlust der Daten

in zwei Einrichtungen zu überdauern

Amazon S3 Speicherklassen

GlacierSuitable for archiving data,

where data access is infrequent and a retrieval time of several

hours is acceptable

Uses the very low-cost Amazon Glacier storage service, but

managed through Amazon S3

Objekte, die Sie lange Zeit archivieren wollen

z.B. Digitales Archiv von alten Filmen und Sendungen

StandardDesigned to provide

99.999999999% durability and 99.99% availability of objects over a given year

Designed to sustain the concurrent loss of data in

two facilities

Objekte, die hohe Dauerhaftigkeit haben sollen

z.B. Master-Kopie eines Films

Reduced Redundancy StorageReduces costs by storing data at lower levels of redundancy

than the Standard storage

Designed to provide 99.99% durability and 99.99%

availability of objects over a given year

Objekte, bei denen Sie sich den Verlust leisten können oder die wieder erstellt werden können

z.B. verschiedene Formate des Filmes

Amazon S3 Speicherklassen

Server Side Encryption

Automatische Verschlüsselung von ruhenden Daten

DauerhafteS3 Schlüssel-Speicherung

Einfach zusätzlicher PUT

Header

StarkesAES-256

Voll verwaltetKein eigenes Schlüsselmanagement notwendig

SichererGleichzeitiger 3-

Wege-Zugriff

Alternativ: Clientseitige Verschlüsselung über das AWS Java SDK oder beliebige andere Bibliotheken

Secure by Default

Sie entscheiden, was freigegeben wirdPolicies für Buckets und Objekte

Policies, ACLs & IAMVerwenden Sie S3 Policies, ACLs oder

IAM um Regeln zu defnieren

Bucket Policies ACLskontraIAM kontra

Detailliert

Administrierung als Teil des rollenbasierten Zugriffs

Anwenden von Policies auf S3 auf Rollen-, Benutzer- und

Gruppenebene

Detailliert

Anwenden von Policies auf Bucket-Ebene in S3

Benutzereinschränkungen ohne die Verwendung von IAM

Grob

Zugriffskontroll-Regeln auf Bucket und/oder Objektebene

in S3

Allow

ActionsPutObject

Resourcearn:aws:s3:::mybucket/*

Bob Jane

AllowBob, Jane

ActionsPutObject

Resourcearn:aws:s3:::mybucket/*

mybucket

AllowEveryone, Bob, Jane

ActionsRead

mybucket myobject

Statische Websites

1. Hohe Dauerhaftigkeit2. Unbegrenzte Kapazität3. Niedrige Latenz4. Große statische Websites5. Auslieferung über CloudFront

S3 gibt Ihnen Sie können erstellenMobile AppsMusik-AppsVideo NetzwerkeVideo AppsBackup AppsFoto-AppsStatische WebsitesWerbenetzwerkeVieles anderes!

S3

Über 20000 neue Musiktitel pro Tag

“Spotify needed a storage solution that could scale very quickly without incurring

long lead times for upgrades. This led us to cloud storage, and in that market, Amazon Simple Storage Service (Amazon S3) is the

most mature large-scale product.

Amazon S3 gives us confidence in our ability to expand storage quickly while also

providing high data durability.”

Emil Fredriksson, Operations DirectorCase Study

Compute Storage

AWS Global Infrastructure

Database

App Services

Deployment & Administration

Networking

S3 - zuverlässige Speicherung 99.999999999% Dauerhaftigkeit der Objekte

Unbegrenzte Speicherung von Objekten jeder Größe

Bis zu 5TB Größe pro Objekt

Feature Details

Flexible Objekt-Speicherung

Buckets funktionieren wie Laufwerke, mit Ordnerstrukturen darin

Zugriffskontrolle Granulare Kontrolle für Berechtigungen

Verschlüsselung 256 Bit AES Verschlüsselung auf dem Server

Multi-part Uploads Verbessert Durchsatz und Kontrolle

Versionierung Alte Objekte archivieren, neue versionieren

Object Expiry Automatische Entfernung alter Objekte

Zugriffs-Logging Komplettes Audit Log für Bucket und Objekte

Web Content Hosting

Inhalte können als statische Website bereitgestellt werden

Notifications Benachrichtigungen über wichtige Ereignisse

Import/Export Import und Export von physischen Medien

Storage

Integration mit CloudFront

CloudFrontWeltweites Content Distribution Network

Einfache Verteilung von Inhalten an

Benutzer mit niedriger Latenz und hoher

Geschwindigkeit. Ohne Vertragsbindung

Feature Details

Schnell Viele, weltweit verteilte Edge Locations senden stellen Inhalte so nah wie möglich den Benutzern bereit

Integriert mit anderen Diensten

Nahtlos mit S3 und EC2 Quellservern integriert

Dynamische Inhalte Unterstützt statische und dynamische Inhalte von den Quellservern

Streaming Unterstützt rtmp aus S3 und Live Streaming von Adobe FMS und Microsoft Media Server

London

Paris

NY

Bedient von S3/images/*

3

Bedient von EC2*.php

2

Ein CNAMEwww.mysite.com

1

Storage

Compute Storage

AWS Global Infrastructure

Database

App Services

Deployment & Administration

Networking

Amazon CloudFront for delivery of static files and video streaming (for over 70 million

requests per month)

“By the end of this year, we will have served over 1 billion static objects over Amazon

CloudFront. It is hard to argue in cost savings because most of our business would have

been impossible without the usage of cloud computing.”

Nikolai Longolius, CEO schnee von morgen WebTV GmbH

CloudFront

London

Paris

NY

Bedient von S3/images/*

3

Bedient von EC2*.php

2

Ein CNAMEwww.mysite.com

1

Fallst

udie

Compute Storage

AWS Global Infrastructure

Database

App Services

Deployment & Administration

Networking

Amazon Glacier

Kostengünstiger Archivdienst

1 CentPro GB / Monat

120$Pro TB / Jahr

99,999999999%Dauerhaftigkeit

3−5 StundenDatenabruf

Storage Kostenkontra

Abruf-Kosten

1. Hohe Dauerhaftigkeit2. Niedrige Kosten3. 3–5 Stunden Latenz

Glacier gibt Ihnen Geeignet für• Datei-Archivierung• Hierarchal Storage

Management in der Cloud

Automatische Verschiebung von Amazon S3 Dateien nach Glacier über Lifecycle Policies

Oder direkte Speicherung in Glacier…

2. Erstellung Ihres eigenen Clients 1. Mit Third-Party Software

Compute Storage

AWS Global Infrastructure

Database

App Services

Deployment & Administration

Networking

Every day our genome sequencers produce terabytes of data. As our company moves into the clinical space, we face a legal requirement to archive patient data for years that would drastically raise the cost of storage. Thanks to Amazon Glacier’s secure and scalable solution, we will be able to provide cost-effective, long-term storage and thereby eliminate a barrier to providing whole genome sequencing for medical treatment of cancer and other genetic diseases.

Keith Raffel, Senior Vice President and Chief Commercial Officer, Complete Genomics

Storage

Fallst

udie

Compute Storage

AWS Global Infrastructure

Database

App Services

Deployment & Administration

Networking

GlacierKostengünstiger Speicherdienst

Sichere und dauerhafte Speicherung für

Datensicherung und Archiv

Für selten zugegriffene Daten

Feature Details

Kostengünstig $0.01/GB/Monat ohne vorherige Investitionen

Dauerhaft Dieselben 99.999999999% Dauerhaftigkeit wie S3

Flexibel Beliebige Datenmengen nach Bedarf Keine Kapazitätsplanung erforderlich

Sicher Nutzt die robuste AWS Sicherheitsplattform Kontrolle des Zugriffs auf Ihre Daten.

API REST API zum senden und empfangen

Import/Export Optionale Nutzung von portablen Speichergeräten für Import und Export

Vault Inventory Index für Echtzeit-Sicht auf Inhalt der Vault

Storage

#2Block Storage

●●○

Amazon EBSElastic Block Storage

Elastic Block StoreInstance Storage kontra

Lokale „auf dem Host“ Disk Volumes

Daten-Persistenz abhängig von Instanz-Zustand

Über Netzwerk angebundene, optimierte Block Storage

Daten-Persistenz unabhängig von Instanz-Zustand

Storage

Instance StorageAuch „Ephemeral Storage“

Lokale „auf dem Host“ Disk Volumes

Daten-Persistenz abhängig von Instanz-Zustand

Wenn eine Instanz rebootet (absichtlich oder unabsichtlich), bleiben Instance Store Daten erhalten

Daten auf Instance Store gehen verloren unter den folgenden Umständen:• Fehler auf einer zugrunde liegenden Disk• Stoppen einer Amazon EBS-backed Instanz• Instance Store Instanzen können nicht

gestoppt werden• Terminieren der Instanz

Instance Storage

Instance StorageAuch „Ephemeral Storage“

Lokale „auf dem Host“ Disk Volumes

Daten-Persistenz abhängig von Instanz-Zustand

• Alle Instanztypen (außer m3 und micro) haben Instance Storage

• Muss beim Anlegen der Instanz hinzugefügt werden

• Größe und maximale Anzahl abhängig von Instanztyp

• High I/O Instanzen haben 2 SSD Volumes• High Storage Instanzen haben 24 HDDs (je 2

TB)

Instance Storage

Elastic Block StoreÜber Netzwerk angebundene,

optimierte Block Storage

Daten-Persistenz unabhängig von Instanz-Zustand

EBSEC2

Workspace

Hypervisor

S3

EBS Snapshot

Netzwerk

Null bis mehrere temporäre Platten(Instanz Storage)

Eine oder mehrere EBS (persistente)

Platten

EBS Snapshots (Backup Images)

Elastic Block Store (EBS)

Amazon EBS Anwendungsfälle

• Dateisysteme für Instanzen: NTFS, ExtFS, RAID, LVM• Dauerhafte persistente Storage• Daten können häufig geändert werden• Zugriff auf unformatierte Block Storage

• 1 GB bis 1 TB Größe• Automatisch innerhalb einer Availability Zone repliziert– Daher RAID für Verfügbarkeit normalerweise unnötig

• Standard-Durchsatz: ca. 100 IOPS• Provisioned IOPS: Bis zu 2000 IOPS• RAID 0 (Striping) durch Betriebssystem für mehr Größe

und/oder Performance• Kein automatisches Backup– Regelmäßig Snapshots erstellen

Elastic Block Store (EBS)

EBSSnapshots

EBS Snapshots nach S3

#3Verbindung von AWS Storage mit Storage im

eigenen Datacenter●●●

AWS Storage Gateway Oracle Recovery Manager

AWS Storage Gateway

1. Lokaler Zugriff mit niedriger Latenz auf die am häufigsten benutzten Dateien; alle Dateien sind in S3 gespeichert

oder

2. Zeitgesteuerte externe Sicherung Ihrer lokalen Daten nach Amazon S3

Verbindung von Ihrem Rechenzentrum zur Cloud

AWS Storage Gateway

Anwendungsfälle• Daten-Backup• Daten-Synchronisation• Datenexport für Migration• Abteilungs-Fileshare• Einfache Disaster Recovery

Oracle Backup nach Amazon S3

Das Oracle Secure Backup (OSB) Cloud Modul ermöglicht die Sicherung von Oracle Datenbanken direkt nach Amazon S3 mit Hilfe des Oracle Recovery Manager (RMAN)

AWS Storage Optionen

Object Storage Block Storage

Verbindung von AWS Storage mit Storage im eigenen Datacenter

Demo

Performance-orientiertKosten-orientiert

Sie haben die

Wahl

• http://aws.amazon.com/de • Beginnen Sie mit dem Free Tier:

http://aws.amazon.com/de/free/• 25 US$ Startguthaben für Neukunden:

http://aws.amazon.com/de/campaigns/account/• Twitter: @AWS_Aktuell• Facebook: http://www.facebook.com/awsaktuell • Webinare: http://aws.amazon.com/de/about-aws/events/• Slides: http://de.slideshare.net/AWSAktuell/ • Kommen Sie zum AWS Summit am 2. Mai in Berlin

https://aws.amazon.com/de/aws-summit-2013/berlin/

Ressourcen