Webinar Neues von der re:invent 2013 Teil 2: Kinesis, AppStream, WorkSpaces

Neues von der re:invent 2013Teil 2

Steffen KrauseTechnical Evangelist

@AWS_Aktuellskrause@amazon.de

Teilen Sie mir mit:

Was gut ist, was nicht

Was Sie bei unseren Veranstaltungen sehen

wollen

Was Sie sich von AWS wünschen

skrause@amazon.de

Ihr Feedback ist wichtig

Teil 2: (heute)

• Kinesis

• AppStream

• WorkSpaces

Agenda

Kinesis

• Traditionelle Big Data Ansätze

– Abfrageengine (Data Warehouse, YesSQL, NoSQL Datenbank)

– Batch Engines (Map-Reduce)

• Streaming Big Data Processing Ansatz

Big Data Ansätze

Echtzeit Big Data Wunschliste Dienst-Anforderungen

Gesamtlatenz im Sekundenbereich Niedrigen Ende-zu-Ende Latenz von Datenaufnahmebis Verarbeitung

Verarbeitung von Gigabytes pro Sekunde ohne Verlust der Persistenz

Hoch skalierbar, persistent

Skalierung hoch/runter nach Bedarf Elastisch

Einfaches Load Balancing von Datenströmen, verteilte Dienstkoordinierung,

Entwickler müssen sich nur um Implementierung der Geschäftslogik kümmern, nicht um Basisdienst

Automatische HW/ SW Provisionierung, Patching und Betrieb einer zuverlässigen Streaming Plattform

Verwalteter Dienst für Echtzeit-Datenströme: Sammlung, Verarbeitung, Analyse.

Grundlagen der Stream-Verarbeitung

Data Sources

App.4

[Machine Learning]

AW

S En

dp

oin

t

App.1

[Aggregate & De-Duplicate]

Data Sources

Data Sources

Data Sources

App.2

[Metric Extraction]

S3

DynamoDB

Redshift

App.3[Sliding Window Analysis]

Data Sources

Availability

Zone

Shard 1

Shard 2

Shard N

Availability

ZoneAvailability

Zone

Architektur Amazon Kinesis

Verwalteter Dienst für Echtzeitverarbeitung von Big Data

http://aws.typepad.com/awsaktuell/2013/11/amazon-kinesis-echtzeitverarbeitung-von-datenstr%C3%B6men.html

twitter-trends.com

Elastic Beanstalk

twitter-trends.com

Beispiel: twitter-trends.com Website

twitter-trends.com

Zu groß für eine Instanz

twitter-trends.com

Lösung: Streaming Map/Reduce

My top-10

My top-10

My top-10

Global top-10

twitter-trends.com

Kernkonzepte

My top-10

My top-10

My top-10

Global top-10

Data recordStream

Partition key

ShardWorker

Shard: 14 17 18 21 23

Data record

Sequence number

twitter-trends.com

Was das mit Kinesis zu tun hat

KinesisKinesis Applikation

• Data Record ~ Tweet

• Stream ~ alle Tweets (die Twitter Firehose)

• Partition Key ~ Twitter Thema (Jeder Tweet gehört zu genau einem)

• Shard ~ Alle Data Records, die zu einem Twitter Thema gehören werden gruppiert

• Sequence Number ~ Jeder Data Record erhält eine beim Schreiben in den Stream

• Worker ~ Verarbeitet die Records in einem Shard in Reihenfolge der SequenceNumber

Kernkonzepte wiederholt

Leichte Administration

Verwalteter Dienst

• Stream Erstellen

• Gewünschte Kapazität bestimmen

• Dienst kümmert sich um den Rest

Echtzeit-Performance

Verarbeitung von großen Datenströmen

• Latenz im Sekundenbereich

Hoher Durchsatz, elastisch

Skalierung nach benötigtem Durchsatz

• Skalierung nach oben und unten

(Split/Merge Shards)

• Ohne Unterbrechung des Datenstroms

S3, Redshift, & DynamoDB Integration

Auslieferung an verschiedene AWS Dienste

• Speicherung von aggregierten

Ergebnissen nach Bedarf

• Vorgefertigte Konnektoren

Einfache Entwicklung

Client Libraries unterstützen Entwickler

• Low Level & high Level APIs nach Bedarf

Kostengünstig

Cost-efficient for workloads of any scale. You

can get started by provisioning a small

stream, and pay low hourly rates only for

what you use.

Nutzen für Entwickler

http://aws.typepad.com/awsaktuell/2013/11/amazon-kinesis-echtzeitverarbeitung-von-datenstr%C3%B6men.html

Clickstream Analytics Beispiel

Clickstream Processing App

Aggregate Clickstream Statistics

Clickstream Archive

Clickstream Trend Analysis

AppStream

What is Amazon AppStream?

• Streaming von Ressourcen-/Grafik-intensiven Anwendungen aus der Cloud

• Rendering von grafischen Inhalten in der Cloud

• Skalierung nach Bedarf

• Schnell reagierende, flüssig laufende HD-Anwendung auf dem Gerät

• Streaming der ganzen Anwendung oder eines Teiles

http://aws.typepad.com/awsaktuell/2013/11/amazon-appstream-streaming-von-grafischen-anwendungen-aus-der-cloud.html

Nutzen von Amazon AppStream

• Beseitigt Rechenleistungs- und Speicherplatzbeschränkungen auf dem Client

• Spart Entwicklungszeit

• Instant-on Anwendungen

• Vereinfachte Updates

• Verbesserte Sicherheit und Schutz des eigenen Codes

Beispiel-Anwendungsfälle

• Spiele

• Medien und Unterhaltungsprogramme

• Simulations-Software

• 3D Grafikentwicklung

Komponenten von AppStream

AppStream Host

AppStream Service

Ihr Entitlement Service

Ihr Client

Ihre Applikation

AppStream Konsole

Der neue EC2 G2.2xlarge Instanztyp

• 15 GiB Hauptspeicher

• 26 EC2 Compute Units

• 1 x NVIDIA GRID GPU (Kepler GK104)

• 60 GB SSD Instance Store

• 64-bit Plattform

Unterstützung für weitere Instanztypen 2014

Anforderungen

Anwendungsseite

• Windows Server 2008 R2

Clientseite

• Kindle Fire OS

• Android 4.0 (ICS) +

• iOS 6 +

• Windows 7

• Mac OSX (kommt 2014)

• 3Mbps Internetverbindung

Streaming der Applikation

AppStream Host

AppStream Service

Ihr Entitlement Service

Ihr Client

Streaming der Applikation

AppStream Host

AppStream Service

Ihr Entitlement Service

Ihr Client

Autorisierung anfragen

Streaming der Applikation

AppStream Host

AppStream Service

Ihr Entitlement Service

Ihr Client

Session erstellen

Streaming der Applikation

AppStream Host

AppStream Service

Ihr Entitlement Service

Ihr Client

Session erstellen

Streaming der Applikation

AppStream Host

AppStream Service

Ihr Entitlement Service

Ihr Client

Entitlement einlösen

Streaming der Applikation

AppStream Host

AppStream Service

Ihr Entitlement Service

Ihr Client

Anwendung streamen

Amazon AppStream’s STX Protokoll

• Gewährleistet qualitativ hochwertige STreaming eXperience

• Video und Audio als H.264 enkodiert

– Transport über UDP

• Benutzereingaben über TCP transportiert

• Misst ständig Netzwerk-Bedingungen

• Encoding/Transport in Echtzeit angepasst

WorkSpaces

Was ist WorkSpaces?

• WorkSpaces ist eine voll verwaltete Desktop Lösung in der Cloud

• Endbenutzer greifen auf die benötigten Dokumente, Anwendungen und Ressourcen mit dem Gerät ihrer Wahl zu – Laptop, iPad, Kindle Fire, Android Tablet

• Hochwertiger Desktop für unbegrenzte Nutzerzahlen

http://aws.typepad.com/awsaktuell/2013/11/amazon-workspaces-desktop-computing-in-der-cloud.html

Warum? Kundenfeedback

Apps & Data

Warum? Mobiler Zugriff

Warum? Viele Gerätetypen

Mac or PC

Warum? Datensicherheit

Warum? OS Migration

Image Source: http://commons.wikimedia.org/wiki/File:Microsoft_Windows_XP_logo_and_wordmark.svg

Warum? Wechselnde Mitarbeiterzahl

Warum nicht VDI on premises?

Infrastruktur und Software kaufen

Spezialisten anstellen

Hohe Investitionskosten

VDI Nutzenzu welchen Kosten?

WorkSpaces Bundle

Bundle Hardware-Ressourcen Anwendungen Preis proMonat

Standard 1 vCPU, 3,75 GiB Hauptspeicher, 50 GB persistenter Speicherplatz

Utilities (Adobe Reader, Internet Explorer 9, Firefox, 7-Zip, Adobe Flash, JRE)

35 US$

Standard Plus 1 vCPU, 3,75 GiB Hauptspeicher, 50 GB persistenter Speicherplatz

Microsoft Office Professional 2010, Trend Micro Anti-Virus, Utilities (Adobe Reader, Internet Explorer 9, Firefox, 7-Zip, Adobe Flash, JRE)

50 US$

Performance 2 vCPU, 7,5 GiB Hauptspeicher, 100 GB persistenter Speicherplatz

Utilities (Adobe Reader, Internet Explorer 9, Firefox, 7-Zip, Adobe Flash, JRE)

60 US$

Performance Plus 2 vCPU, 7,5 GiB Hauptspeicher, 100 GB persistenter Speicherplatz

Microsoft Office Professional 2010, Trend Micro Anti-Virus, Utilities (Adobe Reader, Internet Explorer 9, Firefox, 7-Zip, Adobe Flash, JRE)

75 US$

Sicherer Datenzugriff

Desktop von jedem Gerät

Unternehmens-Authentifizierung

Verwaltungswerkzeuge

Anwendungsfälle

• http://aws.amazon.com/de

• Getting started with Free Tier:http://aws.amazon.com/de/free/

• 25 US$ Credits für neue Kunden:http://aws.amazon.com/de/campaigns/account/

• Twitter: @AWS_Aktuell

• Facebook: http://www.facebook.com/awsaktuell

• Webinare: http://aws.amazon.com/de/about-aws/events/

• Slides: http://de.slideshare.net/AWSAktuell

• Blog: http://aws.typepad.com/awsaktuell/

• Youtube: http://www.youtube.com/awsaktuell

Ressourcen