©HMS Analytical Software GmbH 2016

Azure Stream AnalyticsAzure Event Hubs

Power BI

Realtime Reportingeinfach gemacht

David Schäfer

Realtime Reporting:EINFÜHRUNG

Realtime Reporting Advanced:EVENT HUBS & STREAM ANALYTICS

Realtime Reporting Self-Service:POWER BI

I N H A L T

Realtime Business Intelligence

Klassisches BI

Statische Daten der Vergangenheit

Realtime BI

Analyse der Daten in Echtzeit

Predictive Maintenance

Supply Chain

Stauerkennung

Warenkorb

Betrugserkennung

Finanzportfolio

Analyse auf Datenströmen

Realtime BI

Data-In-Motion

Power BI

Interaktives Web-Portal

Datenstrom visualisieren

I N H A L T

Azure Webseite:Visualisierung am Beispiel Sales Radar

Realtime Reporting Advanced

Vorarbeiten:

Event Hub Stream Analytics

Azure EventHubs

Stream Analytics

ASP.Net Website

S A L E S R A DA RE i n B l i c k h i n t e r d i e K u l i s s e n

Webshop Azure-GatewayWebsite:

Sales Radar App

Stream AnalyticsEvent Hubs

Machine Learning

R E A LT I M EB u s i n e s s I n t e l l i g e n c e

Datenstromerzeugen

Datenstromsammeln

Datenstrom verarbeiten

Datenstrom analysieren

Datenstrom visualisieren

Datenstromerzeugen

Datenstromsammeln

Datenstrom verarbeiten

Datenstrom analysieren

Datenstrom visualisieren

A Z U R ER e a l t i m e B I m i t

Quelle Event Hub Stream Analytics Machine Learning Power BI

Website

A z u r e E v e n t H u b s

Eigenschaften

Beliebige Anzahl an Sendern

Ein oder mehrere Konsumenten

Skaliert intern über Partitionen

Konsumenten haben Pointer auf Datenstrom

Kein Löschen der Events nach Verarbeitung

Löschen der Events nach Retention-Periode

A z u r e S t r e a m A n a l y t i c s

E i g e n s c h a f t e n

Massive Skalierung

Schnelle Entwicklung

Agiles Umsetzen von Business-Anforderungen

Geringe Anlaufkosten (Entwicklung + Betrieb)

Integriert sich in die Microsoft Cloud-BI-Strategie

Basierend auf bekannten Technologien

A z u r e S t r e a m A n a l y t i c s

S y n t a x

Teilmenge der T-SQL-Sprachsyntax

Feldnamen sind nicht Case-SensitivEingaben von Quellen mit mehrdeutigen Feldnamen (Case-Sensitiv) werden als ungültig angesehen

TIMESTAMP zentrales Element in Stream-VerarbeitungISO 8601-Formate interpretierbar als Zeit

A z u r e S t r e a m A n a l y t i c s

U nte r s t ü t z te I n p u t - F o r m a te

CSV

JSON

AVRO Apache / Hadoop Standard Schemadefinition über JSON-Format Eigentliche Daten sind Binär-Codiert Optimierte Performance

SELECT sensorId, telemetry,

LAG(telemtry) OVER (PARTITION BY sensorId LIMIT DURATION(ss, 5)) as

previousTelemetry

FROM input

Anwendungsfa l l : Ermitteln des aktuellen und letztenMesswertes eines Sensors.

S t r e a m A n a l y t i c s | Der Blick zurück

1

SELECT sensorId, growth = telemetry / LAG(telemetry) OVER (PARTITION BY sensorId LIMIT DURATION(hour, 1))

FROM input

Anwendungsfa l l : Ermitteln des Veränderung eines Messwertes.

S t r e a m A n a l y t i c s | Der Blick zurück

2

S t r e a m A n a l y t i c s

Streaming basiert auf Zeitstempel

Zeitstempel wann Event vom Event-Hub empfangen wurde?

Zeitstempel des Sensors?

Welches Datum soll überhaupt untersucht werden?

Anfangs- oder Endezeit des Events?

Format des Datums?

Zeitmanagement ❶

S t r e a m A n a l y t i c s

Zeitmanagement ❷

Einheitliche Referenzierung: System.TimeStamp

ISO 8601-Formate direkt interpretierbar

Ausdrücke für Zeitstempel-Ermittlung

TimeStamp BY (CASE eventType

WHEN ‚A‘ THEN field1 WHEN ‚B‘ THEN field2 ELSE NULL

END)

TimeStamp BY DateAdd(millisecond, epochtime, ‚1970/01/01 GMT‘)

S t r e a m A n a l y t i c s

Zeitstempel ist standardmäßig das Ankunftsdatum in Quelle

Zeitstempel kann benutzerdefiniert auf bestimmtes Feld umgebogen werden

Zeitmanagement ❸

SELECT System.TimeStamp FROM input TIMESTAMP BY created

S t r e a m A n a l y t i c s❶ Rollierendes Fenster

Schema

Einfachstes Modell Keine Fensterüberlappung Feste Fenstergröße

Merkmale

Konsoldieren einzelner Events eines Sensors, z. B. Durchschnitts-spannung pro Minute bei sekündlicher Messung

Anwendungsbeispiel

S t r e a m A n a l y t i c s❷ Springendes Fenster

Schema

Definierte Überlappung der Fenster

Größe der Überlappung planbar

Feste Fenstergröße

Merkmale

Ermittle alle 5 Sekunden die Durchschnittstemperatur der letzten 10 Minuten

Anwendungsbeispiel

S t r e a m A n a l y t i c s❸ Gleitendes Fenster

Schema

Fenster hat keinen definierten Anfangs- oder Endezeitpunkt

Ermöglicht die Erkennung von Mustern über einen Zeitraum

Merkmale

Messung: Zeige mir die Sensoren, welche die Temperatur von 100 Grad für fünf Sekunden über-schritten haben.

Anwendungsbeispiel

I N H A L TPower BI

P o w e r B I Die Evolution

P o w e r B I

Vielzahl an Tools PreismodellLange

IterationszyklenMobile

Anforderungen

Erweiterungs-möglichkeiten

(API)

Abhängigkeiten zu Office 365

Abhängigkeiten zu Excel 2013

Warum ein neues Power BI?

P o w e r B I

VisualisierungenPower BI Desktop

Query FormulaLanguage

Office 365 Groups

Model Designer Power BI API

Content PacksFreigabe von Dashboards

Q&AMobile Apps für

Windows, iOS, Android

Der Umfang

P o w e r B I Schematischer Ablauf

P o w e r B I

Kein Enterprise ETL-Tool

Corporate Design schwierig umsetzbar Unternehmensspezifische Standards in

Reporting nicht umsetzbar Komplexe Verbindungen von Charts nicht

möglich Drill-Down-Möglichkeiten Rechtemanagement

Kein Enterprise Reporting

Die Limitierungen

P o w e r B I

A d v a n c e d A n a l y t i c sAzure HD Insight, Azure ML

S t r e a m - A n a l y s eAzure Stream Analytics, Azure Storm

Advanced Business IntelligenceAzure Data Factory, Azure Sql-Data

Warehouse, Data Lake

Field Gateway

Cloud Gateway Azure Event-

Hubs

IoT Architektur

P o w e r B I

Programmatischer Zugriff auf Power BI Charts Datasets Inhalte von Datasets

Webservice Schnittstelle

REST API

DAS IST MÖGLICH DAS S IND DIE TOOLS

Realtime Analytics, Business Intelligence

und Reportingin Azure

Big Data Szenarien:Data LakeHDIns ight

Power B Ischnelles Ergebnis – breites Spektrum an Visualisierung

Stream Analytics/Event Hubskomplexere Szenarien [z.B. IoT] –volle Anpassbarkeit

Machine LearningAnalytics in der Cloud

https://azure.microsoft.com/de-de/documentation/articles/event-hubs-overview/

https://azure.microsoft.com/de-de/documentation/services/stream-analytics/

https://msdn.microsoft.com/en-us/library/dn877544.aspx

http://blogs.msdn.com/b/powerbi/

http://docs.powerbi.apiary.io/

david.schaefer@analytical-software.de

https://www.xing.com/profile/David_Schaefer6

VIELEN DANK!Ich freue mich auf Feedback

BildrechteSeite 1 HMS (Oesterer)Seite 2 pixelio (Haiko Hertes)Seite 3 pixelio (Michael Loeper)Seite 4 pixelio (Andrea Damm)Seite 5 pixelio (das Auge)Seite 6 pixelio (Haiko Hertes)Seite 7 pixelio (bluefeeling)Seite 8 pixelio (Arkadius Neumann)Seite 9 pixelio (Arkadius Neumann)Seite 10 pixelio (Arkadius Neumann)Seite 11 pixelio (Günter Havlena)Seite 12 pixelio (Roman Peschel)Seite 13 pixelio (Roman Peschel)Seite 14 pixelio (Roman Peschel)Seite 15 pixelio (Erich Westendarp)Seite 16 pixelio (Erich Westendarp)Seite 17 pixelio (Roman Peschel)Seite 18 pixelio (Roman Peschel)

Seite 19 pixelio (Roman Peschel)Seite 20 pixelio (W. R. Wagner)Seite 21 pixelio (W. R. Wagner)Seite 22 pixelio (W. R. Wagner)Seite 23 pixelio (Haiko Hertes)Seite 24 pixelio (Fritz Zühlke)Seite 25 pixelio (Fritz Zühlke)Seite 26 --Seite 27 pixelio (Fritz Zühlke)Seite 28 pixelio (Fritz Zühlke)Seite 29 pixelio (bluefeeling)Seite 30 --Seite 31 pixelio (Fritz Zühlke)Seite 32 pixelio (bluefeeling)Seite 33 pixelio (Florentine)Seite 34 pixelio (birgitH)Seite 35 pixelio (Florentine)Seite 36 pixelio (Florentine)Seite 37 pixelio (Florentine)