Tableau und Big Data auf Exasol - Sieger Consulting · 2018. 11. 15. · 14 Data Science mit Big...

Tableau und Big Data auf Exasol

© 2018 Exasol AG

EVA MURRAYHead of BI, Tableau Zen Master |

@TriMyData

eva.murray@exasol.com

DEMOWelche Medikamente werden in England am

häufigsten verschrieben und wie haben sich die Kosten im Laufe der Zeit entwickelt?

5

Was ist Exasol?

Exasol ist eine relationale Datenbank für die Analyse von großen und/oder komplexen Daten.

In-memory trifft auf MPP. Kompression auf spaltenbasierte Speicherung.

Kompatibel mit vorhandenen Anwendungen und Datenstrukturen.Ideal für Reporting, Analysen und Advanced Analytics großer Datenmengen.

Zentralisiertes Authentifizierungs-ManagementModernste Datenschutzmethoden Feingranulares Datenzugriffs-Management

Einsatz von R, Python, Lua und Java direkt in der Datenbank durch User Defined Functions(UDF).

Die weltweit schnellste analytische Datenbank und die Plattform für flexible Integrationen und Erweiterungen.

6

Quelle: www.tpc.org1. Juli 2018

Leistungsvorsprung von Exasol im TPC-H Benchmark

Bei einem Datenvolumen von1TB, ist Exasol is über 5x schneller als der nächstschnellste Wettbewerber

• TPC-H Benchmarks veranschaulichen die Wettbewerbsfähigkeit von Analyse-Datenbanken

• Exasol ist Technologieführer #1 bei allen Skalierungsfaktoren

• Bestes Preis-Leistungs-Verhältnis

QphH@1000 GB 1,000,000 2,000,000 3,000,000 4,000,000

Sept ´14

Mar ´16

Dec ´14

Mar ´14

Mar ´16

Apr ´14

Jun ´14

Sep ´14

Feb ´14

5,246,338

Oracle 11g 326,454

MS SQL Server 2014 390,590

Actian Vector 485,242

MS SQL Server 2014 519,976

MS SQL Server 2016 543,102

Actian Vector 585,319

MS SQL Server 2014 588,831

MS SQL Server 2016 678,492

Abfragen pro Stunde

Mar ´16MS SQL Server 2017 1,009,065May´18

DEMOEinzelhandel in Deutschland

Wo machen wir Umsatz und wie können wir die Daten einfach und effektiv visualisieren?

Wie wird Exasol im Unternehmen integriert?

The Heart of Your Analytics

9

10

Open-Source-basierte Integrations-Frameworks

Commercial Core Database

Script Plugins C++, Julia, …

Hadoop Integration

Virtual Schema Adapters

Monitoring Tools

Database Migration

Automation

• Integrations-Framework

• Maximale Konnektivität

• Integration mit jeder anderen Plattform

Beispiele:

• Virtual Schemas

• IMPORT/EXPORT

• Script Plugins

• Open-source Quellcode für zahlreiche SQL Varianten

• Scripts für die automatische Migration

11

Cloud und on premise Lösungen

Public CloudPrivate Cloud On premise / Hybrid

DEMOTaxis in New York – eine kurze Analyse des Taxi Markts

und Wettbewerbs in New York City

14

Data Science mit Big Data auf Exasol

IntegrationSkalierbarkeitUmgebungUDF Framework

Die intelligente Integration von Data Science Programmiersprachen direkt im Kern der Datenbank ist bei Exasol einzigartig.

Die enge Verknüpfung mit der SQL Engine ermöglicht es Unternehmen, von den in-memory Prozessen zu profitieren und die Daten direkt

abzufragen, ohne sie zu replizieren oder zu verschieben.

DEMOWind und Sonne – welche Orte in den USA sind am

windigsten oder am sonnigsten und wie können wir unser ‚Optimum‘ auswählen?

Skyline: Das Optimum bestimmen

Herausforderungen:• Datenflut

• Leere Ergebnisse

• Dimensionen lassen sich nicht korrelieren

SELECT * FROM funds PREFERRING HIGH performance PLUS LOW volatility;

17

Tableau & Exasol – wie funktioniert das eigentlich?

Daten Beladung

Live Verbindung

OLTP, ERP, CRM

IoT

Web traffic, social

Data Lake

18

19

Architektur Optionen für Tableau Umgebungen mit Exasol

Eine typische Tableau Umgebung:

Data Warehouse Data Mart Extrakte Tableau

Option 1 – Beschleunigung

Data Warehouse Data MartAcceleration

Layer in ExasolTableau

Live

Exasol als ACCELERATION LAYER zur Beschleunigung

Option 2 – Datenverwaltung und Geschwindigkeit

Data WarehouseData Mart in Exasol

Tableau

Live

Exasol für GOVERNANCE & GESCHWINDIGKEIT

Option 3 – Skalierbarkeit und High Performance

Data Warehousein Exasol

Views Tableau

Live

Exasol für SKALIERBARKEIT & HIGH PERFORMANCE

19

20

Tableau Server and Exasol einrichten – Best Practices

Exasol ermöglicht einen reibungslosen und effektiven Datenfluss von den ursprünglichen Systemen bis hin zum Endnutzer. Dabei werden Datenanalyse und Reporting beschleunigt und Data Science Kapazitäten können direkt in der Datenbank angewandt werden.

Analysen können auf größere Datenmengen ausgeweitet werden, so dass Data Analysts und Scientists sich nicht auf aggregierte Daten oder Teilmengen beschränken müssen.

Source System 1

Source System 2

Source System 3

Source System 4

Datenbeladung

Exasol Database Tableau Desktop

.tds files werden erstellt

Tableau Server

.tds files werden veröffentlicht

Tableau Server (Web)

Tableau Desktop

Live Verbindung zu .tds files

Exasol connector in Tableau

21

Extrakte oder Live Verbindung in Tableau?

Wann Datenextrakte sinnvoll sind

• Wenn eine Live Verbindung zur Datenquelle nicht möglich ist, z.B. aus Performance oder Sicherheitsgründen

• Wenn offline gearbeitet werden muss, z.B. unterwegs

• Wenn kleine Datenmengen benutzt werden, die nur selten aktualisiert werden müssen (z.B. monatliches Reporting)

Wann eine Live Verbindung sinnvoll ist

• Wenn eine performante Datenbank zur Verfügung steht

• Wenn große Datenmengen bearbeitet werden

Warum sind Live Verbindungen zu empfehlen?

• Sie verringern den administrativen Aufwand beim Tableau Server

• Man vermeidet, dass große Datenmengen oder auch das ganze Data Warehouse auf dem Tableau Server dupliziert werden

• Optimale Ausnutzung der Investition in Tableau Server

• Daten sind immer aktuell

• Datenzugriff, -struktur und –berechtigungen können einfach zentral verwaltet werden

Test it for yourself

www.exasol.com/dataviz

AnalyticsWie verändert sich der Markt für Data Analysts und Data Scientists,

wie können wir talentierte Mitarbeiter finden und fördern und welche Rolle spielt dabei die Tableau Community?

makeovermonday.co.uk

viz for social good

www.exasol.com

EVA MURRAY

Head of BI, Tableau Zen Master @TriMyDataeva.murray@exasol.com