Embed Size (px)
Citation preview
Tableau und Big Data auf Exasol
© 2018 Exasol AG
DEMOWelche Medikamente werden in England am
häufigsten verschrieben und wie haben sich die Kosten im Laufe der Zeit entwickelt?
5
Was ist Exasol?
Exasol ist eine relationale Datenbank für die Analyse von großen und/oder komplexen Daten.
In-memory trifft auf MPP. Kompression auf spaltenbasierte Speicherung.
Kompatibel mit vorhandenen Anwendungen und Datenstrukturen.Ideal für Reporting, Analysen und Advanced Analytics großer Datenmengen.
Zentralisiertes Authentifizierungs-ManagementModernste Datenschutzmethoden Feingranulares Datenzugriffs-Management
Einsatz von R, Python, Lua und Java direkt in der Datenbank durch User Defined Functions(UDF).
Die weltweit schnellste analytische Datenbank und die Plattform für flexible Integrationen und Erweiterungen.
6
Quelle: www.tpc.org1. Juli 2018
Leistungsvorsprung von Exasol im TPC-H Benchmark
Bei einem Datenvolumen von1TB, ist Exasol is über 5x schneller als der nächstschnellste Wettbewerber
• TPC-H Benchmarks veranschaulichen die Wettbewerbsfähigkeit von Analyse-Datenbanken
• Exasol ist Technologieführer #1 bei allen Skalierungsfaktoren
• Bestes Preis-Leistungs-Verhältnis
QphH@1000 GB 1,000,000 2,000,000 3,000,000 4,000,000
Sept ´14
Mar ´16
Dec ´14
Mar ´14
Mar ´16
Apr ´14
Jun ´14
Sep ´14
Feb ´14
5,246,338
Oracle 11g 326,454
MS SQL Server 2014 390,590
Actian Vector 485,242
MS SQL Server 2014 519,976
MS SQL Server 2016 543,102
Actian Vector 585,319
MS SQL Server 2014 588,831
MS SQL Server 2016 678,492
Abfragen pro Stunde
Mar ´16MS SQL Server 2017 1,009,065May´18
DEMOEinzelhandel in Deutschland
Wo machen wir Umsatz und wie können wir die Daten einfach und effektiv visualisieren?
Wie wird Exasol im Unternehmen integriert?
The Heart of Your Analytics
9
10
Open-Source-basierte Integrations-Frameworks
Commercial Core Database
Script Plugins C++, Julia, …
Hadoop Integration
Virtual Schema Adapters
Monitoring Tools
Database Migration
Automation
• Integrations-Framework
• Maximale Konnektivität
• Integration mit jeder anderen Plattform
Beispiele:
• Virtual Schemas
• IMPORT/EXPORT
• Script Plugins
• Open-source Quellcode für zahlreiche SQL Varianten
• Scripts für die automatische Migration
11
Cloud und on premise Lösungen
Public CloudPrivate Cloud On premise / Hybrid
DEMOTaxis in New York – eine kurze Analyse des Taxi Markts
und Wettbewerbs in New York City
14
Data Science mit Big Data auf Exasol
IntegrationSkalierbarkeitUmgebungUDF Framework
Die intelligente Integration von Data Science Programmiersprachen direkt im Kern der Datenbank ist bei Exasol einzigartig.
Die enge Verknüpfung mit der SQL Engine ermöglicht es Unternehmen, von den in-memory Prozessen zu profitieren und die Daten direkt
abzufragen, ohne sie zu replizieren oder zu verschieben.
DEMOWind und Sonne – welche Orte in den USA sind am
windigsten oder am sonnigsten und wie können wir unser ‚Optimum‘ auswählen?
Skyline: Das Optimum bestimmen
Herausforderungen:• Datenflut
• Leere Ergebnisse
• Dimensionen lassen sich nicht korrelieren
SELECT * FROM funds PREFERRING HIGH performance PLUS LOW volatility;
17
Tableau & Exasol – wie funktioniert das eigentlich?
Daten Beladung
Live Verbindung
OLTP, ERP, CRM
IoT
Web traffic, social
Data Lake
18
19
Architektur Optionen für Tableau Umgebungen mit Exasol
Eine typische Tableau Umgebung:
Data Warehouse Data Mart Extrakte Tableau
Option 1 – Beschleunigung
Data Warehouse Data MartAcceleration
Layer in ExasolTableau
Live
Exasol als ACCELERATION LAYER zur Beschleunigung
Option 2 – Datenverwaltung und Geschwindigkeit
Data WarehouseData Mart in Exasol
Tableau
Live
Exasol für GOVERNANCE & GESCHWINDIGKEIT
Option 3 – Skalierbarkeit und High Performance
Data Warehousein Exasol
Views Tableau
Live
Exasol für SKALIERBARKEIT & HIGH PERFORMANCE
19
20
Tableau Server and Exasol einrichten – Best Practices
Exasol ermöglicht einen reibungslosen und effektiven Datenfluss von den ursprünglichen Systemen bis hin zum Endnutzer. Dabei werden Datenanalyse und Reporting beschleunigt und Data Science Kapazitäten können direkt in der Datenbank angewandt werden.
Analysen können auf größere Datenmengen ausgeweitet werden, so dass Data Analysts und Scientists sich nicht auf aggregierte Daten oder Teilmengen beschränken müssen.
Source System 1
Source System 2
Source System 3
Source System 4
Datenbeladung
Exasol Database Tableau Desktop
.tds files werden erstellt
Tableau Server
.tds files werden veröffentlicht
Tableau Server (Web)
Tableau Desktop
Live Verbindung zu .tds files
Exasol connector in Tableau
21
Extrakte oder Live Verbindung in Tableau?
Wann Datenextrakte sinnvoll sind
• Wenn eine Live Verbindung zur Datenquelle nicht möglich ist, z.B. aus Performance oder Sicherheitsgründen
• Wenn offline gearbeitet werden muss, z.B. unterwegs
• Wenn kleine Datenmengen benutzt werden, die nur selten aktualisiert werden müssen (z.B. monatliches Reporting)
Wann eine Live Verbindung sinnvoll ist
• Wenn eine performante Datenbank zur Verfügung steht
• Wenn große Datenmengen bearbeitet werden
Warum sind Live Verbindungen zu empfehlen?
• Sie verringern den administrativen Aufwand beim Tableau Server
• Man vermeidet, dass große Datenmengen oder auch das ganze Data Warehouse auf dem Tableau Server dupliziert werden
• Optimale Ausnutzung der Investition in Tableau Server
• Daten sind immer aktuell
• Datenzugriff, -struktur und –berechtigungen können einfach zentral verwaltet werden
AnalyticsWie verändert sich der Markt für Data Analysts und Data Scientists,
wie können wir talentierte Mitarbeiter finden und fördern und welche Rolle spielt dabei die Tableau Community?
