10
Überraschend mehr Möglichkeiten © OPITZ CONSULTING Deutschland GmbH 2018 Whitepaper In-Memory-Technologien im BI/Analytics-Umfeld Wann lohnt sich der Einsatz, und was versprechen die Hersteller?

In-Memory-Technologien im BI/Analytics-Umfeld · im Festplattenspeicher und entlasten damit den Arbeitsspeicher. 4 Was versprechen die Hersteller? Hersteller wie Oracle, Microsoft

  • Upload
    others

  • View
    3

  • Download
    0

Embed Size (px)

Citation preview

Page 1: In-Memory-Technologien im BI/Analytics-Umfeld · im Festplattenspeicher und entlasten damit den Arbeitsspeicher. 4 Was versprechen die Hersteller? Hersteller wie Oracle, Microsoft

Überraschend mehr Möglichkeiten

© OPITZ CONSULTING Deutschland GmbH 2018 Whitepaper

In-Memory-Technologien im BI/Analytics-Umfeld Wann lohnt sich der Einsatz, und was versprechen die Hersteller?

Page 2: In-Memory-Technologien im BI/Analytics-Umfeld · im Festplattenspeicher und entlasten damit den Arbeitsspeicher. 4 Was versprechen die Hersteller? Hersteller wie Oracle, Microsoft

WHITEPAPER

2 © OPITZ CONSULTING Deutschland GmbH 2018

In-Memory-Technologien im BI/Analytics-Umfeld

Wann lohnt sich der Einsatz, und was versprechen die Hersteller?

Über den Autor

Christoph Simm – Christoph Simm ist

Associate Developer im Bereich Business

Intelligence. Bei OPITZ CONSULTING engagiert

er sich sowohl in den Bereichen Reporting und

Dashboarding als auch in der ETL-Verarbeitung

in Kundenprojekten.

Kontakt

Christoph Simm

OPITZ CONSULTING Deutschland GmbH

Standort Hamburg

Landwehr 2, 22087 Hamburg

[email protected]

+49 173 1231234

Impressum

OPITZ CONSULTING Deutschland GmbH

Kirchstr. 6

51647 Gummersbach

+49 (0)2261 6001-0

[email protected]

Disclaimer

Text und Abbildungen wurden sorgfältig entworfen. Die OPITZ

CONSULTING Deutschland GmbH ist für den Inhalt nicht

juristisch verantwortlich und übernimmt keine Haftung für

mögliche Fehler und ihre Konsequenzen. Alle Rechte, z. B. an

den genannten Prozessen, Show Cases, Implementierungs-

beispielen und Quellcode, liegen bei der OPITZ CONSULTING

Deutschland GmbH. Alle genannten Warenzeichen sind

Eigentum ihrer jeweiligen Besitzer.

Inhalt

1 Vorwort 3

2 Einführung 3

3 In-Memory – kein Schnee von gestern! 3 3.1 Nutzen und Mehrwerte 4 3.2 Gibt es auch Nachteile? 4

4 Was versprechen die Hersteller? 4 4.1 Oracle 4 4.2 SAP HANA 5 4.3 Microsoft 5 4.4 Exasol 6 4.5 Apache Ignite 7

5 Ab wann empfiehlt sich In-Memory? 8 5.1 Real-Time-Analytics 8 5.2 Predictive Analytics 8

6 Fazit 8

7 Quellen 9

Page 3: In-Memory-Technologien im BI/Analytics-Umfeld · im Festplattenspeicher und entlasten damit den Arbeitsspeicher. 4 Was versprechen die Hersteller? Hersteller wie Oracle, Microsoft

In-Memory-Technologien im BI/Analytics-Umfeld Überraschend mehr Möglichkeiten

© OPITZ CONSULTING Deutschland GmbH 2017 3

1 Vorwort

Datenbanksysteme sind die zentralen Pfeiler eines agierenden

Unternehmens. Sie sind im Laufe der Jahre immer wichtiger und

mittlerweile essenziell geworden. Durch die heutige

Schnelllebigkeit unterliegen nicht nur Konsumenten einem

exponentiellen Datenwachstum, sondern auch das

Datenaufkommen in den Unternehmen wächst stark an. Hierbei

entstehen völlig neue Herausforderungen, die dem Big-Data-

Zeitalter zugesprochen werden.

Es ist allerdings nicht nur das Wachstum der Datenmengen, das

ja schon zunimmt, seit die ersten Rechenzentren gegründet

wurden. Insbesondere die Form der Daten und die

Geschwindigkeit, in der diese erzeugt werden, stellen die

klassischen Datenbanksysteme vor völlig neue Aufgaben. Der

globalisierte Handel erfordert von den Unternehmen schnellere

Entscheidungen in kürzerer Zeit, um sich Wettbewerbsvorteile

gegenüber der Konkurrenz zu sichern.

An diesem Punkt knüpfen Business-Intelligence-Systeme an: Mit

ihnen entwickeln sich (Unternehmens-)Daten zu Informationen,

die Entscheidungen unterstützen und damit selbst einen

unternehmerischen Mehrwert schaffen können. Im Zuge der

Digitalisierung werden aber auch die unterstützenden Analysen

und Auswertungen immer komplexer und umfassen höhere

Datenmengen als je zuvor.

Die In-Memory-Technologie bietet mittlerweile finanzierbare

Lösungen, um die Flaschenhälse der bisherigen Technologien

zu umgehen.

2 Einführung

In diesem Whitepaper soll die In-Memory-Technologie speziell

in ihrem Bezug zum BI-Bereich vorgestellt werden.

Der Begriff „In-Memory“ wurde zuletzt durch andere Hype-

Keywords von den vorderen Plätzen verdrängt. Nun gehört das

Thema wieder auf die Tagesordnung. Mit einem Überblick über

die wichtigsten aktuell verfügbaren Technologien in diesem

Bereich, möchten wir die In-Memory-Technologie wieder ins

Gespräch bringen. Dazu stellen wir Ihnen aktuelle Lösungen

einiger Softwarehersteller vor.

Das Whitepaper ist in drei grobe Abschnitte untergliedert:

Definition und Erläuterung der In-Memory-Technologie

Überblick der Produktpalette relevanter Softwarehersteller

Szenarien für den Einsatz einer In-Memory-Technologie

3 In-Memory – kein Schnee von gestern!

In einfachen Worten gesagt bedeutet In-Memory-Technologie

die Nutzung des Arbeitsspeichers als Speicherort. Bereits seit

den 1980er-Jahren ([1] (S.14) gibt es diese Technologie, und sie

besticht nach wie vor durch enorme Vorteile gegenüber der

klassischen Speicherung. Die folgende Tabelle zeigt die

Antwortzeiten eines Arbeitsspeichers und einer Festplatte im

Vergleich:

Action Time

Main Memory Access 100 ns

Read 1 MB Sequentially from Memory 250,000 ns

Disk Seek 5,000,000 ns

Read 1 MB Sequentially from Disk 30,000,000 ns

Abb. 1. Zugriffszeiten auf Speichermedien (Quelle [1], S.9)

Aus dieser Tabelle lässt sich entnehmen, welche Vorteile die

Speicherung auf dem Arbeitsspeicher mit sich bringt. Aber wenn

es die Technologie schon so lange gibt und sie diese deutlichen

Vorteile mit sich bringt, warum wurde sie dann nicht schon

längst zum Standard in heutigen Datenbanksystemen?

Diese Antwort ist ganz einfach beantworten: Sie war zu teuer.

(Siehe Abb. 2) Die Speicherpreise lagen in den 1980er-Jahren

noch um ein Vielfaches höher als heutzutage. Erst infolge der

drastischen Preissenkungen bei Hardware in den vergangenen

Jahren ist die In-Memory-Technologie heute wieder eine

bezahlbaren Option, wenn es darum geht, für heutige

Herausforderungen effektiv gerüstet zu sein.

Page 4: In-Memory-Technologien im BI/Analytics-Umfeld · im Festplattenspeicher und entlasten damit den Arbeitsspeicher. 4 Was versprechen die Hersteller? Hersteller wie Oracle, Microsoft

WHITEPAPER

4 © OPITZ CONSULTING Deutschland GmbH 2018

Abb. 2. Historische Entwicklung der Hardwarepreise (Quelle [2])

Nicht nur die Preise sind gesunken. Im gleichen Zuge stieg auch

die Leistungsfähigkeit der Hardware gemäß des Mooreschen

Gesetzes.

3.1 Nutzen und Mehrwerte

In einer In-Memory-Datenbank können deutlich höhere

Zugriffsgeschwindigkeiten erreicht werden als auf

herkömmlichen Systemen, was die Datenverarbeitung immens

beschleunigt und den Durchsatz erhöht. Von Vorteil ist dies

beispielsweise bei einer Echtzeit-Datenverarbeitung, bei der der

Fokus naturgemäß auf hoher Performance und Geschwindigkeit

liegt.

Wie bereits im Vorwort angeschnitten, ermöglicht die

In-Memory-Technologie komplexere Analysen auch im Big-Data-

Umfeld und unterstützt das Unternehmensmanagement damit

maßgeblich bei der Entscheidungsfindung.

Die Einbettung von In-Memory-Technologien in bestehende

Enterprise-Systeme führt zu geringeren TCOs (Total Costs of

Ownership), wenn im gleichen Zuge teure Drittsysteme abgelöst

und stattdessen hauseigene Produkte mit In-Memory-

Technologie eingesetzt werden. Gerade im Bereich Analytics

gibt es eine Vielzahl von Produkten und Möglichkeiten.

In-Memory-Technologie ermöglicht zudem das noch junge

Themenfeld der In-Database Analytics. Der Nutzen von

In-Database Analytics liegt darin, umfangreiche Auswertungen

direkt auf der Datenbank ausführen zu lassen, und damit nicht

nur von Geschwindigkeitsvorteilen zu profitieren, sondern auch

bei der Administration, beim Datenschutz und bei der

Operationalisierung in (bestehenden) Unternehmenslösungen.

3.2 Gibt es auch Nachteile?

Auch die In-Memory-Technologie kann Nachteile mit sich

bringen, die sich allerdings eher in Grenzen halten. Folgende

Punkte lassen sich hierzu nennen:

Im Vergleich zur traditionellen Speicherung ist In-Memory

immer noch teurer.

In-Memory bietet keine Persistenz im Arbeitsspeicher.

Die Anschaffungs- bzw. Investitionskosten für eine In-Memory-

Lösung sind immer noch höher als für ein klassisches RDBMS.

Durch die Speicherung und die Verarbeitung der Daten im

Arbeitsspeicher kann ein Systemabsturz oder -ausfall zum

Verlust von Daten führen.

Allerdings kann man sich davor schützen, indem man die Daten

redundant auf festen Speichermedien hält und nur die

relevanten Daten im Arbeitsspeicher lädt. Nach dem „Least

recently used“-Prinzip bleiben selten verwendete Dateien dann

im Festplattenspeicher und entlasten damit den

Arbeitsspeicher.

4 Was versprechen die Hersteller?

Große Hersteller wie Oracle, Microsoft und auch SAP werben

mit In-Memory-Technologien in ihrem Produktportfolio. Neben

diesen „Global Playern“ gibt es auch einen kleineren deutschen

Anbieter namens Exasol, der mit der „schnellsten In-Memory-

Datenbank der Welt" wirbt. Allerdings sollen nicht nur rein

kommerzielle Anbieter betrachtet werden, sondern auch Open-

Source-Lösungen können eine vielversprechende Alternative

sein. In diesem Bereich hat sich die Apache Software Foundation

bereits ein gutes Image erarbeitet.

In diesem Abschnitt soll ein kurzer Überblick über die

unterschiedlichen In-Memory-Systeme im BI-Umfeld gegeben

werden.

4.1 Oracle

Oracle bietet mit der neuesten 12c Datenbank eine In-Memory-

Option an, um analytische Abfragen und Auswertungen mit

höherer Performance zu beschleunigen. Dies bewirbt der

Anbieter als zusätzliches Feature seines Produkts.

Abb. 3. Oracle In-Memory Architecture (Quelle [3])

Wie andere setzt auch Oracle auf die spaltenbasierte

Speicherung der Daten im In-Memory-Bereich.

Page 5: In-Memory-Technologien im BI/Analytics-Umfeld · im Festplattenspeicher und entlasten damit den Arbeitsspeicher. 4 Was versprechen die Hersteller? Hersteller wie Oracle, Microsoft

In-Memory-Technologien im BI/Analytics-Umfeld Überraschend mehr Möglichkeiten

© OPITZ CONSULTING Deutschland GmbH 2017 5

Oracle hat eine sogenannte Dual-Format-Architektur aufgebaut

(siehe Abb. 3), die einen parallelen Betrieb der Daten sowohl in

einer zeilen- als auch in einer spaltenbasierten Speicherung im

Arbeitsspeicher ermöglicht. Spaltenbasierte Daten können sehr

gut komprimiert werden, was die Datenmengen drastisch

reduziert. Dank Multi-Core CPUs werden die Abfragen parallel

verarbeitet und SIMD Vectoring wird unterstützt.

Der integrierte Oracle SQL Optimizer unterscheidet zwischen

analytischen und transaktionalen SQL-Abfragen. Die

analytischen Abfragen werden mithilfe der spaltenbasierten

Tabellen durchgeführt und die rein transaktionalen Abfragen

mit den zeilenbasierten Daten beantwortet. Oracle verspricht

eine volle transaktionale Konsistenz zwischen den beiden

Tabellenformaten. Die spaltenbasierten Tabellen befinden sich

ausschließlich im Arbeitsspeicher und werden nicht persistent

gespeichert. Oracle verspricht mit dieser Technologie eine Real-

Time Performance dank State-of-the-Art-Algorithmen für die

In-Memory-Abfragen.

Durch die spaltenbasierte Speicherung in der In-Memory-

Datenbank fallen die Indizes für analytische Abfragen weg, das

hat einen Performanceschub für einfache OLTP-Abfragen zur

Folge, da die Datenbank weniger Indizes verwalten muss. Der

Kunde hat die Möglichkeit, nur „heiße Daten“ im

In-Memory-Bereich zu halten, somit weniger relevante oder

performance-lastigere Dateien auf normalen Festplatten-

speichern zu persistieren und auf diese Weise Kosten zu sparen.

4.2 SAP HANA

SAP hat mit HANA eine komplette In-Memory-Computing-

Plattform geschaffen. Auf der In-Memory-Datenbank werden

sämtliche Daten der betrieblichen Anwendungen abgerufen

und gespeichert. SAP wirbt damit, dass nicht nur die eigenen

Anwendungen in der In-Memory-Plattform betrieben werden

können, sondern dass HANA die Software- und

Datenintegration von anderen Herstellern ermöglicht.

Hierdurch entsteht ein modernes Date Warehouse, für die Live-

Integration von Echtzeitdaten. [4]

Abb. 4. SAP HANA Plattform (Quelle [4])

1 ACID beschreibt die gewünschte Eigenschaft eines

DBMS „Atomacity, Consistency, Isolation und Durability“.

Der Kern der SAP HANA Plattform ist ein relationales

Datenbankmanagementsystem, das sowohl OLTP- als auch

OLAP-Datensätze kombiniert. Die In-Memory-Datenbank ist

ACID1-kompatibel und setzt wie Oracle auf eine spaltenbasierte

Speicherung mit hohen Kompressionsraten.

SAP verspricht eine parallele Datenverarbeitung dank Multi-

Core CPUs und unterstützt auch SIMD Vectoring. Mit SAP HANA

Dynamic Tiering werden „heiße Daten“ im Arbeitsspeicher

gehalten und irrelevante Daten auf Festplatten gespeichert. Hier

sind Parallelen zur Oracle In-Memory-Datenbank zu erkennen.

SAP HANA bietet im Bereich Analytics folgende Möglichkeiten

an:

Textanalysen und Suche (Textmining)

Unterstützung von geographischen Daten

Predictive Analytics Libraries (PAL) für Data Mining

R-Unterstützung

Auswertung von Streaming-Daten

SAP wirbt mit drei unterschiedlichen vorentwickelten Systemen

auf Basis der HANA Technologie. Darunter werden auch

Möglichkeiten für Big-Data-Szenarien abgedeckt.

SAP S/4HANA: S/4HANA ist eine umfassende ERP-Business

Suite, die speziell für die In-Memory-Technologie entwickelt

wurde. SAP bietet S4/HANA als On-Premises- und Cloud-

Variante an. [5]

SAP Vora: Mit SAP Vora wird eine Big-Data-Datenverarbeitung

und -auswertung auf Grundlage der In-Memory-Technologie

ermöglicht. Kompatibel mit Vora sind Apache Hadoop oder

Apache Spark Cluster. [6]

SAP BW/4HANA: BW/4HANA bietet eine umfassende Data-

Warehouse-Lösung auf Basis der In-Memory-Technologie an.

SAP wirbt mit einer Echtzeitlösung entweder als On-

Premises- oder als Cloud-Variante. Eine Integration von SAP

und Nicht-SAP-Anwendungen soll in einer Umgebung zur

Bereitstellung einer „single version of the truth“ ermöglicht

werden.

[7]

4.3 Microsoft

Microsoft hat mit seinem Projekt Hekaton auch eine In-Memory-

Technologie-Variante für seinen SQL Server entwickelt. Seit

Microsoft SQL Server 2014 wird die In-Memory-OLTP-

Funktionalität unterstützt. Mit der neuesten 2016er-Version

wurde diese nochmals verbessert. Ähnlich wie bei Oracle

handelt es sich um eine optionale Variante der Datenbank.

Page 6: In-Memory-Technologien im BI/Analytics-Umfeld · im Festplattenspeicher und entlasten damit den Arbeitsspeicher. 4 Was versprechen die Hersteller? Hersteller wie Oracle, Microsoft

WHITEPAPER

6 © OPITZ CONSULTING Deutschland GmbH 2018

Es werden also nicht spezifische In-Memory-Lösungen

beworben, sondern nur der Nutzen und Mehrwert der

Technologie vorgestellt.

Abb. 5. Advanced Features of Microsoft SQL Server 2016

(Quelle: [9])

Microsoft nutzt einen Columnstore-Index, um die

spaltenbasierten Daten im Arbeitsspeicher zu speichern,

abzurufen oder zu verwalten. Hierbei können die bei der

spaltenbasierten Speicherung üblichen hohen

Kompressionsraten erreicht werden. Das führt zum einen zu

einer Reduktion der Datenmenge, zum anderen kann die

Abfrageleistung erhöht werden.

In SQL Server 2016 wird mithilfe des Columnstores auch die

operative Echtzeitanalyse eingeführt. Auch hier lassen sich

Parallelen zur Oracle Datenbank feststellen. Microsoft wirbt mit

einer zeitgleichen Ausführung von Analyse- und OLTP-Abfragen

auf den gleichen Datenbanktabellen.

Abb. 6. Operative Echtzeitanalyse von SQL Server 2016

[Quelle: 10]

Der Columnstore-Index enthält hierbei eine Kopie der Daten im

Datenspeicher, auf denen die Analyseabfragen durchgeführt

werden können, während der Festplattenspeicher für die

transaktionalen Abfragen genutzt wird. Die In-Memory-OLTP-

Funktionalität kann sowohl in der On-Premises- als auch in der

Cloud-Variante von Azure genutzt werden.

Im Bereich von Data Analytics bietet Microsoft eine breite

Palette an Produkten, die von der In-Memory-Technologie

profitieren. Zum einen gibt es den Microsoft R Server, dessen

Funktionalitäten auch im SQL Server als Microsoft R Services

integriert sind und die R direkt auf der Datenbank unterstützen,

weil der R-Code in T-SQL-Prozeduren eingebettet werden kann.

Zudem unterstützt die neueste Version des SQL Servers 2017

mittlerweile auch Python.

4.4 Exasol

Die Firma Exasol entstand aus einem universitären

Forschungsprojekt heraus und wirbt offensiv mit „der

schnellsten In-Memory-Datenbank der Welt“. In den TPC-H

Benchmarks konnte sich Exasol gegenüber der Konkurrenz

durchsetzen und zeigen, wie leistungsstark ihr Produkt bereits

ist. [15]

Exasol hat sich komplett auf die In-Memory-Technologie

spezialisiert und bietet somit anders als die anderen

vorgestellten Hersteller keine weiteren Produkte an. Exasol

wirbt für seine Datenbank mit ähnlichen Features wie die

anderen Anbieter.

Abb. 7. Exasol-Plattform (Quelle: [14])

Die Exasol Datenbank kann als Data Warehouse, Data-Mart und

Accelerator-Schicht für betriebliche BI-Anwendungen dienen,

um Reporting und Analysen zu beschleunigen. Sie wurde

speziell für Analysezwecke entwickelt und verspricht eine

Echtzeitauswertung von großen Datenmengen.

Exasol kann auch in eine bestehende Softwarelandschaft

integriert werden, da sie mit den meisten ETL und BI Tools wie

Alteryx, Tableau, MicroStrategy, Birst, IBM Cognos, SAP

BusinessObjects, Informatica, Talend und Pentaho kompatibel

ist. Exasol kann auch in Kombination mit einem Hadoop Cluster

betrieben werden und unterstützt R, Python, Java und Lua für

Advanced In-Database Analytics.

Page 7: In-Memory-Technologien im BI/Analytics-Umfeld · im Festplattenspeicher und entlasten damit den Arbeitsspeicher. 4 Was versprechen die Hersteller? Hersteller wie Oracle, Microsoft

In-Memory-Technologien im BI/Analytics-Umfeld Überraschend mehr Möglichkeiten

© OPITZ CONSULTING Deutschland GmbH 2017 7

Technologisch wird auch hier das spaltenbasierte Verfahren

eingesetzt, um zum einen die Performance der analytischen

Abfragen zu verbessern und zum anderen die Datenmengen zu

verringern. Es wird mit einer „tuningfreien Datenbank“

geworben, bei der keine weiteren Anpassungen notwendig sind.

Intelligente Algorithmen überwachen die Datenbank-

operationen und passen sich eigenständig an.

Exasol bietet drei verschiedene Produktvarianten an, die zudem

auf vier unterschiedlichen Plattformen betrieben werden

können.

Abb. 8. Exasol Varianten (https://www.exasol.com/de/produkt/)

Exasol One: Günstigste Variante mit einem Ein-Knoten-

System von bis zu 1 TB.

Exasol Enterprise Cluster: Enterprise Variante der EXASOL

mit einer unbegrenzten Skalierbarkeit und

Hochverfügbarkeit.

Exasol Enterprise Cluster Advanced: Erweiterte Enterprise-

Variante mit leistungsstarken In-Database Analytics und der

Unterstützung von Data Science im Big-Data-Bereich.

Die Produkte können auf unterschiedlichen Plattformen

aufgesetzt werden. So können eigene Hardware-Ressourcen

genutzt werden oder eine Cloud-Variante.

On-Premises: Eigene Hardwarenutzung für eine Exasol

Datenbank. Exasol bietet allerdings auch eine Variante mit

Hardware und Software an.

ExaCloud: Exasol bietet eine Database-as-a-Service-(DBaaS)-

Lösung in der eigenen Cloud an, um auf das Know-how von

Exasol noch stärker zu vertrauen.

Amazon Web Services (AWS): Die In-Memory-Datenbank

kann auch auf dem Amazon Cloud Service AWS eingerichtet

werden, um von den Vorteilen der leistungsstarken und

belastbaren Amazon Server zu profitieren.

Microsoft Azure: Neben AWS unterstützt Exasol auch

Microsoft Azure, um somit auch bestehende Azure Kunden

anzusprechen.

Im Gegensatz zu den anderen Herstellern wirbt Exasol mit

geringeren Kosten und einer gleichzeitig höheren Leistung als

andere In-Memory-Datenbanken. Gerade der Kostenfaktor ist

oftmals eine kritische Zahl, so dass die Betrachtung einer Open-

Source-In-Memory-Datenbank sehr interessant sein kann.

Daran knüpft der nächste Abschnitt mit der Ignite Plattform von

Apache an.

4.5 Apache Ignite

Apache bietet mit Ignite eine eigene In-Memory-Computing-

Plattform an. [24] Technologisch ähnelt Ignite den bisher

vorgestellten In-Memory-Lösungen und wird mit den folgenden

wesentlichen Merkmalen beworben:

Durable Memory: Die Datenspeicherung und -Verarbeitung

kann sowohl im Arbeitsspeicher als auch zeitgleich auf

Festplatten geschehen (siehe Abbildung 7), sofern die „Native

Persistence“ aktiviert ist. So kann zugleich eine hohe

skalierbare Performance und eine starke Datenkonsistenz

erreicht werden.

Native Persistence: Mithilfe der Native Persistence wird die

Datenspeicherung auf nichtflüchtigem Speicher aktiviert. Das

ermöglicht langlebige ACID-Funktionen.

SQL Database: Ignite bietet eine umfassende Unterstützung

von verteilten SQL Joins. Bei deaktivierter Native Persistence

ist Apache Ignite eine reine In-Memory-Datenbank.

Data Grid: Das Data Grid ist ein verteilter, transaktionaler Key-

Value Store.

Compute Grid: Unterstützung von parallelen Ausführungen

sorgen für eine hohe Performance mit einer geringen Latenz.

Zudem bietet Ignite eine Sammlung von APIs an, um eigene

Anwendungen anzubinden.

Streaming: Streaming-Datenquellen können an die Ignite

Plattform über unterschiedliche Frameworks angebunden

werden.

Machine Learning: Seit Apache Ignite 2.0 wurden die ersten

Machine Learning Features integriert, befinden sich zurzeit

aber noch in einer Betaphase.

Neben der kostenlosen Variante gibt es auch eine Enterprise

Version von GridGain, bei der es sich um eine Erweiterung von

Apache Ignite für Business-kritische Use Cases handelt. [25]

Abb. 9. Apache Ignite Plattform [23]

Apache Ignite bietet im Open-Source-Bereich eine umfassende

eigene In-Memory-Computing-Plattform an. Ein weiterer Vorteil

von Ignite liegt darin, dass es zusammen mit den für Big Data

relevanten Komponenten von Apache wie Spark, Hadoop und

Yarn betrieben werden kann.

Page 8: In-Memory-Technologien im BI/Analytics-Umfeld · im Festplattenspeicher und entlasten damit den Arbeitsspeicher. 4 Was versprechen die Hersteller? Hersteller wie Oracle, Microsoft

WHITEPAPER

8 © OPITZ CONSULTING Deutschland GmbH 2018

5 Ab wann empfiehlt sich In-Memory?

Nachdem wir uns die In-Memory-Lösungen unterschiedlicher

Hersteller näher angesehen haben, geht es nun um mögliche

Szenarien, die für den Einsatz einer In-Memory-Technologie

geeignet sind. Als Orientierung dienen Customer Stories der

einzelnen Hersteller. Aus diesen Informationen können

Branchen und häufige Einsatzgebiete der In-Memory-

Technologie entnommen werden. [18]

5.1 Real-Time-Analytics

Die Echtzeitdatenverarbeitung profitiert enorm von der

In-Memory-Technologie und kann für Unternehmen einen

entscheidenden Wettbewerbsvorteil gegenüber der

Konkurrenz bedeuten. Aber nicht nur die Verarbeitung, sondern

vor allem auch die Auswertung von Echtzeitdaten ist ein

Key Value für unternehmerische Entscheidungen. Gerade im

Bereich der Telekommunikation, der Finanzmärkte oder auch

des Online-Handels profitieren Unternehmen von einer

In-Memory-Technologie.

In einer Fallstudie von Microsoft heißt es: „because a second is

too long to wait ...”. [20] Hier zeigt sich, dass gerade im Bereich

der Finanzmärkte Transaktionen bereits in Millisekunden

abgewickelt werden. Es werden also immer schnellere

Reaktionszeiten benötigt, um auf dem Markt zu bestehen.

5.2 Predictive Analytics

Ein großer Teil der Business Intelligence umfasst den Bereich

Descriptive Analytics, und somit die Auswertung historischer

Daten. Aus diesem Erkenntnisgewinn lassen sich wichtige

Entscheidungen ableiten. Darüber hinaus können bereits

Echtzeitdaten in den Entscheidungsprozess miteinbezogen

werden, um einen noch höheren Business Value zu erzeugen.

Doch in vielen Branchen reicht es heute nicht mehr aus, „nur“

das Vergangene zu verstehen. Auf Grundlage von aktuellen und

historischen Daten möchte man Vorhersagen für zukünftige

Ereignisse entwickeln.

Damit kommen wir in den Bereich der Predictive Analytics. Die

In-Memory-Technologie kann in diesem Feld einen erheblichen

Performance-Gewinn erzeugen. Sie ermöglicht die bereits

erwähnte In-Database Analytics und gewinnt damit einen völlig

neuen Stellenwert.

Zum Beispiel spielen im Online-Handel momentan Themen wie

Dynamic Pricing oder Targeting eine große Rolle. An diesem

Punkt knüpfen Up- und Cross-Selling-Konzepte auf Basis des

Einkaufsverhaltens an. Ein sehr bekanntes Beispiel für Predictive

Analytics ist das Churn Management, bei dem potenzielle

Kundenabgänge im Vorfeld erkannt und mit gezielten CRM-

Maßnahmen verhindert werden können.

Aus den beiden aufgezeigten Szenarien lässt sich erschließen,

dass die In-Memory-Technologie vor allem in der analytischen

Abfrageverarbeitung von großem Nutzen sein kann.

Bei rein transaktionalen Geschäftsprozessen empfiehlt sich

allerdings weiterhin die Nutzung von traditionellen RDBMS, weil

klassische Systeme preislich immer noch günstiger sind.

Der höhere Preis der In-Memory-Technologie kann sich durch

bessere Business Insights und datengetriebene

Entscheidungen jedoch schnell amortisieren. Ein Stichpunkt

wäre hier die Reduzierung der Total Cost of Ownership (TCO) im

Zuge einer Neugestaltung der Infrastruktur auf Basis einer

In-Memory-Technologie, die gewiss in jedem Unternehmen

unterschiedlich ausfällt.

6 Fazit

Zum Abschluss lässt sich sagen: Die In-Memory-Technologie ist

„kein Schnee von gestern“, sondern aktueller denn je.

Im Zeitalter von Big Data und Digitalisierung werden immer

mehr Daten erzeugt, die nicht mehr nur gespeichert, sondern

auch ausgewertet werden (wollen). Viel zu groß ist daher das

Risiko, die Chance eines höheren Erkenntnisgewinnes liegen zu

lassen. Die In-Memory-Technologie kann hierbei gezielt mit der

nötigen Geschwindigkeit und Performance unterstützen. Durch

die stetig sinkenden Hardware-Preise sind In-Memory-

Lösungen nicht nur für Global Player bezahlbar, sondern

erreichen auch den Mittelstand.

Es zeigt sich, dass ein großer Trend in Richtung Database-as-a-

Service (DBaaS) bzw. Platform-as-a-Service (PaaS) geht und die

Cloud Lösungen der Anbieter häufig intensiver vermarktet

werden als die eigenen On-Premises-Lösungen.

Im Analytics-Bereich steigt die Bedeutung von In-Database-

Analytics-Lösungen auf der Basis von R und Python.. Diesen

Trend haben alle Hersteller, die wir in diesem Whitepaper

vorgestellt haben, erkannt und bieten in ihrem Portfolio solche

Lösungen an.

Diese Trends lassen sich auch aus dem Hype Cycle for Data

Management des Business-Analysten Gartner ablesen (siehe

Abb. 10). Daran lässt sich erkennen, dass zurzeit das Event

Stream Processing in Form einer Echtzeitdatenverarbeitung

sehr hoch im Trend liegt und sich auch die In-DBMS Analytics

auf einem steigenden Ast befinden. Weitere In-Memory-

Themen wie Operational In-Memory DBMS und Analytical In-

Memory DBMS erreichen zum Teil schon die Phase der

Produktivität.

Page 9: In-Memory-Technologien im BI/Analytics-Umfeld · im Festplattenspeicher und entlasten damit den Arbeitsspeicher. 4 Was versprechen die Hersteller? Hersteller wie Oracle, Microsoft

In-Memory-Technologien im BI/Analytics-Umfeld Überraschend mehr Möglichkeiten

© OPITZ CONSULTING Deutschland GmbH 2017 9

Abb. 10. Gartner Hype Cycle for Data Management (Quelle: [22])

7 Quellen

[1] H. Plattner, A. Zeier. (2015). In-Memory Data Management:

Technology and Applications. Springer.

[2] J. C. McCallum: “Memory Prices (1957-2017)”, Stand 1/2018:

http://jcmit.net/memoryprice.htm

[3] Oracle: “Oracle Database In-Memory”, Stand 1/2018:

http://www.oracle.com/technetwork/database/in-

memory/overview/index.html

[4] SAP: „SAP HANA: Ihr Wegbereiter in der digitalen

Transformation“, Website, Stand 1/2018:

https://www.sap.com/germany/products/hana.html

[5] SAP: “Was ist SAP S/4HANA?” Website/Video, Stand 1/2018:

https://www.sap.com/germany/products/s4hana-erp.html

[6] SAP: „Warum SAP Vora?“, Broschüre und Infoblatt, Stand

1/2018: https://www.sap.com/germany/products/hana-vora-

hadoop.html

[7] SAP: “Why SAP Busniess Warehouse”, Website, Stand

1/2018: https://www.sap.com/germany/products/business-

warehouse.why-sap.html

[8] SAP: „Datenzugriff in Echtzeit – mit den In-Memory-

Datenbankservices von SAP HANA“, Website, Stand 1/2018:

https://www.sap.com/germany/products/hana/features/in-

memory-database.html

[9] F. Lardinois: “With SQL Server 2016, Microsoft focuses on

speed, security and luring customers away from Oracle”, 2016:

https://techcrunch.com/2016/03/10/with-sql-server-2016-

microsoft-focuses-on-speed-security-and-luring-customers-

away-from-oracle/

[10] Microsoft: „Erste Schritte mit Columnstore für operative

Echtzeitanalyse“, Website, Stand 1/2018:

https://docs.microsoft.com/de-de/sql/relational-

databases/indexes/get-started-with-columnstore-for-real-time-

operational-analytics

[11] Microsoft: “In-Memory OLTP”, Website, Stand 1/2018:

https://docs.microsoft.com/de-de/sql/relational-databases/in-

memory-oltp/in-memory-oltp-in-memory-optimization

[12] Microsoft: „Optimieren der Leistung mithilfe von In-

Memory-Technologien in SQL-Datenbank“, Website, Stand

1/2018: https://docs.microsoft.com/de-de/azure/sql-

database/sql-database-in-memory

[13] Microsoft: “Übersicht und Verwendungsszenarien”,

Website, Stand 1/2018: https://docs.microsoft.com/de-

de/sql/relational-databases/in-memory-oltp/overview-and-

usage-scenarios

[14] Exasol “Die schnellste analytische In-Memory-Datenbank

der Welt“, Datasheet, Stand 1/2018:

https://www.exasol.com/wp-

content/uploads/2017/10/datasheet-exasol-2016-de.pdf

[15] Produktpräsentation auf der Exasol Website, Stand

1/2018: https://www.exasol.com/de/produkt/

[16] Exasol: „Plattformen“, Website, Stand 1/2018:

https://www.exasol.com/de/plattformen/

[17] Oracle: “Learn more about Oracle Database In-Memory“,

Customer Stories, Stand 1/2018:

http://www.oracle.com/technetwork/database/in-

memory/learnmore/index.html

[18] Microsoft: “Übersicht und

Verwendungsszenarien”,Website, Stand 1/2018:

https://docs.microsoft.com/de-de/sql/relational-databases/in-

memory-oltp/overview-and-usage-scenarios

[19] Exasol: “Unsere Success Stories”, Website, Stand 1/2018:

https://www.exasol.com/de/kunden/

[20] Microsoft: “Because a second is too long to wait, this

financial services firm is updating its trading software now.”,

Customer Story CMC Markets, Stand 11/2016:

https://customers.microsoft.com/en-us/story/because-a-

second-is-too-long-to-wait-this-financial-services-firm-is-

updating-its-trading-software

Page 10: In-Memory-Technologien im BI/Analytics-Umfeld · im Festplattenspeicher und entlasten damit den Arbeitsspeicher. 4 Was versprechen die Hersteller? Hersteller wie Oracle, Microsoft

WHITEPAPER

10 © OPITZ CONSULTING Deutschland GmbH 2018

[21] C. S. Mullins: “How to determine if an in-memory DBMS is

right for your company”, im Blog von TechTarget, Stand 1/2018

http://searchdatamanagement.techtarget.com/feature/How-to-

determine-if-an-in-memory-DBMS-is-right-for-your-company

[22] Gartner Press Release: “Gartner Reveals the 2017 Hype

Cycle for Data Management”, 09/2017:

https://www.gartner.com/newsroom/id/3809163

[23] Mirror of Apache Ignite auf GitHub, Stand 1/2018:

https://github.com/apache/ignite

[24] Ignite: “Apache ignite Database and Caching Platform”,

Website, Stand 1/2018: https://ignite.apache.org/

[25] GridGain: “In-Memory Computing Software and Services”,

Website,Stand 1/2018:

https://www.gridgain.com/products/gridgain-products