WHITE PAPER • MÄRZ 2018

Hadoop-Workflow-Automatisierung

2 • WHITE PAPER • HADOOP-WORKFLOW-AUTOMATISIERUNG ca.com

Inhaltsverzeichnis

Executive Summary 3

Section 1 4Warum eine Workflow-Engine für Hadoop so wichtig ist

Section 2 4Ressourcen-Scheduler vs. Workflow-Manager

Section 3 4Übersicht über die wichtigsten derzeit verfügbaren Open-Source-Work-flow-Lösungen

Apache Oozie

Azkaban

Airflow

Luigi

Pinball

Section 4 5Einsatzgrenzen der vorgestellten Open-Source-Workflow-Lösungen

Section 5 6Zu viele Tools = zu hoher Verwaltungsaufwand

Section 6 6Warum die Workflow-Engine CA Automic Workload Automation ein „Must-Have“ für die Nutzung von Hadoop ist

Section 7 7Funktionsvergleich CA Automic Workload Automation und Open-Source-Lösungen

3 • WHITE PAPER • HADOOP-WORKFLOW-AUTOMATISIERUNG

Kurzzusammenfassung

ca.com

Die HerausforderungDurch Big Data gewonnene Erkenntnisse sind heutzutage eine Grundvoraussetzung für die Wettbewerbsfähigkeit von Unternehmen. Wie es für ein Open-Source-Projekt typisch ist, hat sich Hadoop in vielen Unternehmen von einem zunächst wenig genutzten Tool zu einem integralen Bestandteil von IT-Umgebungen entwickelt. Die Geschwindigkeit, mit der ein Unternehmen Erkenntnisse für den eigenen Geschäftsbetrieb gewinnen kann ist entscheidend, wenn es darum geht, auf Basis dieser Daten fundierte Entscheidungen zu treffen. Die Herausforderung besteht nun darin, die neuen für die Nutzung von Big Data erforderlichen Applikationen und Prozesse in die bestehenden IT-Prozesse einzubinden, sodass sie ohne größere Unterbrechungen und Einschränkungen der Geschäftsabläufe genutzt werden können.

Die HerausforderungIn diesem White Paper beschäftigen wir uns mit der Frage, warum eine Workflow-Engine so wichtig für die Nutzung von auf Hadoop basierenden Big-Data-Umgebungen ist. Zudem geben wir eine Übersicht über die wichtigsten derzeit verfügbaren Open-Source-Workflow-Lösungen und ihre Einsatzgrenzen.

Das ErgebnisAnschließend demonstrieren wir Ihnen, warum die Workflow-Engine CA Automic Workload Automation ein „Must-have“ für die Nutzung von Hadoop und Big Data Workload Automation ist. Dank nativer Integration vereinfacht und beschleunigt CA Automic Workload Automation die Bereitstellung von Hadoop-Applikationen in Unternehmen und der daraus gewonnenen Erkenntnisse. Es sorgt für eine schnelle Einbindung von Hadoop in komplexe Geschäftsprozesse und kann somit nicht nur von Data Scientists, sondern auch von Mitarbeitern aus unterschiedlichsten Unternehmensbereichen genutzt werden.

4 • WHITE PAPER • HADOOP-WORKFLOW-AUTOMATISIERUNG ca.com

SECTION 1

Warum eine Workflow-Engine für Hadoop so wichtig istIn der Welt von Big Data gilt es eine Fülle an unterschiedlichen Technologien zu berücksichtigen, welche in äußerst komplexen IT-Umgebungen resultieren können. Doch auch auf Big-Data-Umgebungen müssen die grundlegenden Prinzipien von kleineren Standardumgebungen angewendet werden. Schließlich müssen Sie auch Ihre bestehenden relationalen Datenbanken in die neuen Big-Data-Systeme einbinden können. Und umgekehrt müssen für die Erstellung von Berichten auch Daten aus Big-Data-Systemen in Ihre bestehende IT-Umgebung eingebunden werden können.

Für die Umsetzung von Big-Data-Workflows gilt es folglich, sowohl die neuen Big-Data-Technologien als auch die bestehenden Applikationen in einem gemeinsamen Geschäftsprozess zu nutzen.

Warum ist eine Workflow-Engine nun also eine wichtige Voraussetzung für Hadoop-Umgebungen? Im Zusammenhang mit Big Data haben Hadoop-Entwickler häufig mit den unterschiedlichen Dateiformaten zu kämpfen. Zahlreiche sich überschneidende und vor allem zeitaufwändige vorbereitende Arbeitsschritte, wie Extraktion, Transformation und Laden (ETL) sind notwendig, bevor die eigentliche physikalische Datenverarbeitung erfolgen kann.

Um agil zu bleiben und dem Unternehmen zeitgerecht die für neue Services und Updates erforderlichen Informationen bereitzustellen, müssen Hadoop-Entwickler diese Schritte in wiederverwendbare Workflows umwandeln, mit deren Hilfe der Entwicklungsprozess automatisiert und beschleunigt werden kann, ohne dass neuer Code geschrieben werden muss.

SECTION 2

Ressourcen-Scheduler vs. Workflow-ManagerZunächst einmal ist es wichtig, zwischen einem Ressourcen-Scheduler (häufig auch als „Negotiator“ bezeichnet) und einem Workflow-Manager zu unterscheiden. Ressourcen-Scheduler sind ein wichtiger Bestandteil von Hadoop. Scheduler erstellen Prozesse auf unterschiedlichen Nodes und weisen Ressourcen in Abhängigkeit von Applikationsanforderungen und Clusterkapazitäten zu. Hadoops YARN (Yet-Another-Resource-Negotiator) arbeitet dabei unauffällig aber dennoch transparent im Hintergrund und erfordert normalerweise keinerlei Eingriffe durch den Nutzer.

Workflow-Manager hingegen kümmern sich um die Verarbeitung komplexer Hadoop-Aufgaben, wie beispielsweise sequentielle, parallele oder auf Ereignisauslösern basierende Jobs. Jobs können dabei unterschiedlichste Aufgaben umfassen: Ausführen bestimmter Java®-Apps, Zugriff auf das Hadoop-Dateisystem / andere Data Stores oder Ausführen zahlreicher Hadoop-Applikationen und vieles mehr. Workflow-Manager für Hadoop unterscheiden sich ebenfalls hinsichtlich Programmiermodell/-sprache, Codekomplexität, Format zur Beschreibung von Eigenschaften/Parametern, unterstützten Applikationen, Skalierbarkeit, Dokumentation und Support.

SECTION 3

Übersicht über die wichtigsten derzeit verfügbaren Open-Source-Workflow-Lösungen Apache OozieDas Oozie-Framework wurde von einer Gruppe von Yahoo!-Ingenieuren in Bangalore, Indien, entwickelt, um komplexere und mehrstufige Hadoop-Verarbeitungen zu ermöglichen. Das auf Java-Technologie basierende Open-Source-Projekt vereinfacht die Erstellung von Workflows und koordiniert Hadoop-Jobs.

Apache Oozie (wie es später genannt wurde) ermöglicht Entwicklern, unterschiedliche Jobs sequentiell in einer logischen Arbeitseinheit zu bündeln. Dies bietet zahlreiche Vorteile. Erstens ist Apache Oozie

5 • WHITE PAPER • HADOOP-WORKFLOW-AUTOMATISIERUNG ca.com

vollständig in den Hadoop-Stack integriert und unterstützt Hadoop-Aufträge für Apache MapReduce, Pig, Hive und Scoop. Zweitens kann das Open-Source-Framework für das Scheduling von systemspezifischen Jobs, wie beispielsweise Java-Programmen, verwendet werden. Und drittens ermöglicht Oozie Hadoop-Administratoren komplexe Datentransformationen zur Verarbeitung von unterschiedlichen Einzelaufgaben und sogar von Sub-Workflows. Das Ergebnis? Eine bessere Kontrolle von komplexen Jobs und eine höhere Wiederholbarkeit von Jobs, wann immer dies erforderlich ist.

AzkabanAzkaban ist eine Open-Source-Workflow-Engine für Hadoop-Umgebungen. Entwickelt von LinkedIn und geschrieben in Java, bearbeitet Azkaban Aufträge mithilfe von Jobabhängigkeiten und bietet eine benutzerfreundliche Web-Schnittstelle für die Wartung und Nachverfolgung von Big-Data-Workflows.

Azkaban und Oozie sind beide Open-Source-Workflow-Engines für das Job-Scheduling in Hadoop und beide basieren auf Java. Aber das war es auch schon an Gemeinsamkeiten. Mit Azkaban lassen sich Workflow-Schedules einfach definieren, bei Oozie hingegen ist dies deutlich komplexer. Das Job-Scheduling mit Azkaban unterstützt ausschließlich zeitgesteuerte Workflows, Oozie hingegen unterstützt sowohl zeitgesteuerte als auch eingabegesteuerte Workflows. Alle Zustände eines laufenden Workflows werden bei Azkaban im Speicher vorgehalten, Oozie hingegen speichert den Zustand eines laufenden Workflows lediglich für Zustandsübergänge.

AirflowDas Übernachtungsportal Airbnb hat kürzlich den Quellcode von Airflow, seines hauseigenen Daten-Workflow-Management-Frameworks unter der Apache-Lizenz freigegeben. Das Unternehmen selbst nutzt Airflow für die Erstellung, Überwachung und Anpassung von Daten-Pipelines. Die Plattform ist in Python verfasst, ebenso wie die darüber ausgeführten Workflows.

Mit Airflow können Workflows erstellt, gewartet und eingeplant werden. Die Plattform kann unter anderem mit Hive, Presto, MySQL, HDFS, Postgres und S3 kombiniert werden. Für eine gute Erweiterbarkeit verfügt das System zusätzlich über Entwicklerwerkzeuge. Airflow besitzt eine Kommandozeilenschnittstelle sowie eine webbasierte Benutzeroberfläche, mit der Nutzer Pipeline-Abhängigkeiten visualisieren, den Fortschritt von Workflows überwachen und Aufgaben starten können.

Wie unterscheidet sich Airflow von Oozie oder Azkaban?

Aiflow-Pipelines sind im Gegensatz zu Markup-Language bei Oozie oder Azkaban als Code definiert. Außerdem lassen sich Aufgaben dynamisch realisieren und nicht wie bei Luigi (siehe unten) durch die Ableitung von Klassen. Airflow eignet sich also insbesondere für Anwendungsfälle, bei denen Pipelines dynamisch mithilfe von Konfigurationsdateien oder Metadaten jeglicher Art erstellt werden.

LuigiLuigi ist ein Open-Source-Daten-Framework auf Basis von Python zur Erstellung komplexer Daten-Pipelines mit integriertem Support von Hadoop. 2009 von Spotify entwickelt, wird Luigi mittlerweile auch von Organisationen wie Foursquare, Stripe und Asana in ihren Produktionsumgebungen verwendet. Anstelle einer XML/YAML-Konfiguration werden alle Jobs und Abhängigkeiten in Python programmiert. Luigi übernimmt die Verwaltung komplexer Aufgaben, einschließlich Auflösung von Abhängigkeiten, Workflow-Management und Visualisierung.

Das Luigi-Framework ist relativ klein (es besteht lediglich aus mehreren tausend Zeilen) und daher leicht zu verstehen. Zudem lassen sich mit dem Workflow-Manager Daten-Pipelines in Bezug auf Aufgaben und Ziele einfach abstrahieren und Abhängigkeiten verwalten.

Luigi hat viele Vorteile: Es verwaltet Abhängigkeiten, reduziert die Menge an Boilerplate Code, die für Überprüfungen erforderlich ist, und kümmert sich um die Wiederherstellung nach Störungen. Die Lösung sorgt ebenfalls dafür, dass der Entwicklung von Daten-Pipelines eine klare Struktur zugrunde liegt.

PinballPinterest hat kürzlich Pinball veröffentlicht – einen skalierbarer Open-Source-Workflow-Manager. Das Tool unterstützt eine Vielzahl unterschiedlicher Datenverarbeitungs-Pipelines, die von aus einfachen Shell-Skripten zusammengesetzten Jobs bis hin zu komplexen Hadoop-Workloads reichen. Pinball wird von den Entwicklungsteams bei Pinterest für hunderte von Workflows für die tägliche Datenverarbeitung in Hadoop-Clustern eingesetzt. Der größte Workflow umfasst 500 Jobs.

Als Out-of-the-Box-Lösung unterstützt Pinball eine auf Python basierende Workflow-Konfigurationssyntax. Zudem verfügt es über eine Reihe von Job-Templates für die Konfiguration von einfachen Shell-Skripten sowie komplexere Berechnungen über die Hadoop-Plattform. Mithilfe von Pinball können Anwender Datenabhängigkeiten zwischen Jobs flexibel modellieren, zum Beispiel wenn ein Job erst dann ausgeführt werden kann, wenn die dafür benötigten Daten zur Verfügung stehen.

6 • WHITE PAPER • HADOOP-WORKFLOW-AUTOMATISIERUNG ca.com

SECTION 4

Einsatzgrenzen der vorgestellten Open-Source-Workflow-LösungenBevor Sie sich für eine der oben genannten Open-Source-Lösungen für Workflow-Management entscheiden, sollten Sie sich der folgenden Dinge bewusst sein:

• Diese Open-Source-Lösungen wurden von jungen und schnell wachsenden Unternehmen, wie beispielsweise Airbnb, Spotify und Pinterest entwickelt. Weder die Natur noch die Größe dieser Unternehmen macht eine Einbindung von Big Data in bestehende Produktionsumgebungen erforderlich. Die meisten Unternehmen benötigen jedoch gerade dies: die Einbindung von Big Data in bestehende ERP- oder Data-Warehouse-Applikationen.

• Alle oben genannten Open-Source-Workflow-Lösungen richten sich an Big-Data-Ingenieure und Entwickler, nicht an Datenanalysten oder herkömmliche IT-Nutzer. Heutzutage wird Big Data jedoch in den meisten Fällen von Nutzern aus dem nicht-technischen Bereich, wie beispielsweise Datenanalysten, genutzt. Diese benötigen für agile Analysen oder andere Prozesse einen einfachen Zugriff auf die Daten.

• Zudem geraten Open-Source-Lösungen an ihre Grenzen, wenn es um Compliance oder Datenkontrolle geht, für die ein eigener Code erforderlich ist. Im Rahmen ihrer GRC-Strategie müssen IT-Organisationen jedoch die Zuverlässigkeit, Konformität und Verbindlichkeit von Daten gewährleisten und sie gleichzeitig vor jeglichem Verlust schützen.

SECTION 5

Zu viele Tools = zu hoher VerwaltungsaufwandWerden zu viele Tools in einen Prozess eingebunden, kann dies zu einem immens großen Verwaltungsaufwand führen. Jedes Tool und jede Applikation, die Sie in Ihren Big-Data-Workflow einbinden, muss auf irgendeine Weise mit der Vielzahl anderer in Ihrem System vorhandenen Tools integriert, synchronisiert und koordiniert werden.

Die Erstellung und Verwaltung dieses Prozesses ist daher äußerst kompliziert. Die meisten Tools bieten weder die erforderliche Transparenz noch die Funktionen, um nachzuvollziehen, was in den anderen Teilen des Systems passiert. Die Auswahl, Einbindung und Verwaltung geeigneter Tools war schon immer eine große Herausforderung der IT-Branche. Viele Organisationen investieren sehr viel Zeit, Geld und Ressourcen in die Auswahl der geeigneten Tools, nur um anschließend festzustellen, dass noch wesentlich mehr Aufwand nötig ist, um herauszufinden, wie diese eingesetzt, eingebunden und verwaltet werden können.

Das ist aber noch längst nicht alles. Sobald feststeht, welche Tools eingesetzt werden sollen, muss noch mehr Zeit und Geld in die Hand genommen werden, um die für die Integration der Toolauswahl erforderlichen Schritte umzusetzen. Der explosionsartige Anstieg der Anzahl der auf dem Markt verfügbaren Big-Data-Applikationen und -Tools hat diesen Umstand nur noch verschärft.

7 • WHITE PAPER • HADOOP-WORKFLOW-AUTOMATISIERUNG ca.com

SECTION 6

Warum die Workflow-Engine CA Automic Workload Automation ein „Must-Have“ für die Nutzung von Hadoop istIEine Workflow-Automatisierungslösung für Hadoop muss die folgenden Funktionen umfassen, wenn sie den Herausforderungen eines modernen Unternehmens gewachsen sein soll:

• Natives Hadoop-Job-Scheduling

• Betriebssystem und Web-Services-Agenten (SOAP und REST), die für alle zukünftigen Hadoop-Entwicklungen geeignet sind

• Integrierter Managed File Transfer

• Architektur mit hoher Verfügbarkeit und Skalierbarkeit

• Reibungslose Upgrades ohne Ausfallzeiten

• Objektorientierung für schnelle, flexible und wiederverwendbare Workflows

• Native Unterstützung von Drittanbieterapplikationen, einschließlich ERPs und BI

• Dynamische und ereignisbasierte Automatisierung

• Advanced Workload Balancing

• Integrierte SLM-Funktionen für operatives Geschäft und IT

• Integrierte Workload-Analyse und Reporting für die Gewinnung von Erkenntnissen aus Workflows

• Self-Service-Funktionen für Nutzer aus dem nicht-technischen Bereich

• Funktionen zur Sicherstellung des Schutzes und der Konformität von Daten innerhalb des gesamten Unternehmens

• Automatisierung für Unternehmen unterschiedlichster Branchen all verticals

• Upgrades ohne Ausfallzeiten (nicht möglich beim Einsatz von Open-Source-Lösungen)

Um sichergehen zu können, dass Ihr Unternehmen für alle zukünftigen Anforderungen gewappnet ist, sollten Sie bei der Auswahl einer geeigneten Lösung mindestens die oben genannten grundlegenden Punkte berücksichtigen.

Mit CA Automic Workload Automation machen Sie in diesem Zusammenhang alles richtig, da unsere Automatisierungslösung alle oben genannten Funktionen unterstützt. So vereinfacht und beschleunigt sie dank nativer Integration den Einsatz von Hadoop-Applikationen in Unternehmen und die Nutzung der damit verbundenen Erkenntnisse. Zudem sorgt sie für eine schnelle Einbindung von Hadoop-Daten in komplexe Geschäftsprozesse, die somit nicht nur von Data Scientists, sondern auch von Mitarbeitern aus unter-schiedlichsten Unternehmensbereichen genutzt werden können.

8 • WHITE PAPER • HADOOP-WORKFLOW-AUTOMATISIERUNG ca.com

SECTION 7

Funktionsvergleich CA Automic Workload Automation und Open-Source-Lösungen

SchwerpunktUnternehmens-Workflows

Hadoop-Workflows

Hadoop-Workflows

Python-Workflows

Python-Workflows

Python-Workflows

Workflow Triggers Zeit, vorangehende Aktivität,Datei, Applikation, Ereignis

Zeit, vorangehende Aktivität

Zeit, vorangehende Aktivität

Zeit, vorangehende Aktivität

Zeit, vorangehende Aktivität

Zeit, vorangehende Aktivität

Hadoop-Cross-Cluster-Abhängigkeiten

Ja Nein Nein Ja Ja Ja

Map Reduce / Yarn Ja Ja Ja Ja Ja Ja

Pig und Hive Ja Ja Ja Ja Ja Ja

Sqoop Ja Ja Ja Ja Ja Ja

Hohe Verfügbarkeit Nativ, OOTB Loadbalancer Nein Nein Nein Nein

Konfigurations-schnittstelle

GUI and Scripting

XML Java Property Files

Python Code Python Code Python Code

Zielgruppe Nicht-technisch bis technisch

Technisch Technisch Entwickler Entwickler Entwickler

Grafische Benutzeroberfläche

Entwickl., Monitoring,

Monitoring Monitoring, Ops, Admin

Monitoring, Admin

Monitoring Monitoring

File-Transfer Nativ Nein Nein Code erforderlich

Code erforderlich

Code erforderlich

Support von Betriebssystemen

Breit (15+) Eingeschränkt (Linux)

Eingeschränkt (Linux)

Python Python Python

Applikationsintegra-tionen

Breit (SAP, Oracle, Informatica etc.)

Nein Nein Nein Nein Nein

ITSM-Integration Ja Nein Nein Nein Nein Nein

Versionsverwau-

ltung für

Workflows

Ja Nein Nein Nein Nein Nein

Kontaktieren Sie CA technologies

Copyright © 2018 CA. Alle Rechte vorbehalten. Java und auf Java basierende Marken und Logos sind entweder Markennamen der Oracle Corporation in den USA und/oder in anderen Ländern. Alle anderen Markennamen, auf die in diesem Dokument verwiesen wird, sind Eigentum der jeweiligen Unternehmen. Dieses Dokument dient ausschließlich der Information und enthält keinerlei Gewährleistungen oder Zusicherungen. Die beschriebenen Funktionen sind gegebenenfalls kundenspezifisch und die tatsächliche Produkt-Performance kann variieren.

Einige Informationen dieser Publikation basieren auf den Erfahrungen von CA mit dem genannten Softwareprodukt in unterschiedlichen Entwicklungs- und Kundenumgebungen. Die in der Vergangenheit erzielte Performance des Softwareprodukts in diesen Entwicklungs- und Kundenumgebungen stellt keine Gewähr für die zukünftige Performance des Softwareprodukts in identischen, ähnlichen oder abweichenden Umgebungen dar. CA kann nicht garantieren, dass das Softwareprodukt wie in dieser Veröffentlichung beschrieben funktioniert. CA unterstützt das genannte Produkt lediglich in Übereinstimmung mit (i) der Dokumentation und den Spezifikationen, die zusammen mit dem genannten Produkt bereitgestellt werden und (ii) der zum Zeitpunkt der Veröffentlichung dieser Publikation angebotenen Wartungs- und Supportleistungen des genannten Produkts.

Es können keinerlei Ansprüche dahingehend geltend gemacht werden, dass ein Produkt oder Service von CA Technologies von Kunden eingesetzt werden kann, um gesetzliche Auflagen (finanzieller oder anderer Art) zu erfüllen.

CA bietet keine Rechtsberatung an. Weder dieses Dokument noch irgendein hier genanntes Softwareprodukt stellt einen Ersatz für die Einhaltung von gesetzlichen Vorgaben dar (einschließlich, jedoch nicht begrenzt auf Verordnungen, Statute, Anweisungen, Regelungen, Maßnahmen, Beschlüsse, Richtlinien, Normen, Standards, Bestimmungen, Anordnungen, Weisungen etc. (allgemein „Gesetze“)). Bitte wenden Sie sich bezüglich weiterer Informationen zu den in diesem Dokument genannten Gesetzen an einen kompetenten Rechtsberater.

CS 200-352095_0318

CA Technologies (NASDAQ: CA) entwickelt Software, die die Transformation von Unternehmen vorantreibt und ihnen ermöglicht, die Chancen der Application Economy zu nutzen. Software ist das Herz eines jeden Unternehmens, in jeder Branche. Von der Planung über die Entwicklung bis zu Management und Sicherheit arbeitet CA weltweit mit Unternehmen zusammen, um unsere Lebensweise zu verändern in Bezug auf unsere Kommunikation und Interaktion und das unterwegs, zuhause und in öffentlichen Clouds sowie in Mainframe-Umgebungen. Erfahren Sie mehr unter: ca.com/de.

9 • WHITE PAPER • HADOOP-WORKFLOW-AUTOMATISIERUNG

Weitere Informationen finden Sie bitte unter: ca.com/de/automation

ca.com

Self-Service-GUI mit

Benutzerauf-forderungen

Ja Nein Nein Nein Nein Nein

Vor- und Nachbedingungen für jeden Job

Ja Nein Nein Code erforderlich

Code erforderlich

Code erforderlich

Neustart von Workflows

Ja Nein Ja Code erforderlich

Code erforderlich

Code erforderlich

Rollback von Workflows

Ja Nein Nein Nein Nein Nein

Upgrades ohne Ausfallzeiten

Ja Nein Nein Nein Nein Nein

Data Governance und Compliance

Nativ Nein Nein Code erforderlich

Code erforderlich

Code erforderlich

Integrierte SLM-Funktionen

Ja Nein Nein Nein Nein Nein

Integrierte Analyse-Funktionen

Ja Nein Nein Nein Nein Nein