4 192587 306401 0 8

Deutschland sterreich Schweiz Benelux Spanien Italien 46,40 47,05 sfr12,80 47,50 48,30 48,30www.linux-magazin.de

Erfolg ohne Bros: Das Geheimnis der Apachen S. 18

Hadoop 2 und Apache Spark S. 22

Apache Aurora steuert Infrastrukturdienste S. 26

Jmeter: Konkurrenzarmer Spezialist fr Lasttests S. 30

Tuning-Guide fr den Apache Webserver S. 36

Clouds in der Wste: Open-Stack- Projekt schickt Sahara vor S. 66

Zentral konfigurieren: Was Etcd, Consul und Zookeeper taugen S. 72

Perl-Autor Mike Schilli verheddert sich fast in einer vermeintlich trivialen Mathe-Aufgabe S. 92

Alternative VPNs mit Peer-to-Peer-ChicTinc, Freelan, Ipop und Zero Tier bauen Overlay-Verbindungen und Tunnel auf S. 44

GroupwareMit Elan und Venture Capital: Freie Davids kmpfen gegen Exchange und Notes S. 58

Mozilla Rust 1.0Statisch getypte Sprache, die Wert auf Schnellig keit und Sicherheit legt S. 84

08/15

Eine fesselnde Exkursion ins ausgedehnte Reich der Apache Software Foundation

Apache-Land

DIE ZEITSCHRIFT FR LINUX-PROFESSIONALS

250.

AUS

GABE

3www.lin

ux-m

agaz

in.de

Editorial

Login

08/2015

Voll vernetzt

Internet der Dinge, IoT, ist der Megatrend: Toaster mit IPv6-Adresse, oder die

Lichtfarbe zu Hause in Buxtehude justieren, whrend man selbst in Usbekistan

an der Bar eines Mittelklasse-Hotels hockt der Stromversorger erfhrt natrlich

auch davon. Alles Nonsens fr Technikfreaks? Von wegen: Auf einer Privatjacht

im schnen Monte Carlo am Vorabend des Groen Preises von Monaco hatte ge-

rade die erste vernetzte Champagnerflasche ihren ersten Auftritt. Hersteller des

Behltnisses ist Maison Mumm. Die Pressemitteilung verspricht: Die vernetzte

Magnum ist eine Innovation fr noch mehr Feierspa.

Kein Wunder, denn in dem Moment, indem der Korken von der vernetzten Flasche

springt, stellt ein Sensor eine Verbindung zu einem Empfnger im Audio- und Vi-

deosystem des Austragsungsortes her und lsst ein interaktives Ton- und Bilder-

lebnis aus, das von jedem Luxus-Nachtclub, der dieses Angebot nutzt, persnlich

angepasst werden kann. Solch gediegene Transparenz der oberen Zehntausend

wnscht sich der schnde Biertrinker schon lange. Da aber die Innovationen der Formel 1 ein paar Jahre spter

auch die Kompaktklasse erreichen, sind fr normalverdienende Smart-Homiker Hopfen und Malz nicht verloren.

Den neuesten Transparenztrend stt, ja: richtig gelesen, der Bauernverband von Mecklenburg-Vorpommern

an. In Sachen Urbanitt etwas peripher positioniert, betritt er mit Gummistiefeln mediales Neuland, indem er

aus einem Saustall Livebilder via Satellit ins Internet bertrgt. Schweine-TV heit das Format ungewollt

vieldeutig. Welche fette Sau am Ende die Big Brother Show gewinnt, kann niemand wissen. Der bauernschlaue

Verband aber darf sich als Erfinder eines hippen Drei-Buchstaben-Trends fhlen: IoA, Internet of Animals.

Technisch und rechtlich ungleich schwerer tut sich der Trend Internet of People (IoP), auch bekannt als anlass-

lose Vorratsdatenspeicherung. Vor Jahren vor zwei obersten Gerichten krachend gescheitert, unternimmt die

deutsche Groe Koalition einen neuen Versuch, sie gegen den Widerstand von Brgerrechtlern, Datenschtzern

und der Internetwirtschaft wieder in Kraft zu setzen (siehe Artikel ab Seite 78). IoP loggt die Aktivitten aller

Brger der Informationsgesellschaft 24x7. Das hilft zwar nachweislich nicht gegen Terroristen, die anfallenden

Daten lassen sich aber sicher nutzbringend auf andere Weise verwerten.

IoT, IoA, IoP: Ob es urologisch oder gesellschaftlich vorteilhaft ist, wenn beim ffnen einer jeden Bierflasche

deren Kronkorken einen Raspberry Pi dazu veranlasst, die zum Gerstensaft passende Pinkellichtfarbe im Klo

anzumischen, muss sich genauso erst erweisen, wie fr ein Bauern-TV-berwachtes Ferkel, das statt einer

Fernsehkarriere lieber drauen die Sau rauslassen wrde. Und ob der voll vorratsdatengespeicherte Brger die

versprochene Freiheit vor Verbrechern als so genussvoll erleben wird?

Ob berwachten Toaster, ob TV-Schwein wider Willen oder ob der rund um die Uhr abgenuckelte Brger: Struk-

turell interessanter als die berwachten in der schnen IoX-Welt sind die berwacher: Eventschtige Alkohol-

konsumenten, Mnner, die auf Schweine starren, und Polizisten, die in Suchmasken bevorzugt alle eintippen.

Bleibt am Ende die Frage, ob sich das Stalking stoppen lsst. Schwierig, denn: Mumm muss man haben. Schwein

muss man haben. Internet und Telefon muss man haben. Biertrinker knnten ihrem Hobby in einem faradayschen

Kfig frnen, der Korkensensoren ihren Plopp-Botschafter-Status entzieht. Die recht intelligenten Schweine

werden wohl die Stall-Webcam durch geschickt geworfene Exkremente blind machen. Dem dauerverpetzten

IoP-Brger bleibt allein die Flucht in die Wahlkabine solange die keiner zum Internet of Vote (IoV) umrstet.

Jan Kleinert, Chefredakteur

Inhalt

4

www.lin

ux-m

agazin.de

08/2015

08/2015

Die Apache Software Foundation liegt nicht faul auf der gegerbten Tierhaut, sondern frdert

nach Krften eine florierende Community aus groen und kleinen Projekten. Der Schwerpunkt

unternimmt eine organisierte Reise in das groflchige Apache-Reservat, gibt einen stammes-

geschichtlichen berblick und portrtiert besonders interessante Softwarefamilien.

AktuellAktuell

6 News

n Kernel4.1mitLangzeit-Support

n ApplegibtSwiftfrei

n Tine2.0Groupware

n Enterprise-Harddiskmit10TByte

n VideokonferenzenperFirefox

n TheMachinevonHPmitLinux

n DaszweiteUbuntuPhone

n WaylandundWeston1.8

n Kubuntu-Chefbeurlaubt

12 Zahlen&Trends

n VisionenfrOpenStack

n UnsichereSmartHomes

n 20JahreJava

n DropboxmitSicherheitszertifikat

n GimpstreitetmitSourceforge

n UbuconsuchtVortrge

n MozillaerhhtKopfgeldfrBugs

n TrendsinRechenzentren

18 ApacheSoftwareFoundation

HundertevonProjektenstecken

unterdemDachderApacheSoftware

Foundation.TrotzdembrichtkeinChaos

aus.Wiemachendiedas?

22 Hadoop2undApacheSpark

WerimDatenmeerfischengeht,sollte

bessereinenordentlichenTrawlerim

Schlepptauhaben.Hadoop2undApache

SparkscheinenfrdenJobgeeignet.

26 ApacheAurora

ImRechenzentrumverteiltAuroradie

wichtigstenDienste.Gelernthatdas

Mesos-FrameworkbeiTwitter.

30 Jmeter

Vorbelastet:DasfreieJmeteristeinfast

konkurrenzlosesToolfrLasttests.

34 Apache-Serveroptimieren

AusdembewhrtenApache-Webserver

lsstsichmehrPerformancerausholen.

Titelthema:Apache-Land

Die von HP als revolutionr vorgestellte Hard-ware The Machine luft auf Linux.

Mark Collier, COO der Open Stack Foundation, erluterte seine Vision fr Open Stack.

Die Apache Software Foundation brtet pro Monat rund zwei neue Projekte aus.

Zwei Apache-Projekte liefern die Ausrstung fr die Big-Data-Flotte.

Wie Mesos ist auch Aurora ein Projekt unter dem Dach der Apache Software Foundation.

Intelligent eingesetzte Direktiven machen den HTTP-Server von Apache pfeilschnell.

Details zu DVD- Inhalten auf S. 41TOOL DELUG-DVD

TOOL

TOOL

Remnux6.0Ubuntu-14.04-basiertevirtuelleSecurity-Appliance,diebeispiels-weisehilft,Malwarezuanalysieren

GrazerLinuxtageDieDVD-SeiteAistrandvollmitVortragsvideoszuangesagtenAdmin-undProgrammierthemen

Fedora22DasOriginal:OffizielleISO-FilesderWorkstation-unddieAtomic-Host-Versionfr64-Bit-Rechner

Raspi-BuchVollstndigesFranzis-E-Book:LinuxmitRaspberryPi(ber300SeitenausderPraxis)

TOOL

TOOL

Titel

5www.lin

ux-m

agazin.de

Inhalt

08/2015

08/2015

58 Aufundab

Freie Groupware kann zwar auf schne

Erfolge verweisen, gert aber auch

immer wieder in die Opferrolle meist

wegen externer Finanzierungen.

84 Boxenstopp

Ob sich Rust nach dem Release der

Version 1.0 gegen C und C++ behaupten

kann, hngt auch davon ab, ob die

Sprache mit ihren Features punktet.

42 Thermischgesichert

Die neue Version der schlanken

Firewall-Distribution IP-Fire filtert un-

ter anderem den Netzwerkverkehr auf

Basis geografischer Daten.

Programmieren

84 MozillasRust

WerAlternativenzuCundC++sucht,

sollteeinenBlickaufRust1.0werfen.

88 C++11Folge23

ModernesC++inderPraxis:Variadic

Templatespunktengleichmehrfach.

92 Perl-Snapshot

MancheaufdenerstenBlickeinfach

erscheinendenMathematik-Probleme

lstderPerl-BenutzeramEndenurmit

derHilfevonSkripten.

Forum

78 Recht

GesetzesentwurfderRegierungzur

Vorratsdatenspeicherung.

80 Bcher

Nachlese:Bcher

berAngularJSund

denRaspberryPi.

82 Leserbriefe

AufdenPunktgebracht.

41 Einfhrung

DELUG-DVD:IP-Fire,Fedora,Raspi-E-Book

42 IP-Fire

DieaktuelleVariantevonIP-Firesteuert

derAdminperWeboberflcheundfiltert

TrafficaufBasisvonGeodaten.

44 Bitparade

DiebeliebtenVPN-Tunnellassensich

auchimPeer-to-Peer-Verfahrengraben.

VierP2P-VPN-LsungenimVergleich.

50 LibreOfficeaufAndroid

EineneueAppzeigtLibre-Office-

DokumenteaufSmartphonesan.

52 Tooltipps

ImKurztest:DevicesinLAN0.4,Gxmes-

sage3.4.3,SiteMonitoring2.1.6,Bleachbit

1.6,Fehashmac1.4.2,SSHGuard1.5

Software

57 Einfhrung

MitdemTLSInterposerhltCharlydie

Open-SSL-BibliothekenimSchach.

58 FreieGroupware

DiebisherigenEntwicklungenaufdem

FeldderGroupwarefrLinuxbeleuchtet

dieserArtikelkritisch.

66 OpenStackSahara

DieKomponentewill,dasssichOpen

StackundHadoopbesserverstehen.

72 Konfigurations-Management

Etcd,ConsulundZookeeperverspre-

chen,ganzeFlottenvonVMsautomati-

siertzukonfigurieren.Klapptdas?

Sysadmin

Parameter Packs nehmen keines bis beliebig viele Argumente auf.

Tunnelblick: VPN-Tools finden neue Wege.

Bleachbit will Rechner von berflssigen Da-ten befreien, darunter Temp-Files.

Service

3 Editorial

98 IT-Profimarkt

99 Stellenanzeigen

104 Veranstaltungen

104 Inserenten

105 Impressum

106 Vorschau

Mehrere MOLS lassen sich in lauter eindeuti-gen Kombinationen zusammenfassen.

ber das Dashboard lassen sich in Sahara Templates fr einen Hadoop-Cluster bauen.

Titel

Titel

Titel

Titel

Titel

Aktuell

6

www.lin

ux-m

agaz

in.de

New

s08

/2015

News

HGST, ein Unternehmen von Western Digital, kndigte die erste Festplatte der Enterprise-Klasse mit 10 Terabyte Volu-men fr Archivierungsanwen-dungen an. Die Host-verwal-tete SMR-Festplatte Ultrastar Archive Ha setzt neue Ma-stbe, indem sie fr Server- und Speicher-Anwendungen die zurzeit hchstmglichen Speicherdichten bei zugleich moderaten Betriebskosten er-laubt.Das Produkt ist das Ergebnis der Kombination zweier Tech-nologien, die sich gegenseitig

ergnzen: Es basiert zum ei-nen auf der zweiten Generati-on von HGSTs praxiserprobter Helio-Seal-Plattform und zum anderen auf der Shingled-Ma-gnetic-Recording-Technologie (SMR). Das erreicht eine hohe Speicherdichte und Energie-Effizienz ohne Abstriche bei der Verlsslichkeit. Die groe Platte eignet sich fr Anwendungen, bei denen Daten sequenziell geschrie-ben und zufllig gelesen wer-den mssen. Das ist zum Bei-spiel bei sozialen Medien, in Cloudspeichern, Online-Back-

up-Lsungen, Anwendungen der Life Sciences und auch

in der Medien- und Unterhal-tungsbranche der Fall.HGST sieht SMR als eine der wesentlichen Technologien zur knftigen Realisierung h-herer Speicherdichten. Indem man die Datenspuren ber-lappend oder in schindelar-tiger Anordnung aufeinander platziert, lassen sich mehr Daten auf gleichem Raum un-terbringen. Das sequenzielle Schreibverhalten der Host-verwalteten SMR-Festplatte ist auf die Arbeitsbelastung bei der aktiven Archivierung abgestimmt. n

Weltweit erste 10-TByte-Platte

Apple will noch im Laufe des Jahres den Quellcode fr sei-ne relativ junge Programmier-sprache Swift freigeben. Der Code soll dann unter einer von der OSI untersttzten Li-zenz stehen, Apple will auch einen Port fr Linux entwi-ckeln. Angekndigt hat Apple den Schritt auf der hauseige-nen Worldwide Developers Conference (WWDC) Anfang Juni in San Francisco. Beob-achter werten ihn als Reaktion auf Microsofts Open-Source-Strategie: Der Redmonder Konzern hatte den Dotnet-Core unter die MIT-Lizenz gestellt.Swift ist objektorientiert und nutzt LLVM als Compiler. Dessen Hauptentwickler Chris

Lattner arbeitet inzwischen fr Apple und ist zugleich Chefentwickler von Swift. Zu-sammen mit Swift will Apple den Compiler und die Stan-dardbibliotheken ffnen.Laut zugehrigem Blogein-trag, in dem Apple auch schon die Version 2.0 von Swift an-kndigt, verspricht sich der Milliarden-Konzern von dem Schritt nicht nur, dass die Entwickler mit Swift platt-formbergreifend arbeiten, sondern man will auch Code-beitrge von der Community akzeptieren. Swift greift auch die Ideen einige anderer Programmier-sprachen auf und kennt unter anderem Klassen, Vererbung und Namensrume. n

Apple will Swift freigeben

Die Produzenten des Arduino-Boards, die Arduino S.R.L, ha-ben im Mai bei der Maker Faire Bay Area mit dem Yun Mini ein kleineres und um einige Features abgespecktes Board mit Open WRT in Form von Linino-Linux gezeigt. Die bisher gemeinsam arbeiten-den Teams des Arduino-Ha-cker-Projekts und die fr die Hardware zustndige Arduino S.R.L haben sich inzwischen zerstritten und gehen getrenn-te Wege.Ungeachtet dessen hat Ardui-no S.R.L weiterentwickelt. Die neue kleinere Version ist eben-falls mit einem Qualcomm-MIPS24k-basierten Atheros AR9331 SoC bestckt. Ein At-mel-AT-Mega-32U4-Chip dient

als Microcontroller. Das Yun Mini bringt 64 MByte DDR2-RAM und 16 MByte Flashspei-cher mit, 6 MByte belegt das Linino-Linux.Mit 71 mal 23 Millimetern ist das Board deutlich schmaler als der Vorgnger (73 mal 53) und wiegt mit 16 Gramm nur etwa die Hlfte. Die Ver-schlankung geht aber mit dem Entfallen des Ethernet-Ports, des USB-Host-Ports und des Micro-SD-Slots einher. Wer die Ports braucht, kann sie sich ber die optionale Acces-soire-Liste nachrsten. WLAN ist an Bord, ein Micro-USB-Port ebenfalls, die Zahl der Ein- und Ausgabe-Pins ist auf 22 gestiegen. Yun Mini soll rund 60 US-Dollar kosten. n

Arduino Yun Mini kleineres Board

Shingled: berlappende Datenspuren

nach dem Dachschindelprinzip. HGS

T

GNU-Initiator Richard Stall-man wird am 8. und 9. Juli Vortrge in Frankfurt halten. Eingeladen haben den Grn-der und Prsidenten der Free Software Foundation das Frankfurt Free Software and Culture Institute e.V., die Ge-sellschaft fr Informatik e.V., das Institut fr Informatik der Johann Wolfgang Goethe Universitt und das Gallus Theater. Im Gallus Theater wird Richard Stallman am

8. Juli seinen ersten Vortrag zum Thema Free Software and Your Freedom halten. Beginn ist um 19 Uhr, der Eintritt zu beiden Veranstal-tungen ist frei.Am 9. Juli spricht Stallman ab 18.00 Uhr im Casino-Festsaal auf dem Uni-Frankfurt-Cam-pus Westend. Copyright vs. Community ist bei diesem Vortrag das Thema. Auf der Webseite [http://ffsci.de] gibt es weitere Informationen. n

Richard Stallman in Frankfurt

Das Ubuntu-Team meldet Zuwachs in der Gertefa-milie, die Ubuntu Touch als Betriebssystem nutzt. Das Aquaris E5 des spanischen Herstellers BQ sei fr den eu-ropischen Markt verfgbar. BQ zeichnet auch schon fr das Aquaris 4.5 verantwort-lich, das im Linux-Magazin 5/2015 getestet wurde. Rund 200 Euro sind fr das Smartphone aufgerufen. Da-fr erhlt man ein Gert mit 1,3-GHz-Quadcore-Prozessor, 1 GByte RAM und 16 GByte Speicherplatz. Ein Micro-

SD-Slot nimmt zustzlich Krtchen bis zu 32 GByte als Speichererweiterung auf. Das Display (IPS) misst 5 Zoll und lst in HD mit 720 mal 1280 Pixeln auf. Zwei Kameras sind verbaut, eine mit 5 Megapixel vorne, die Hauptkamera mit 13 Megapixel auf der Rcksei-te, Autofokus und Dual-Blitz inklusive. Das E5 beherrscht 3G, Blue-tooth 4.0 HS, WLAN und GPS. LTE untersttzt es dagegen nicht. Das Handy misst 71 mal 142 mal 9 Millimeter und wiegt 134 Gramm. n

Neues Ubuntu Phone: BQ Aquaris E5

Das BQ Aquaris E5 kommt im schwarzen Gehuse.

BQ

Aktuell

8

www.lin

ux-m

agaz

in.de

New

s08

/2015

Dank der Jitsi Videobridge soll es ab Firefox 40 mglich sein, Videokonferenzen direkt ber den Browser zu fhren auch mit Nutzern ande-rer Browser. Dafr bentigte Firefox Multistream-Support und das Jitsi-Projekt musste die Videobridge anpassen. Ein Blogeintrag [https://hacks.mozilla.org/2015/06/firefox-multi-

stream-and-renegotiation-for-jitsi-

videobridge/] rekapituliert das Vorgehen.Die Schwierigkeit fr die Ent-wickler bestand laut Blog-eintrag darin, einen Inter-operabilitts-Layer einzubau-en, damit Web-RTC-basierte Videokonferenzen sowohl in

Chrome als auch in Firefox funktionieren. Chrome unter-sttzt den von der IETF als Standard angepeilten Unified Plan (noch) nicht, sondern stattdessen den konkurrie-renden Entwurf Plan B, der allerdings bei der IETF aus dem Rennen ist.Auch Jitsi setzte bislang auf Plan B, weil es sich anfangs auf die Chrome-Kompatibili-tt konzentrierte Firefox be-herrschte lange keinen Mul-tistream. Eine Abstraktion in den Plan-B-Code einzufhren misslang aus verschiedenen, im Blog referierten Grnden. Die letztendliche Lsung lau-tet sdp-interop.

Das Session Description Pro-tocol (SDP) ist in der Lage, je nach Browser Unified Plan oder Plan B auszuliefern. sdp-interop ist dabei ein wiederverwendbares NPM-Modul, das die beiden Metho-den toUnifiedPlan(sdp) und toPlanB(sdp) anbietet. Im weiteren Verlauf des Blogein-trags zeigen die Entwickler dann Implementierungsde-tails und erklren, wie sdp-interop funktioniert.Auch weitere Hindernisse auf dem Weg zur Kompati-bilitt spart der Blogeintrag nicht aus, seien es Fehler in der DTLS-Versionsfeststellung von Firefox oder Decoder-

Probleme in der Jitsi Videob-ridge. Sicherlich eine interes-sante Lektre fr angehende Entwickler.Was noch in der Implementie-rung fehle, sei der Simulcast-Support. Jitsi vertraue dabei auf Mediastream Construc-tors, die Firefox aber nicht untersttzt. Das Jitsi-Team arbeite an einem alternativen Ansatz, der auf die Media-stream Constructors verzich-te. Auch Desktop-Sharing ist fr Firefox-User noch nicht mglich, sei aber in Arbeit. Wer den Videokonferenz-Sup-port testen mchte, greift zur Firefox Developer Edition 40 oder zu Firefox Nightly 41. n

Videokonferenzen mit Firefox und Jitsi

Whrend einer Keynote auf der HP Discover 2015 An-fang Juni in Las Vegas stellte der Chief Technology Officer Martin Fink das von HP ent-wickelte Grommet vor, ein Open-Source-Werkzeug fr User-Experience-Design. Das Tool vereint ein Framework fr das Design von User-Inter-faces mit einem Style Guide . Mit Grommet sollen sich ein-heitliche und an beliebige Vorgaben der Corporate Iden-tity anpassbare Benutzerober-

flchen bauen lassen, die auf verschiedenen Plattformen funktionieren knnen.

Um ein einheitliches Look & Feel zu gewhrleisten, lassen sich etwa Logos, Schriftarten

und Farbpaletten vorgeben. Fr diverse Arten von Ober-flchen sowie fr unterschied-liche Elemente wie Charts, Formulare oder Tabellen exis-tieren Vorlagen. Das Tool soll auch Designer und Entwick-ler zusammenbringen.Grommet basiert auf React JS, einem Feature-reichen Ja-vascript-Tool zur Gestaltung von Oberflchen. Daneben benutzt es auch die Tools Inuitcss und Sass zum Kom-pilieren von Stylesheets. n

HP gibt UI-Designtool frei

Die freie Groupware Tine wird von den Tine-Machern als Hardware-Appliance angebo-ten. Die Appliance mit dem Groupware-Server der Tine 2.0 Business Edition kann bis

zu 25 Benutzer verwalten und kommt in dieser Version ohne Lfter, also auch ohne stren-de Gerusche aus. 4 GByte Arbeitsspeicher und eine AMD-CPU mit 1 GHz

sind verbaut. Das Gert misst 168 mal 157 mal 30 Millime-ter. Der Anbieter Metaways verspricht, dass Anpassun-gen bestehender E-Mail-In-frastrukturen nicht erforder-

lich sind und sich Mailserver und bei Providern liegende IMAP-Postfcher problemlos weiterhin nutzen lassen. Das Tine-Bundle kostet rund 1900 Euro. n

Tine-Groupware 2.0 als Hardware-Appliance

Beispiel fr ein Grommet-basiertes User-Interface, hier als Dashboard gestaltet.

HP Grom

met

9www.lin

ux-m

agaz

in.de

Aktuell

New

s08

/2015

Streit mit Kubuntu: In ei-nem Brief legte Ubuntus Community Council (CC) Ende Mai dem Chef des Ku-buntu-Teams, Jonathan Rid-dell, seinen vorbergehenden Rcktritt nahe. Der aber wei-gerte sich. Zugleich droht ein anderes langjhriges Kubun-tu-Team-Mitglied zu Debian zu wechseln.Als Grund fr die Aufforde-rung nennt der Beirat das Verhalten Riddells ihm gegen-ber. Es verstoe gegen den Code of Conduct, Ubuntus Verhaltenskodex. Bereits seit einiger Zeit werde es zuneh-

mend schwieriger, mit Riddell umzugehen, aus Respekt vor seiner Arbeit habe man die Situation hingenommen. Nun aber habe der CC Riddell da-zu aufgefordert, seinen Pos-ten in der Kubuntu-Fhrung mindestens fr zwlf Monate zu rumen.Riddell denkt aber nicht dar-an zurckzutreten. Vielmehr, stellt er in seinem Blog klar, habe er sich nie als Kubun-tu-Leader bezeichnet und sei auch nicht als solcher bezeichnet worden. Zudem lie er sich von Kubuntu-Mitgliedern wieder in den Ku-

buntu Council einsetzen und kndigte an, wie gewohnt an Kubuntu 15.10 arbeiten zu wollen. Den Vorschlag des CC lehne er ab, schrieb er in einer Antwortmail, die Kubuntu-Entwickler Scott Kit-terman, eine langjhrige Fh-rungskraft unter den Kubun-tu-Entwicklern, verffentlicht hat. Ubuntu-Grnder Mark Shuttle worth stellte darauf-hin klar, dass der Community Council ihn schlicht nicht mehr als Chef der Kubuntu-Entwickler akzeptiere.Zugleich stellt Scott Kitter-man in seinem Blog einen

Wechsel zu Debian in Aus-sicht. Mit Riddell wrde dem Kubuntu-Projekt ein zentraler Entwickler wegbrechen, mit Kitterman ein Fixpunkt in der KDE-Community. Insofern stellt sich die Frage nach der Zukunft der KDE-Version von Ubuntu. Kubuntu ist zwar verbreitet, doch das Interesse von Canonical am KDE-Ableger hlt sich eher in Grenzen. So wird Jonathan Riddell inzwischen von Blue Systems finanziert, das an einem eigenen KDE-Desktop namens Netrunner arbeitet, nicht mehr von Canonical. n

Kubuntu-Chef Riddell beurlaubt

Bei der HP Discover in Las Vegas gab Hewlett-Packard Einblicke in den Stand der Entwicklung seines zukunft-weisenden Rechnerkonzepts The Machine. Mit dem Kon-zept will der Konzern die sich abzeichnenden Beschrnkun-gen fr den weiteren Zuwachs an Rechenleistung herkmm-licher Architekturen berwin-den. Zurzeit befindet sich das Projekt in einer frhen Ent-wicklungsphase: In einem Jahr soll es einen funktionie-renden Prototyp geben, Ende des Jahrzehnts die Serienferti-gung beginnen.Im Unterschied zu heutigen IT-Architekturen steht bei The Machine der Speicher im Mittelpunkt. Knftig wird es sich dabei um nicht-flchti-gen Speicher (non-volatile Memory) handeln, der in der Prototyp-Phase noch durch DRAMs simuliert wird, spter aber aus Phase-Change Me-mory (PCM) und danach aus

Memristors bestehen soll. Um den Speicher herum gruppie-ren sich CPUs, die sich unab-hngig vom Speicher anhalten und hochfahren lassen.Die gesamte Kommunikation basiert auf Lichtwellenleitern anstelle von Kupferkabeln, die Inhalte sind durchweg verschlsselt. Allein dieser Sicherheitsgewinn, so HP, wrde die Entwicklung von The Machine rechtfertigen.

Was man sich aber eigentlich davon verspricht, ist ein Zu-wachs an Rechenleistung, der vor allem darauf beruht, dass der zeitraubende Transfer von Daten aus dem Massenspei-cher in den RAM entfllt, weil sich von Anfang an alle Daten im Hauptspeicher befinden. Damit sollen nicht nur heute bekannte Workloads enorm beschleunigt, sondern auch Workloads berechenbar wer-

den, die fr heutige Technik zu komplex sind. Als Beispiel verweist der Hersteller etwa auf die Flug-hafenlogistik. Holt heute ein Flugzeug im Reiseflug einen Zeitgewinn heraus, verliert es diese Zeit nach der Landung oft wieder, weil es unmglich ist, dem Flieger schnell ein Gate mit allen damit verbun-denen Prozessen zuzuweisen. Mit The Machine soll es mg-lich werden, alle Gates und alle Abfertigungsprozesse ei-nes Flughafens im Speicher zu behalten und in krzester Zeit zu optimieren.An Betriebssystemen fr The Machine wird geforscht, zu-nchst soll es auf ausdrck-lichen Wunsch der Kunden Linux sein. Ein neues Be-triebssystem berge zustzliche Risiken und Linux erscheint den potenziellen Anwendern als ausgereift, zumindest gilt das fr die Anfangsphase der Maschine. n

Revolutionre Rechner laufen unter Linux

Detail des Prototyps von The Machine im HP Lab.

HP Labs

Aktuell

10

www.lin

ux-m

agaz

in.de

New

s08

/2015

Cinnamon2.6:DieDesktopumgebungvonLinuxMintsollinderkommen-denReleaseAufnahmefinden.Neu:VerbesserungenimMultimonitorbe-triebermglichenes,InhalteperTastenkombinationaufeinenanderenMonitorzuverschieben.AnwenderdrfenauchPanelsberdieMonitoreverteilen.Lizenz: GPLv2[https://github.com/linuxmint/Cinnamon]Perl5.22.0:FrdieseAusgabehabendieEntwicklerderProgrammier-sprache rund 590000 Zeilen Code angefasst. 94 Entwickler sind lautAnkndigungbeteiligtgewesen.Neu: ResultatdarausistunteranderemeinneuerEingabe-Interpreter,dermehrSicherheitverspricht.ZudemistnunUnicode7.0anBord.Lizenz: GPL[https://www.perl.org]IPfire2.17CoreUpdate90:DiefrdenBetriebalsFirewallausgelegteLinux-DistributionhabendieEntwickleraktualisiertundihrinteressanteFeaturesspendiert.Neu:MitdemneuenGeo-IP-Filterlsstsichein-undausgehender Netzwerkverkehr anhand des Herkunfts- oder Ziellandesblockenbeziehungsweisezulassen.Dieveraltetenundalsunsichergel-tendenVerschlsselungsverfahrenSSLv2undSSLv3sindstandardmigdeaktiviert.Lizenz: GPLv3[http://www.ipfire.org]Octave4.0.0:DieMathematik-SoftwaredesGNU-ProjektssetzterstmalsaufdiegrafischeOberflche.Neu:Die integrierteProgrammiersprachelsstsichnunauchobjektorientiertnutzen.DiemitQtrealisierteOber-

flche erscheint beim Programmstart nun standardmig. Die bisherandieserStelleaufgerufeneKommandozeileerreichenAnwenderberdie Option no-gui beim Aufruf. Lizenz: GPLv2 [http://www.gnu.org/software/octave/]Scribus1.5.0:DasfreieDTP-ProgrammdientindieserVersionalsVorschauaufVersion 1.6.0undsolltenichtproduktivzumEinsatzkommen.Neu:DiegeneralberholteBenutzeroberflchebasiertjetztaufQt5.2.UnteranderemnehmenKontextmensnichtmehrsovielPlatzein,dasFenstermitdenDokumenteinstellungenhabendieEntwicklersogarkomplettneugeschrieben.Textelassensichvertikalskalieren,esgibtFu-undEnd-noten,TextvariablenundQuerverweise.DesWeiterenfhrtScribus1.5.0richtigeTabellenein.Lizenz: GPL[http://www.scribus.net]ALT Linux 7.0.5: Die aus Russland stammende Distribution gibt es inmehrerenGeschmacksrichtungenundmitderOption,vonRussischaufEnglischumzuschalten.Neu:DieAusgabeschlietzahlreicheSicherheits-lckenundbringtaktualisierteZeitzonen-Informationenmit.DieOnline-Repositorieswerdenabsofort immerkonfiguriert.DasSystemControlCenter istzudem inderLage,einemActiveDirectorybeizutreten.DesWeiterenklettertderKernelaufdieVersion3.14.41.Lizenz: GPL[http://www.altlinux.org]

Kurznachrichten

Kernel 4.1 wird nach Aussa-ge der Linux Foundation und von Greg Kroah-Hartman eine LTS-Release. Fast zugleich mit der Verffentlichung des Re-lease Candidate 7 von Linux 4.1 hat die Long Term Support Initiative (LTSI) ber Twitter

angekndigt, dass der Kernel 4.1 Langzeitsupport erhalten soll. Greg Kroah-Hartman hat die Ankndigung der LTSI auf Google Plus besttigt. Das ist nicht unwichtig, schlielich wird er voraus-sichtlich zwei Jahre lang Sup-

port fr den Kernel leisten. Zu den Untersttzern der LTS-Version gehren mehrere gr-ere Unternehmen, unter an-derem Hitachi, LG, Panasonic und Samsung. Sie bentigen einen stabilen Kernel, der den typischen Lebenszyklus eines

elektronischen Consumer-Produkts berdauert. Dank der LTS-Initiative mssen die verschiedenen Anbieter den Kernel nicht im eigenen Hau-se pflegen, sondern knnen ihre Anstrengungen bndeln. (jcb/kki/uba) n

Kernel 4.1 erhlt Langzeit-Support

In der neuen Version 1.8.0 des Wayland-Protokolls und seines Referenz-Compositors Weston erleichtern die Ent-wickler um Kristian Hgs-berg die Arbeit an eigenen Sprachbindings fr Wayland und spendieren Weston zu Testzwecken ein Headless Rendering.Als grte Vernderung an Wayland 1.8.0 haben die Ent-wickler die Client- und Ser-ver-Headerdateien aufgeteilt in einen Kern-Teil und einen fr das erzeugte Protokoll. Die Core-Header lassen sich als

wayland-client-core.h und wayland-server-core.h ein-binden. Auch fr den Scanner gibt es damit nun die Mg-lichkeit, nur die Core-Header einzubinden (--include-core-only). Das soll Entwicklern die Arbeit an Sprachbindings und eigenem Protokollcode erleichtern.Neu in Weston 1.8 ist von Col-labora entwickelter Code, der die EGL-Modernisierungen ebenso bercksichtigt wie das Testing-Framework. Dazu gehren EGL-Verbesserungen am gl-renderer, Tests fr die

Ivi-Shell und das Ivi-Layout, Genivis Erweiterungen des Wayland-Protokolls. Fr den Editor gibt es nun Cut-, Co-py- und Paste-Support. Da-neben kann der Entwickler Weston nun ber weston --config=my_weston.ini mit einer alternativen Konfigura-tionsdatei starten, die auch alle anderen mit Weston ge-starteten Programme berck-sichtigen.Dank dem neuen Headless-Rendering-Feature lsst sich Weston fr Tests auch syn-thetisch, also ohne echten

Monitor, betreiben. Stattdes-sen zeichnet die Software ber einen Bitmap-Puffer im Arbeitsspeicher auf einen knstlichen Monitor. Der Pixman-Renderer erzeugt dabei Bildschirmfotos und reicht diese ber ein Test-spe-zifisches Screenshot-Protokoll an den Client weiter. Der Test vergleicht diese Bilder dann mit Referenz-Images, um Ab-weichungen beim Rendern festzustellen. Dieses Verfah-ren soll detaillierte Tests er-lauben, die vorher praktisch nicht mglich waren. n

Wayland und Weston 1.8.0 erschienen

Zahlen & Trends

Auf dem Berliner Open Stack DACH Day 2015 stellte Mark Collier, COO der Open Stack Foun-dation, in seiner Keynote die Vision des Cloudinfrastruk-tur-Projekts vor. Die heit Planet Open Stack. DACH steht fr Deutschland, s-terreich (Austria) und die Schweiz, Collier meinte in Berlin aber die Welt. Folgt die Realitt der Vision des COO, luft Open Stack schon bald in zahlreichen Re-chenzentren weltweit. Dank eines gemeinsamen API las-sen sich die Dienste in den

Rechenzentren verschiedener Firmen gemeinsam nutzen und zentral steuern.Dabei hilft unter anderem das in Colliers Keynote erwhnte Federated Identity Manage-

ment, das 2015 produktions-reif fr Unternehmen werden soll und an verschiedene vor-handene Systeme wie Open ID, SAML oder Kerberos an-dockt. Dies ermgliche es

weltweit arbeitenden Teams, die verschiedene Open-Stack-Clouds betreiben, reibungslos zusammenzuarbeiten. Collier nennt eine TV-Produktionsge-sellschaft als Beispiel.Collier wei, dass viele Admins Open Stack als die neueste Hype-Technologie betrachten. Seine Sicht: Whrend viele Open-Stack-Projekte etwa Glance, Keystone, Nova sich bereits produktiv einsetzen lassen, gebe es Unterprojekte, die womglich erst in mehreren Jahren produktiv nutzbar seien. Open Stack biete Fir-men dank seiner Offenheit die Mglichkeit, bereits heute an diesen Zukunftstechnologien mitzuarbeiten. n

Planet Open Stack als Vision

Der Markt fr Smart-Home-Technik wird in den nchs-ten Jahren deutlich anziehen, doch vielen Verbrauchern fehlt das Bewusstsein fr die Gefahren, die das mit sich bringt. Davor warnt der Eco Verband der deutschen Inter-netwirtschaft e.V.Laut einer Schtzung der Fo-kusgruppe Connected Home des Nationalen IT-Gipfels wird die Anzahl der Smart-Home- Haushalte bis zum Jahr 2020 die Millionengrenze ber-schreiten. Auch eine Studie der VDI/ VDE Innovation und

Technik GmbH attestiert dem deutschen Smart-Home-Markt ein deutliches Wachstum: Bis 2025 soll er einen kumulier-ten Umsatz von 19 Milliarden erreichen. Gleichzeitig fehlen sowohl das Sicherheitsbewusstsein der Verbraucher als auch Hersteller-bergreifende Si-cherheits- und damit auch Entwicklungsstandards. Je mehr Anbieter unkontrolliert auf den Markt drngen, desto schwieriger wird es, einen ausreichend hohen Sicher-heitslevel im Smart Home

nachhaltig zu erreichen, warnt Oliver Dehning, Leiter der Kompetenzgruppe Sicher-heit im Eco.Die Gefahren dieser Entwick-lung kann man bereits heute an Beispielen ablesen. So gab es etwa krzlich ein Samsung-Smart-TV-Gert, das Gespr-che der Zuseher mitschnitt und weitergab. Oder: Die Sicherheitsfirma Kaspersky entdeckte ber 14 Sicherheits-lcken in nur fnf smarten Haushaltsgerten. Die Nutzer solcher Gerte scheint das nicht zu kmmern. Deshalb

sahen ber 80 Prozent der von Eco befragten IT-Exper-ten das grte Problem fr den smarten Markt in diesem unbekmmerten Umgang mit Daten.Um diese Entwicklungen in-haltlich zu begleiten, hat der Internetverband die Kom-petenzgruppe Smart Envi-ronment gegrndet. Sie will darauf hinwirken, vertikale Standards und Protokolle zu etablieren und auch die Ent-wicklung von entsprechenden Frameworks und Libraries vo-ranzutreiben. n

Warnung vor unsicheren Smart Homes

Aktuell

12

www.lin

ux-m

agaz

in.de

Zahlen & Trends

08/2015

Mark Collier, COO der Open Stack Foundation, hlt seine Keynote. Arbor Networks

Das Sicherheitsteam von Mozilla zahlt seit einiger Zeit Geld, wenn Nutzer Security-Bugs melden. Nun hat das in-terne Bounty-Bug-Komitee die Betrge erhht. Fr als hoch oder kritisch eingestufte Bugs will Mozilla knftig zwischen 3000 und 7500 US-Dollar zah-len, die konkrete Summe legt das Komitee fest.Im Hchstfall berweist Mozilla sogar 10 000 US-Dol-lar. Dabei muss es sich um eine neue Form von Exploit handeln oder eine auerge-whnliche Sicherheitslcke. Auch fr einige als moderat eingestufte Lcken lsst das Projekt unter Umstnden Geld springen. Wer sie ent-deckt, kann mit einer Beloh-nung zwischen 500 und 2000 US-Dollar rechnen, allerdings

zahlt Mozilla nicht fr alle moderaten Bugs.Die Bounty-Bug-Webseite gibt auch Tipps, wie Sicher-heitsforscher an hhere Be-lohnungen kommen. Offen-bar kommt es stark auf die Informationen im Bugreport an. Lsst sich eine kritische Lcke ganz klar ausbeuten und fllt der Bugreport aus-fhrlich aus und zeigt Wege, um die Schwche auszunut-zen, entlohnt Mozilla die An-strengung mit 7500 US-Dollar. Insgesamt hat das Projekt na-hezu 1,6 Millionen US-Dollar ausgezahlt.Daneben hat Mozillas Sicher-heitsteam vor einiger Zeit eine Bounty Bug Hall of Fame eingefhrt. Dort listet es die erfolgreichsten Bug-Jger sor-tiert nach Jahren auf. n

Mozilla zahlt mehr Kopfgeld

Als Sammlung in C umgesetz-ter CGI-Binaries gestartet, ha-ben sich die Personal Home Page Tools (PHP) in den ver-gangenen 20 Jahren zum fes-ten Bestandteil der Webent-wicklung etabliert. In seiner Ankndigungsmail hatte PHP-Entwickler Rasmus Lerdorf vor 20 Jahren seine Tools unter anderem noch als Helfer beim Loggen von Zu-griffen auf Websites und auch zum Blockieren von Zugriffen ber bestimmte Domains be-schrieben. Die Personal Home Page Tools standen von Beginn an unter der GPL. Lerdorf entwickelte auch noch die Version 2.0,

die 1997 als PHP/ FI (Perso-nal Home Page/ Forms Inter-preter) erschien. Die Weiter-entwicklung folgte dann von Andi Gutmans und Zeev Su-raski, die eine Neuimplemen-tierung vornahmen. 1998 erschien PHP 3 als PHP: Hypertext Preprocessor. Ver-sion 4 steuerte im Jahr 2000 mit ZEND einen neuen Kernel bei. 2004 folgte Version 5, un-ter anderem mit Verbesserun-gen in der objektorientierten Programmierung. Die aktuelle Version heit PHP 5.6. Mit der nchsten wird eine Nummer bersprungen, sie soll PHP 7 heien und noch im Jahr 2015 erscheinen. n

20 Jahre PHP

Lease Web, ein groes Hos-ting-Netzwerk, das 17 500 Kunden auf der ganzen Welt betreut und neun Rechenzen-tren in Europa, Asien-Pazifik und den USA unterhlt, in denen mehr als 65 000 phy-sische Server stehen, hat jetzt eine Studie zu Trends im Re-chenzentrum bis 2020 vorge-legt. Fr die Studie wurden 105 IT-Experten befragt, die sich in ihren Antworten wei-testgehend einig waren: Die Kapazitt der meisten Rechen-zentren wird weiter wachsen. Insbesondere die steigende Datenflut ist dabei eine groe Herausforderung. Die Rechenzentren werden nicht nur grer, sondern auch komplexer, weshalb der Stellenwert der Automatisie-

rung zunimmt. Neben der Gre wird von den Rechen-zentren der Zukunft vor al-lem Flexibilitt verlangt. Im Moment halten noch weniger als die Hlfte der Befragten (49 Prozent) Agilitt fr einen absolut wichtigen Mastab der Qualitt eines Datacenter, aber fr das Jahr 2020 erwar-ten bereits fast drei Viertel (71 Prozent), dass diese Aussage zutrifft.Die Sicherheit der Rechenzen-tren ist ein Thema, das einen Spitzenplatz in der Rangliste beansprucht und halten wird. Als Nebenaspekt steigt auch die Bedeutung der Unabhn-gigkeit von amerikanischen Behrden. Der Trend zum Outsourcing von IT-Dienstleis-tungen wird sich fortsetzen. n

Studie zu Trends bei Rechenzentren

13

www.lin

ux-m

agaz

in.de

Aktuell

Zahlen & Trends

08/2015

Anzeige

Aktuell

14

www.lin

ux-m

agaz

in.de

Zahlen & Trends

08/2015

Sourceforge hat auf die Mal-ware-Vorwrfe des Gimp-Pro-jekts reagiert und dieses selbst dafr verantwortlich gemacht. Die Gimp-Entwickler bleiben bei ihrer Darstellung.Laut dem Gimp-Projekt hat Sourceforge, entgegen frhe-ren Beteuerungen, Drittanbie-tersoftware in einen Installer der Windows-Version integ-riert, die ungewollte Software auf die Systeme spielt. Das ist

fr viele Freie-Software-Nut-zer ein No-Go.Sourceforge reagierte und schob die Schuld dem Projekt zu. Es habe seine Software unbetreut auf Sourceforge zu-rckgelassen. In solchen Fl-len sei es blich, die Software an andere Hoster zu geben, die sie dann unter Umstnden mit einfach abzulehnender Software von Drittanbietern bndeln. In einem Update

schrieben die Sourceforge-Be-treiber, der Anbieter habe den Installer mit der unerwnsch-ten Software entfernt.Das gengte dem Gimp-Pro-jekt allerdings nicht. Selbst wenn Sourceforge ein paar vom Projekt vorgeschlagene Guidelines einhalte, werde das nchste Management diese eventuell wieder ber den Haufen werfen. Zur Scha-densbegrenzung schlgt das

Projekt vor, dass Sourceforge es ermglichen soll, Projekte und Links komplett zu ent-fernen und feindliche Projekt-bernahmen zu verhindern, Dateien von Sourceforge und den Mirror-Servern zu l-schen und Redirects auf die neue Adresse eines Projekts anzulegen. Inwieweit Sourceforge auf die Vorwrfe reagiert, muss sich erst noch zeigen. n

Gimp verlangt Lschmglichkeit von Sourceforge

Die 9. deutschsprachige Ubu-con tagt vom 23. bis zum 25. Oktober 2015 in Berlin. Der deutsche Ubuntu-Ableger Ubuntu Deutschland e.V. bit-tet um Beteiligung der Ent-

wickler und hat einen Call for Papers gestartet. Das Motto der Ubucon lautet Community in Touch. Gesucht werden Vortrge zu einer Wunschliste, die von

den Teilnehmern der Konfe-renz bestckt werden kann und die online [http://ubucon.de/2015/themenwunschliste] ein-zusehen ist. Daneben sind alle Vortrge und Workshops

zu Themen rund um Ubuntu und freie Software willkom-men. Die Ubucon findet an der Berliner Hochschule fr Wirtschaft, Technik und Kul-tur statt. n

Ubucon sucht Vortrge

Die Apache Software Founda-tion (ASF) hat erstmals einen Jahresbericht verffentlicht. Danach managt die ASF ber 200 Softwareprojekte. 163 Projekte befinden sich laut Apache-Jahresbericht fr das Fiskaljahr 2015 in Hnden der

so genannten Project Manage-ment Committees, weitere 41 sind im Incubator-Status und warten auf die offizielle An-erkennung.Die Zahl der Mitglieder in den Projekt-Komitees betrgt ber 2000. Die ASF selbst hat

laut ASF-Chairman Brett Por-ter 606 aktive Mitglieder. Die Entwickler-Community weist rund 550 Mitglieder auf, es gibt daneben etwa 4700 Code-Beitragende. Die ASF feierte Ende 2014 ihr 15-jhriges Bestehen. Der Apache-HTTP-

Server als erstes Projekt ist lter als die Foundation selbst und bringt es inzwischen auf 20 Jahre.Finanziell trgt sich die Foundation auch dank der Spenden und Sponsoren-Pro-gramme. Der Jahresumsatz im Fiskaljahr 2015 betrgt laut Kmmerer Chris Mattmann 996 000 US-Dollar. Davon sind 122 000 US-Dollar als Nettoeinnahmen zu verbu-chen. Die Barreserve beziffert Mattmann auf 1,75 Millionen Dollar, was nach der derzei-tigen Ausgabenplanung ein finanzielles Polster fr rund 20 Monate sichert. Die ASF rechnet im Fiskaljahr 2016 mit monatlichen Ausgaben von rund 87 000 US-Dollar. n

Jahresbericht der Apache Software Foundation

Stetes Wachstum: Entwicklung der Entwickler-Accounts bei der ASF.

ASF

Eine der erfolgreichsten Pro-grammiersprachen feiert ihren 20. Geburtstag: Java wurde 1995 erstmals vorgestellt und ist derzeit fr ber neun Milli-onen Entwickler die Program-miersprache der Wahl. Allein zwlf Hersteller bieten heute 30 kompatible Implementie-rungen der Standards Java EE 6 und Java EE 7 an. Java-Applikationen sollen derzeit auf ber 7 Milliarden Gerten laufen. Das Spektrum reicht von Computerspielen bis zur Gehirnsimulation, von der Verkehrssteuerung bis zur Ozeanforschung oder der Optimierung der Getreide-ertrge in der Landwirtschaft.

Einen besonderen Meilenstein stellte die Ankndigung von Java SE 8 im Mrz 2014 dar, des grten Upgrade in der Java-Geschichte.Java ist auch eine der belieb-testen Programmiersprachen. In dem seit 2001 verffent-lichten Tiobe-Index lag Java, konkurrierend mit C, stets auf Platz eins oder zwei beim Ranking. Nach dem Program-miersprachenindex Redmonk kam Java 2015 auf Platz zwei hinter Javascript, nach dem Programming Language Popularity-Index liegt Java ebenfalls auf Platz zwei, dies-mal aber wieder nach der Pro-grammiersprache C. n

20 Jahre Java

Ungeachtet ihrer weiten Ver-breitung seien Sicherheits-fragen gar nicht so sicher. Das ist das Ergebnis einer Forschungsarbeit, die Google jetzt auf der World Wide Web Conference 2015 in Florenz prsentierte.Google analysierte Hunderte Millionen Sicherheitsfragen und Antworten, die es fr die Wiederherstellung von Accounts speichert. Die For-scher fanden heraus, dass sich die Antworten auf viele der hufigsten Fragen mit zehn Versuchen und einer Erfolgs-rate zwischen 21 und 39 Pro-zent erraten lieen. Die Rate hngt von den Fragen ab. So

beantwortet die Frage Was ist ihr Lieblingsessen? mit einem einzigen Versuch zu 20 Prozent korrekt, wer Pizza whlt.Zuweilen kursiert im Netz der Rat, man solle auf Si-cherheitsfragen bewusst fal-sche Antworten speichern. Die Forscher bei Google fan-den allerdings, dass dann die Antworten nicht wie er-hofft schwerer, sondern noch leichter zu erraten waren, weil viele dieselben falschen Antworten whlten. Generell waren die Fragen entweder leicht zu merken oder schwer zu erraten, aber fast nie bei-des zusammen. n

Google: Sicherheitsfragen sind unsicher

15

www.lin

ux-m

agaz

in.de

Aktuell

Zahlen & Trends

08/2015

Anzeige

Aktuell

16

www.lin

ux-m

agaz

in.de

Zahlen & Trends

08/2015

Der franzsische Linux-Anbieter Mandriva steht vor dem Aus. Das zustndige Firmenregister fhrt das Un-ternehmen als in der Liquida-tion befindlich. Die Websites Mandriva.com und Mandriva.fr sind nicht mehr erreichbar. Mandriva, frher Mandrake Linux, beendet damit eine

jahrelange Berg- und Talfahrt mit Finanzproblemen, Streit und Kndigungen, aber auch mit einem zwischenzeitli-chen Brsengang (2011) und Hhenflgen in Sachen Be-liebtheit.1998 als Mandrakesoft von Gal Duval gegrndet, be-nannte sich das Unternehmen

nebst der Distribution nach ei-nem juristischen Hickhack um eine gleichnamige Comicfigur und dem Zukauf des brasilia-nischen Linux-Unternehmens Connectiva im Jahr 2005 in Mandriva um. 2001 ging Du-val noch mit Mandrakesoft an die Pariser Brse. Bereits 2003 musste die Firma Glubiger-

schutz beantragen. Nur dank der Untersttzung durch die Community des Mandrake-Clubs floss wieder Geld, das die Firmeninhaber im Folge-jahr in verschiedene Zukufe investierten. Duval wurde im Jahr 2006 gekndigt. In der Folge kam es regelmig zu Finanzengpssen. n

Mandriva geht in die Liquidation

Im Mai vor 20 Jahren hat ein norwegisches Zwei-Mann-Projekt die erste Fassung von Qt auf die Server geladen. Die Bibliothek stand damals unter proprietrer Lizenz, verfgte ber eine stattliche Anzahl von Klassen und wurde von Matthias Ettrich 1996 als Basis fr KDE eingesetzt, dem Pro-jekt, das er soeben gegrndet hatte. Ettrichs Entscheidung

fhrte wegen der proprietren Lizenz, die aber Kopien und Quellcode-Einsicht zulie, zur Abspaltung im Projekt und zur Grndung von Gnome, das auf GTK+ setzte.Seit 1999 ist Qt, noch unter Trolltech, freie Software und hat eine Lizenz-Odyssee von der ursprnglichen Free Qt zu QPL ber die GPL zur LGPL hinter sich. n

20 Jahre Qt

Dropbox wurde von EY Cer-tify Point das international anerkannte Sicherheitszer-tifikat ISO 27018 verliehen. Der zertifizierte Standard soll die Wahrung der Privat-sphre und den Datenschutz in der Cloud garantieren. Er beschftigt sich ausschlie-lich mit der Regulierung der Verarbeitung von personenbe-zogenen Daten in der Cloud

und formuliert datenschutz-rechtliche Anforderungen fr Clouddienste.Der Standard fordert umfang-reiche Benachrichtigungs-, Informations-, Transparenz- und Nachweispflichten von den Cloudanbietern. Inhalt-lich baut er auf den bereits existierenden Sicherheits-standards ISO 27001 und ISO 27002 auf. (jcb/kki/uba) n

Dropbox erhlt Sicherheitszertifikat

Fast ein Drittel der Deutschen (29 Prozent) steht dem Be-zahlen per Smartphone auf-geschlossen gegenber. Das entspricht gut 20 Millionen Menschen, wie der Digitalver-band Bitkom im Rahmen ei-ner reprsentativen Befragung herausgefunden hat. Rund ein Viertel der Befrag-ten (22 Prozent) kann sich vorstellen, knftig kontaktlos ber das NFC-Verfahren mit dem Smartphone zu bezah-len, 7 Prozent haben dies be-reits getan. Bei den 14- bis 29-Jhrigen sind sogar 27 Prozent offen fr das mobile Bezahlverfahren, 14 Prozent

haben es schon genutzt. Beim Bezahlen per NFC-Technolo-gie (Near Field Communica-tion) hlt der Nutzer sein Mo-biltelefon vor ein Lesegert,

um beispielsweise die Super-markt- oder Tankrechnung zu begleichen.Obwohl nur eine Minderheit via Smartphone Rechnungen

begleichen wrde, gibt sich Bitkom-Vizeprsident Ulrich Dietz berzeugt: Das Smart-phone wird in absehbarer Zeit neben Bargeld ein vielge-nutztes Zahlungsinstrument sein. Dietz sieht aber auch Mngel: Was die Infrastruk-tur der Lesegerte in den Ge-schften angeht, haben wir im Vergleich zu anderen Lndern noch groen Nachholbedarf. Derzeit gibt es in Deutschland erst rund 60 000 Akzeptanz-stellen fr das Bezahlen per NFC, das sind rund 8 Prozent der Kassenterminals. In den kommenden Jahren werde diese Zahl rasch wachsen. n

Jeder Dritte wrde mit dem Smartphone zahlen

Die Bitkom hat die Akzeptanz des mobilen Bezahlens hinterfragt.

Bitkom

spiel benannt hat oder nach der nord-amerikanischen Stammesgruppe.

Steiler Aufstieg

Im April 1995 verffentlichte die selbster-nannte Apache Group, die aus acht Ent-wicklern bestand, eine erste Version 0.6.2 des Servers, im Dezember 1995 erschien die Version 1.0. Im Laufe eines Jahres berflgelten die Apache-Nutzerzahlen bereits die des NCSA HTTPd. Im Zuge dieser Entwicklung grndeten die Apa-chen 1999 die Apache Software Foun-dation (ASF). Da waren bereits weitere Softwareprojekte im Apache-Umfeld ent-standen, die sich etwa um die Perl- oder PHP-Module kmmerten.Heute verwaltet die ASF 164 Toplevel-Projekte, mit 110 Subprojekten. Dane-ben gibt es 35 als Podlings bezeichnete Nachwuchsprojekte im Apache Incuba-tor [8] sowie 39 Initiativen im Apache Lab [9]. Insgesamt sind das 348 Open-Source-Initiativen. Monatlich kommen durchschnittlich zwei neue Projekt hinzu (Abbildung 1), insgesamt zhlt die ASF 4700 Codelieferanten [10].Mitte der 90er entstand auch die Apache License 1.0, die damals noch verlangte, die Apache Group in Werbematerialien zu nennen. Der Passus fiel spter weg. Die aktuelle Version 2.0 ist zur GPLv3 kom-patibel, wenn ein Projekt Apache-2.0-Code in sein GPLv3-Projekt integriert. Umgekehrt funktioniert es nicht. Mehr zu dieser Problematik liefert [11].

Auf die Bhne

Die Apache Software Foundation be-zeichnet ihre Organisationsform als Me-ritokratie. Grob vereinfacht heit dies:

Apache-Projekte wie Hadoop [1], Cas-sandra [2], Tomcat [3] und Spark [4] erfreuen sich in den Rechenzentren seit Jahren grter Beliebtheit. Den Grund-stein der Apache Software Foundation (ASF, [5]), deren Projekte der Schwer-punkt in diesem Linux-Magazin be-leuchtet, legte aber ein schlanker, kleiner

HTTP-Server [6]. Ihn kann man im Soft-warebereich wohl als uerst populren Dauerbrenner bezeichnen (siehe Artikel im Schwerpunkt).Vorlufer des Apache-Servers war der HTTPd der NCSA [7]. Wem die Abkr-zung nichts sagt: Vom National Center for Supercomputing Applications stammt der wohl bekannteste der frhen Browser: Mosaic. Rob McCool arbeitete Anfang der 90er in der Institution und erhielt den Auftrag, einen Webserver zu entwickeln, der nicht so komplex ist wie der damals bevorzugt eingesetzte vom CERN. Den Code suchte er in dem noch jungen In-ternet zusammen.Als McCool das NCSA verlie, um ei-nen neuen Job anzutreten, wurde der Server ziemlich vernachlssigt. Lediglich ein paar Nutzer schickten noch eigene Patches, um ihn am Leben zu erhalten. Brian Behlendorf sammelt diese und so entstand A patchy Server. Unklar bleibt, ob sich Apache nach diesem Wort-

Keine Bros, keine Gebude: Die Apache Software Foundation ist nahezu unsichtbar. Doch brtet sie Hunderte von Software-Groprojekten aus, bringt Tausende Entwickler zusammen. Und all das, ohne im Chaos zu enden und auf Innovation zu verzichten. Wie macht sie das? Ein Streifzug. Kristian Kiling

Apache Software Foundation

Digitaler Brutkasten

Titelthem

a

18

www.lin

ux-m

agaz

in.de

Apach

e-Projekte

08/2015

serge

isim

onov, 123

RF

Inhalt

18 Die Apache Software Foundation Vom Webserverprojekt zur millionen-schweren Open-Source-Stiftung.

22 Hadoop Big Data erklrt: Fischen im Datenmeer mit Hadoop 2 und Apache Spark.

26 Apache Aurora Wer Dienste in Mesos terminieren mchte, greift zum Aurora-Framework.

30 Jmeter Stressen, aber richtig! Jmeter ist Apa-ches Lasttest-Werkzeug.

34 Apaches Webserver tunen Aus dem Webserver Nr. 1 lsst sich eine bessere Performance herauskitzeln.

Wer viel tut, hat auch viel zu sagen. Bestehende Mitglieder stimmen ber die Aufnahme neuer Mitglieder ab, die De-tails regelt eine Satzung [12].Die Apache-Projekte durchlaufen meh-rere vorbestimmte Stadien (Abbildung 2). Wer sein Projekt in die Obhut der ASF bergeben hat, landet damit zunchst im Apache Incubator (Brutkasten, [8]). Stellt sich heraus, dass der Code darin aufblht und sich eine Community um das Projekt bildet, wird es zum Toplevel-Projekt [13] und steht gleichwertig neben den anfangs genannten.Um Innovationen anzukurbeln, bietet die ASF ihren Mitgliedern zugleich die Mg-lichkeit, mit Code zu experimentieren. Die dazugehrige Infrastruktur stellen die Apache Labs [9] bereit. Ist eines der Experimente erfolgreich, landet es im In-kubator und folgt dem weiter oben vor-gezeichneten Weg. Selbst an das Aufru-men denkt die Foundation: Nicht mehr betreute oder aktuelle Projekte landen auf dem Attic (Dachboden, [14]). Der Code bleibt so zugnglich und lsst sich wiederbeleben, falls sich Interessenten finden.Wer sich aber fr seinen nicht mehr be-treuten Code ein zweites Leben im Apa-che-Projekt erhofft, missversteht das Sys-tem. Die ASF akzeptiert Code nur, wenn dessen Besitzer einige Regeln beachtet und bestimmte Voraussetzungen erfllt. Zu diesen gehren:n Es muss sich um lauffhigen Code

handeln. Das begrndet die ASF da-mit, dass sich eine Community erst dann bilde, wenn der Code funktio-niere. Stehe am Anfang zudem eine langwierige Designphase, wrde es hufig zur Fragmentierung der Community kommen.

n Der Codebesitzer muss das Copyright der Software und das darin enthal-tene geistige Eigentum im Rahmen eines Software Grant Agreement [15] der Apache-Stiftung bergeben. Nur dann knnen die User sicher sein, nicht irgendwann in einem Lock-in zu landen.

n Nicht zuletzt braucht das Projekt ei-nen Sponsor innerhalb der ASF oder einen Officer. Diese Person agiert als Mentor, hilft dem Projekt und hlt Kontakt zum Project Management Committee (PMC) des Projekts.

Die ASF glaubt an Hte, also an Verant-wortliche, die den Hut aufhaben: Fr jedes Projekt gibt es nicht nur ein PMC, sondern auch ein Mitglied der Founda-tion, das als offizieller Ansprechpartner fr das Projekt auftritt [16].

Gut versorgt

An der Spitze der ASF gibt es einen Vor-stand mit neun Positionen. Sechzehn so genannte Officer kmmern sich zudem um organisatorische Dinge, etwa das Marketing oder Fundraising. Fr Letz-teres gibt es sogar zwei Officers. Das ist kein Wunder, verfgt die Foundation doch ber zahlreiche Sponsoren [17], die nicht nur die Infrastruktur, sondern auch die Arbeit der Foundation sowie Veran-staltungen, darunter die ASF-Konferenz Apachecon, finanzieren.Sponsoren knnen zwischen unter-schiedlichen Leveln whlen. Zu den Pla-tinum-Sponsoren, die jeweils sportliche 100 000 US-Dollar im Jahr an die Found-ation zahlen, gehren Google, Microsoft, Facebook, Citrix und Yahoo. Weitere be-kannte Firmen treten als Gold-, Silber- oder Bronze-Sponsoren auf.Das ist verstndlich, weil die ASF zahlrei-che Open-Source-Projekte verwaltet, die von diesen Firmen stammen und die dort tglich im Einsatz sind. Als Sponsoren versprechen sie sich eine Einflussnahme auf die Projektentwicklung und einen besseren Zugang zu Entwicklern. Wo-hin ihr Geld fliet, zeigen regelmig die Jahresfinanzberichte, der fr 2014 etwa

unter [10]. Auf Konferenzen treffen die Firmenmitarbeiter auf freie Apache-Ent-wickler und es werden neue Entwicklun-gen vorgestellt und diskutiert.

Blick ins Labor

Solche Innovationen sollen unter ande-rem in den Apache Labs entstehen. Alle Lab-Projekte samt einer Kurzerklrung und einem Link auf den Code in Apa-ches-SVN-Repository liefert [18]. Die re-levanten Informationen stecken entweder in einer README.txt-Datei, hufiger aber in einer XML-Datei namens doap.rdf. Das Linux-Magazin wirft im Folgen-den einen Blick ins Labor und stellt drei der Projekte vor. Das in Java, Python und Scala geschrie-ben Framework Alike [19] soll es erlau-ben, hnliche Bilder automatisch zu er-kennen. Dazu verbindet es mehrere Tools miteinander: Open CV fr maschinelles Sehen, die Maschinen-Lernsoftware Apa-che Mahout sowie die Suchmaschine Lu-cene. Open CV soll so genannte visuelle Deskriptoren auf Bildern entdecken. Ma-hout zerlegt diese in visuelle Wrter, die Lucene dann indexiert.Mouse [20] ist die Python-Implemen-tierung des Apache Release Audit Tool (Rat, [21]). Konkret soll es Lizenzen im Quellcode eines Projekts erkennen, um Compliance zu gewhrleisten. Anders als Rat besitzt Mouse dank Python aber keine Java-Abhngigkeiten.Clouds [22] soll hingegen ein Architek-tur-, Test- und Dokumentationsprojekt

19

www.lin

ux-m

agaz

in.de

Titelthem

aApach

e-Projekte

08/2015

Abbildung 1: Sowohl bei den Toplevel-Projekten als auch im Inkubator zeigt der Trend nach oben. Die Schwan-

kungen im Inkubator ergeben sich, weil reife Projekte in die Toplevel-Liga wechseln.

ASF

Ann

ual R

eport FY

2014-20

15

Instant-Messaging-Konversationen oder Wiki-Artikel.Ripple [27] will sich beim Entwerfen von HTML-5-basierten Mobilanwendungen als Test- und Debug-Tool ntzlich ma-chen, unter anderem ber einen Browser-basierten Mobiltelefon-Emulator. Aktuell untersttzt es Laufzeitumgebungen wie Cordova und Webworks.

Fazit

Whrend in Apaches Lab offenbar einige Karteileichen und nicht weiter verfolgte Experimente schlummern, scheinen die Projekte im Inkubator und die Toplevel-Projekte gut in Schuss. Auch die Apache Software Foundation als Ganzes erfreut sich offenbar guter Gesundheit und scheint finanziell und organisatorisch gangbare Wege gefunden zu haben, mit der wachsenden Zahl an Projekten um-zugehen.Die Organisationsform erinnert nicht zu-fllig an die in der Kernelentwicklung. Wie die Linux Foundation verdankt auch die ASF ihren Erfolg zunehmend dem finanziellen Engagement groer Firmen, die ihren Code dafr in die Stiftung aus-lagern. Fr die Projekte erweist sich das offenbar als ntzlich: Hauseigene Statisti-ken verweisen auf eine steigende Anzahl an Codelieferanten. n

Infos

[1] Hadoop: [http:// hadoop. apache. org]

[2] Cassandra: [http:// cassandra. apache. org]

[3] Tomcat: [http:// tomcat. apache. org]

[4] Spark: [http:// spark. apache. org]

[5] Apache Software Foundation:

[http:// apache. org]

[6] Apache-Server: [http:// httpd. apache. org]

[7] Geschichte der ASF: [http:// www. apache.

org/ history/ timeline. html]

[8] Incubator: [http:// incubator. apache. org]

[9] Labs: [http:// labs. apache. org]

[10] ASF-Fiskal-Jahresbericht 2014/ 2015:

[https:// s3. amazonaws. com/

files-dist/ AnnualReports/

ASFAnnualReport-FY2014-2015FINAL. pdf]

[11] Kompatibilitt der Apache-Lizenz:

[http:// www. apache. org/ licenses/

GPL-compatibility. html]

[12] Satzung der ASF: [http:// www. apache.

org/ foundation/ bylaws. html]

[13] Toplevel-Projekte:

[http:// apache. org/ # projects-list]

[14] Attic: [http:// attic. apache. org]

[15] Software Grant Agreement: [http:// www.

apache. org/ licenses/ software-grant. txt]

[16] ASF-Verantwortliche:

[http:// www. apache. org/ foundation/]

[17] Sponsoring: [http:// www. apache. org/

foundation/ sponsorship. html]

[18] Liste der Labs-Projekte:

[http:// labs. apache. org/ labs. html]

[19] Alike: [http:// svn. apache. org/ repos/ asf/

labs/ alike/]

[20] Mouse: [http:// svn. apache. org/ repos/ asf/

labs/ mouse/]

[21] Apache Rat:

[http:// creadur. apache. org/ rat/]

[22] Clouds: [http:// svn. apache. org/ repos/ asf/

labs/ clouds]

[23] Inkubator-Projekte: [http:// incubator.

apache. org/ projects/ index. html]

[24] Groovy: [http:// incubator. apache. org/

projects/ groovy. html]

[25] Codehaus: [http:// www. codehaus. org]

[26] Apache Wave: [http:// incubator. apache.

org/ projects/ wave. html]

[27] Ripple: [http:// incubator. apache. org/

projects/ ripple. html]

sein, um Apache-Anwendungen in die Cloud zu bringen. Genauer soll es als Klebstoff zwischen Apaches Cloudstack und den Apache-Anwendungen dienen, um diese besser in den Cloudstack zu integrieren.Beim Blick auf die weiteren Projekte zeigte sich aber auch, dass viele das Lab entweder schon wieder verlassen haben oder sie sich im Status idle befinden. Da diese Projekte zum Teil seit acht oder neun Jahren existieren, sind sie vermut-lich schlicht auer Dienst.

Aus dem Brutkasten

Vielversprechender sehen dagegen die Projekte im Apache Incubator [23] aus, die den Sprung zum Toplevel-Projekt schaffen mchten. Zu den bekannteren im Brutkasten gehrt Groovy [24]. Die objektorientierte Sprache fr die Java-Plattform gibt es bereits seit 2003, aktu-ell ist die Version 2.4. Im Frhjahr zog Groovy als Inkubator-Projekt ins Lager der Apachen, nachdem die ehemaligen Wirte von Codehaus [25] das Geschft einstellten.Auch von Apache Wave [26] hat der eine oder andere womglich schon ge-hrt. Es handelt sich dabei um ein von Google angeschobenes Software-Frame-work fr die Echtzeitkommunikation und Kollaboration ber ein XMPP-basiertes Protokoll. Google trennte sich 2010 von dem Projekt, Apache akzeptierte Wave im Inkubator. Das Hauptprodukt ist das Server-basierte Wave in a Box (WIAB). Es hostet und verteilt die von den Usern ber eine Wave-Anwendung verfassten Waves. Dabei handelt es sich beispiels-weise um Foren- oder E-Mail-Threads,

Titelthem

a

20

www.lin

ux-m

agaz

in.de

Apach

e-Projekte

08/2015

sendet Patches gibt Feedback

*Code License Agreement unterschrieben

darf Code eincheckenpartizipiert

Apache- Codebasis

Apache Labs

Apache Incubator

Toplevel-Projekte Attic

Committer*Contributor/Developer

User

Abbildung 2: Firmen wie Google, Facebook und Twitter gehren hufig sowohl zu den Usern als auch zu den Entwicklern im Entwicklungsmodell der ASF.

wickeln und trotzdem keinen Bedarf an der Verarbeitung bergroer Datenmen-gen haben. Die Annahme, dass alle Fir-men auf Petabytes von Daten sitzen, ist eben nicht notwendigerweise wahr. Im Blogpost Big Data Surprises [2] liegt laut den dort betrachteten Erhebungen die Einstiegsgrenze zu Big Data bei 110 GByte. Die Datenmenge, die ein durch-schnittliches Unternehmen zu stemmen hat, betrgt laut diesen Analysen zwi-schen 10 und 30 Terabyte.Der Artikel Nobody Ever got Fired for Using Hadoop on a Cluster [3] weist auf mindestens zwei Analyse-Cluster von Microsoft und Yahoo hin, die auf einen mittleren Input von weniger als 14 GByte pro Job kommen. Die Input-Gre von 90 Prozent der Jobs auf einem Facebook-Cluster liege bei weniger als 100 GByte, heit es dort weiter.Eine bessere Beschreibung fr Big Data Processing wre in dem Fall High Perfor-mance Data Processing (HPDP), weil die zuvor genannten Charakteristika High Performance Computing bentigen, um ihr Ziel zu erreichen. Diese Bezeichnung ist wiederum dem High Performance Technical Computing (HPTC) hnlich, das oft als HPC oder Supercomputing bezeichnet wird. Es liee sich argumen-tieren, dass HPDP und HPTC das Gleiche sind oder zumindest groe berlappun-gen aufweisen. Aktuell sei die Diskussion aber auf HPDP eingegrenzt.

Die Tiefen des Data Lake

Ein in den Charakteristika nicht genann-tes, aber impliziertes Feature ist das Kon-zept des zentralen Speicherdepots. Ob-wohl nicht alle Daten in relationalen Da-tenbanken zugnglich sind, mssen sie

ber Big Data sprechen das erfordert immer erst eine Definition dessen, was mit Big Data gemeint ist. Der Begriff ist in erster Linie Marketing-Geschwurbel mit entsprechend vielen Bedeutungen und Interpretationen, vergleichbar Begriffen wie hoher Berg oder schnelles Auto. Eine weitere Voraussetzung ist die Er-luterung des Konzepts hinter dem Data Lake. Letzterer ist weniger Buzzword und anschaulicher als Big Data. Der Artikel soll erklren, warum Hadoop 2 mehr ist als eine Map-Reduce-Engine, und auch, wie Spark sich nahtlos in das Hadoop-kosystem einfgt.

Die Begriffe

Wie der Name vermuten lsst, geht es bei Big Data um die Bearbeitung groer Da-tenmengen, gerne in Petabytes gemessen. Wikipedia definiert einige Charakteristika von Big Data [1], die im Folgenden als Basis dienen:

Menge: Big Data wird durch die groe Menge klar definiert. In manchen Fllen macht es die schiere Menge der Daten unmglich, sie mit herkmmlichen Me-thoden zu bearbeiten.Vielfalt: Die Daten knnen von verschie-denen Quellen stammen, die nicht zwin-gend miteinander zu tun haben.Geschwindigkeit: Im Zusammenhang mit Big Data ist das die Gre dafr, wie schnell die Daten entstehen und bearbei-tet werden knnen.Variabilitt: Die Daten knnen variabel, unvollstndig oder inkonsistent sein. Komplexitt: Die Verbindungen zwi-schen den Datenquellen mssen nicht vollstndig klar und fr traditionelle rela-tionale Methoden zugnglich sein.

Big Data kann auch kleiner

Unternehmen und Organisationen kn-nen nun zwar einige der oben genannten Ansprche an die Datenverarbeitung ent-

Kritiker, die Hadoop totsagen wollen und Apache Spark hochleben lassen, handeln voreilig. Hadoop 2 ist dem Status einer einfachen Anwendung entwachsen und zur Big-Data-Plattform gereift. Eine Bestandsaufnahme abseits des Big-Data-Hype. Douglas Eadline

Big Data Hadoop 2 und Apache Spark

Fischen im Datenmeer

Titelthem

a

22

www.lin

ux-m

agaz

in.de

Hadoop 2

08/2015

Bruce Rolff 12

3RF

in einer Rohform gespeichert sein. Diese Charakteristik ist es, die HPDP meist von traditionelleren Methoden unterscheidet. Meist als Data Lake bezeichnet steckt dahinter die Idee, ein groes Repository fr alle Daten zu schaffen und es nach Bedarf zu nutzen.Der Ansatz lsst sich dem der traditio-nellen relationalen Datenbank oder dem Data Warehouse gegenberstellen: Daten dort hinzuzufgen heit, sie in ein vor-gegebenes Schema zu transformieren, be-vor sie in die Datenbank passen. Diesen Schritt bezeichnet in der Regel der Begriff Extract, Transform and Load (ETL), und der kann teuer und zeitfressend sein. Noch bedeutsamer ist der Umstand, dass Entscheidungen, wie die Daten spter genutzt werden sollen, bereits bei die-sem Schritt fallen mssen. Auerdem gehen bei ETL-Prozess eventuell auch Daten oder Datenbestandteile verloren, die nicht ins Schema passen.Hadoop dagegen fokussiert darauf, Da-ten im Rohformat zu nutzen. Im We-sentlichen wird das, was sich als eine Art ETL-Schritt ansehen lsst, erst aus-gefhrt, wenn Hadoop-Applikationen darauf zugreifen. Dieser Schema-beim-Lesen-Ansatz ermglicht es Programmie-rern und Nutzern, je nach Bedarf eine Struktur beim Zugriff zu erzwingen. Der traditionelle Ansatz des Data Warehouse, das Schema-beim-Schreiben, erfordert dagegen Vorausplanung und Annahmen darber, wie die sptere Datennutzung eventuell aussehen soll.Bezogen auf Big Data bietet das Data-Lake-Konzept drei Vorteile gegenber dem traditionellen Ansatz:n Alle Daten sind verfgbar, ohne An-

nahmen zur knftigen Verwendung treffen zu mssen.

n Die Daten sind teilbar. Verschiedene Geschftsfelder oder Forschungs-zweige knnen alle verfgbaren Daten nutzen ohne Zugangsbeschrnkungen (Kompartimentalisierungseffekte) we-gen nicht zueinander passender Sys-teme.

n Alle Zugangsmethoden sind verfg-bar. Jede Datenverarbeitungs-Engine lsst sich nutzen, um die Daten zu erforschen, etwa Map-Reduce, Graph Processing und In-Memory-Tools.

Um keine Missverstndnisse aufkommen zu lassen: Hadoop ist nicht auserkoren,

um Data Warehouse zu ersetzen. Data Warehouse ist ein geschtztes Business-tool. Dennoch fand die Entwicklung der Data-Warehouse-Technologie vor der Zeit statt, als sich der Data Lake zu fllen begann. Die wachsende Zahl von neuen Datenstrmen aus nicht zusammenpas-senden Quellen wie sozialen Netzen, Sensoren und Click-Trails fliet in diesen Datensee. Die Wahl zwischen Hadoop und Data Warehouse lsst sich als Entweder-oder-Entscheidung bezeichnen. Ein Haupt-kritikpunkt an Hadoop ist die langsame Batch-Charakteristik der Map-Reduce-Jobs. Bedenken gegenber der Perfor-mance von Hadoop sind bei Version 1 teils gerechtfertigt, doch zeigt sich Ha-doop 2 wie spter nher ausgefhrt als flexiblere und besser erweiterbare Plattform.Die Unterschiede zwischen traditionel-lem Data Warehouse und Hadoop zeigt Abbildung 1 schematisch. Das Schau-bild zeigt, wie verschiedene Daten in den ETL-Prozess oder den Data Lake gelangen. Der ETL-Prozess platziert die Daten in Schemata, um sie in der relati-onalen Datenbank zu speichern (Write). Nutzt eine Hadoop-Anwendung die Da-ten, wendet sie das Schema beim Lesen (Read) der Daten aus dem Data Lake an. Gezeigt ist auch das mgliche Verwerfen von Daten whrend des ETL-Prozesses.

Hadoop 2 Lake House

Wichtig ist auch der Punkt, an dem Ha-doop Daten an den User weitergibt. In Hadoop 1 war dieser Schritt limitiert durch eine parallel arbeitende Map-Re-duce-Engine. Populre Pakete wie Pig [4] oder Hive SQL [5] bauten auf dieser En-gine auf. In Version 2 ist Hadoop [6] zum Cluster-Betriebssystem herangewachsen, das eine Plattform zum Bau von Data-Lake-Anwendungen vorhlt. Hadoop 2 enthlt ein Map-Reduce-Framework, das mit Map Reduce aus Version 1 kompati-bel ist, auch die meisten Anwendungen sind ohne nderungen lauffhig, Pig und Hive eingeschlossen.Hadoop 1 hatte zwei Kernkomponen-ten: das Hadoop Distributed File System (HDFS) der Data Lake fr den Cluster. Und eine monolithische Map-Reduce-En-gine, die Map-Reduce-Jobs und -Work-

anderen Servern starten, ohne Resultate zu verlieren. Die Bearbeitungszeit verln-gert sich dabei aber eventuell.

YARN-Scheduler

Hadoop 2 erledigt dieses Level der Non-Stop-Redundanz im YARN-Scheduler. Eine Anwendung darf dort bei Laufzeit Ressourcen anfordern und freigeben. Sie kann auch zustzliche Ressourcen anfor-dern, um eine Task zu beenden, sollte ein Prozess abstrzen. Da die Ressourcen-Verwendung dynamisch erfolgt, knnen Anwendungen ungenutzte Ressourcen freigeben, was die Ausnutzung des Clus-ters erhht. Diese Situation ist typisch fr groe Map-Reduce-Jobs, bei denen die Mapping-Phase oft mehr Prozesse ben-tigt als die Reducer-Phase.Die Redundanz erstreckt sich auch auf das HDFS. Anders als bei vielen HPTC-Clustern, bei denen parallele I/ O-Pro-zesse als Subsysteme separat von den Nodes ausgelegt sind, nutzt ein Hadoop-Cluster gewhnliche Hardware fr Pro-zess- und Storage-Nodes. Diese Nodes dienen fter als Processing- und Speicher-Elemente gleichermaen. Damit lsst sich die Abarbeitung bei den Daten erledigen. So umspannt der Data Lake meist den ganzen Hadoop-Cluster. Die Ausfhrung der Jobs kann man sich sinnbildlich wie bei Flotten von Fischerbooten vorstellen, die den Data Lake auf der Suche nach Resultaten durchkreuzen.

Um im Bild zu bleiben, darf man sich YARN als Bootshaus vorstellen, bei dem sich Boote zum Fischen auf dem See or-dern lassen. Das HDFS ist zudem ebenso leicht mit gengend Redundanz konfigu-rierbar, damit der Verlust eines Node oder Rack nicht zum Datenverlust oder einem Fehler des laufenden Jobs fhrt. Dieses Non-Stop-Design ist ein Markenzeichen von Hadoop-Clustern und es unterschei-det sich von den meisten HPTC-Syste-men, in denen vereinzelte Hardwarefeh-ler und daraus resultierende abstrzende Jobs akzeptabel sind.Vor Apache Spark sei ein weiteres Projekt genannt: Apache Tez [7]. Tez operiert im Hintergrund und widmet sich der Opti-mierung von Hadoop-Map-Reduce-Jobs. Die meisten hochkartigen Tools wie Hive SQL und Pig erzeugen Kombina-tionen von Map-Reduce-Jobs, die dann auf dem Cluster ausgefhrt werden. Je-der Map-Reduce-Job arbeitet separat und schreibt und liest so auch vom HDFS, nutzt also die Festplatte. Tez kombiniert diese individuellen Jobs und vermeidet mglichst die Festplatten-nutzung, indem das Tool Daten direkt in den Hauptspeicher (In-Memory) trans-feriert und so zur nchsten Phase im Map-Reduce-Workflow. Als Teil des Stin-ger-Projekts hat Tez die Geschwindigkeit von Hive-SQL-Jobs auf Hadoop um den Faktor 50 gesteigert, in manchen Fllen auch um den Faktor 160 [8].

Apache Spark

Mit erweiterten Map-Reduce-Fhigkeiten punktet das Projekt Apache Spark [9]. In erster Linie ist Spark ein Tool fr parallele In-Memory-Berechnungen. Als schnelles und allgemein taugliches Cluster-Com-puting-System hlt es APIs fr Java, Scala und Python und eine optimierte Engine fr die generelle Ausfhrung von Graphen vor. Spark untersttzt diverse Tools, etwa Spark SQL, die Bibliothek MLlib, GraphX und Spark Streaming. Zudem bietet Spark ber 80 High-Level-Operatoren, um par-allele Applikationen zu bauen, und lsst sich interaktiv ber die Shells von Scala und Python ansprechen. Spark ist stand-alone im Cluster-Modus auf EC2, unter Hadoop YARN und Apa-che Mesos lauffhig. Es kann vom HDFS, Hbase [10], Cassandra [11] und jeglicher

flows managt. Hadoop 2 hat dieses De-sign erweitert und bietet mehr Flexibili-tt. Die Hauptkomponenten sind auf drei angewachsen: Das gleiche HDFS wie in Version 1. Die zweite Komponente heit Hadoop YARN (Yet Another Ressource Negotiator) ein nicht auf bestimmte Anwendungen festgelegter Workload-Scheduler fr User-Jobs. Als dritte Komponente sind Anwendun-gen zu nennen. Darunter sind alle unter YARN lauffhigen Applikationen zu ver-stehen, die mit YARN-Services auf Clus-ter-Ressourcen zugreifen und den Data Lake nutzen. Diese Applikationen kn-nen beliebige Datenverarbeitungstypen anwenden etwa Map Reduce, Graph Pro-cessing und Message Passing Interface (MPI). Sogar In-Memory-Anwendungen wie Apache Spark sind opportun.Ein Designfeature von beiden Versionen ist die Nutzung eines einfachen Redun-danzmodells. Viele Hadoop-Cluster be-stehen aus gewhnlichen Hardwarekom-ponenten wie x86-Servern, Ethernet und Festplatten. Da Hardware fehleranfllig ist, sind redundant ausgelegte Prozesse und Speicher Teil des Hadoop-Designs auf Toplevel.Weil der Map-Reduce-Prozess von Haus aus funktional ist, flieen Daten nur in eine Richtung. So lassen sich Input-Da-teien als Teil des Prozesses nicht ndern. Diese Einschrnkung ermglicht ein ein-faches Redundanzmodell. Tote Prozesse in ausgefallenen Nodes lassen sich auf

Source B

User

Source C

ETLDiscarded

Data

Schema on Write

Schema on Read

Data Lake

Data Warehouse Hadoop

Source A

Abbildung 1: Traditionelles Data Warehouse im Vergleich mit dem Hadoop Data Lake.

Titelthem

a

24

www.lin

ux-m

agaz

in.de

Hadoop 2

08/2015

Hadoop-Datenquelle lesen. Nicht zuletzt beschleunigt Spark dank In-Memory-Processing einige Programme um das 100-Fache gegenber Hadoop-Batch-Map-Reduce-Jobs und um das 10-Fache beim Schreiben auf Festplatte hnlich den Resultaten mit Tez. Spark ist Teil des kommenden Stinger-Projekts [8], um Hadoop Hive SQL zu verbessern.

Fazit

Apache Spark erlebt einen Hype und bietet die erwhnten Vorzge, unter an-derem bei der Geschwindigkeit. Hadoop 2 ist dagegen nicht lnger das One-Trick-Pony der ersten Ausgabe und die bevor-zugte Plattform fr neue Tools, die den stetig wachsenden Data Lake abfischen. Bleibt nur, es auszuprobieren. Spark scheint es dem Anwender dabei et-was leichter zu machen als die Aufgabe, eine Java-Anwendung fr die Nutzung des Hadoop-Map-Reduce-API zu schrei-

ben. Der Vorteil liegt darin, dass Entwick-ler entscheiden knnen, welcher Ansatz besser fr den Data Lake passt. Hadoop 2 hat bei der Anwendungsentwicklung einen erstaunlichen Umfang erreicht. Das schliet Programme ein, die unter Ha-doop 1 nicht ausfhrbar waren, und auch solche fr Hadoop Yarn.Einige Verwirrung um Hadoop resultiert daraus, dass es sich von einer Anwen-dung zur Plattform gemausert hat, auf der Applikationen wie Spark implemen-tierbar sind. Der Wert einer offenen Big-Data-Plattform ist hoch einzuschtzen. Hadoop 2 ist das Betriebssystem fr Data-Lake-Cluster und ein Meilenstein in der Evolution der Datenanalyse. (uba) n

Info

[1] Big-Data-Characteristika:[http://en.

wikipedia.org/wiki/Big_data]

[2] BigDataSurprises:[http://www.sisense.

com/blog/big-data-surprises]

[3] NobodyevergotfiredforusingHadoop

onacluster,1stInternationalWorkshop

onHotTopicsinCloudDataProcessing:

[http://research.microsoft.com/pubs/

163083/hotcbp12%20final.pdf]

[4] ApachePig:

[https://pig.apache.org]

[5] ApacheHive:

[https://hive.apache.org]

[6] ApacheHadoop:

[https://hadoop.apache.org]

[7] ApacheTez:

[http://tez.apache.org/install.html]

[8] StingerProject:

[http://hortonworks.com/labs/stinger/]

[9] ApacheSpark:[https://spark.apache.org]

[10]ApacheHbase:

[http://hbase.apache.org]

[11]ApacheCassandra:

[http://cassandra.apache.org]

Der Autor

DouglasEadlineschreibtundentwickeltseitber

20JahrenzumThemaClusterComputing.

25

www.lin

ux-m

agaz

in.de

Titelthem

aHadoop 2

08/2015

Init-Daemon vergleichen. Fllt ein Server oder eine Anwendung aus, startet Aurora sie auf einem anderen Rechner neu und prft, ob alles erwartungsgem funktio-niert. Kenner der Materie sehen hier auch eine Verwandtschaft mit den bekannten Mesos-Diensten Marathon [5] und even-tuell auch Chronos [6]. Der Kasten An-schieber enthlt dazu weitere Details. Die zweite Verantwortlichkeit von Aurora ist das Ausrollen neuer Versionen der berwachten Dienste. Auerdem registriert Aurora die Dienste und ermglicht es so anderen Program-men, sie zu nutzen. Dafr greift Aurora auf Zookeeper [7] zurck. Fr das Star-ten und berwachen von Diensten nutzt das Projekt Mesos. Diesem Apache-Pro-jekt hat das Linux-Magazins bereits ei-nen Artikel gewidmet [8]. Dort ist auch beschrieben, wie Mesos gewissermaen als Rechenzentrums-Scheduler arbeitet. Der Artikel erwhnt die Rollen Master und Slave. Der Master nimmt Aufgaben entgegen und gibt sie zur eigentlichen Abarbeitung an Slaves weiter. Aurora fungiert nun als Abstraktions-schicht zur Aufgabenverteilung durch Mesos. Man kann es als Meta-Scheduler bezeichnen. Das Zusammenspiel der ein-zelnen Komponenten ist in Abbildung 2 dargestellt.

Jobs, Aufgaben, Prozesse

Ein Blick hinter die Kulissen zeigt, dass das Ganze noch etwas komplizierter ist. Aurora benutzt Mesos zwar als Unterbau, kopiert aber zustzlich eigene Kompo-nenten auf die Slaves, um die Tasks ab-zuarbeiten. Diese speziellen Bestandteile hren auf den Namen Thermos. Sie erfl-len zwei Aufgaben: Zum einen gibt es die so genannten Exekutoren, die Prozesse

Der Erfolg des Aurora-Projekts [1] hat viele Vter: Zum Beispiel stand ursprng-lich Twitter hinter der Entwicklung, die Software ist Teil von Mesos [2], das mit seinem Framework ein Betriebssystem fr Rechenzentren [3] sein will. Des Weiteren hat Aurora im Mrz dieses Jah-res den Apache-Inkubator verlassen und firmiert nun als ein vollwertiges Apache-Projekt. Und nicht zuletzt stand auch Google zumindest indirekt Pate bei die-sem Projekt.Die Anfnge von Aurora reichen in das Jahr 2010 zurck. Bill Farner, ein Mitglied des Forschungsteams bei Twitter, startete damals ein Projekt, um den Betrieb der Zwitscher-Infrastruktur zu erleichtern. Die IT-Landschaft des Kurznachrichten-dienstes war zu jenem Zeitpunkt be-trchtlich gewachsen. Die Betriebsteams sahen sich mit Tausenden von Rechnern und Hunderten von Applikationen kon-frontiert. Hinzu kam das stndige Aus-rollen neuer Softwareversionen.

Jener Bill Farner hatte zuvor bei Google gearbeitet und dort Einblick in deren Clustermanager Borg [4] erhalten. So stand der Internetgigant quasi indirekt Pate fr Aurora. In den ersten Jahren fand die Entwick-lung nur innerhalb von Twitter und hin-ter verschlossenen Tren statt. Mehr und mehr Angestellte trugen zur Weiterent-wicklung bei. Aurora wurde fr die ver-schiedenen Twitter-Dienste immer wich-tiger. Schlielich war die ffnung des Projekts in Richtung der Open-Source-Community ein natrlicher Schritt, um ein so stark gewachsenes Softwareprojekt pflegen zu knnen. Seit 2013 gehrt Au-rora zur Apache-Familie.

Stein auf Stein

Eine zentrale Aufgabe von Aurora bildet das Starten und berwachen von Diens-ten in einer IT-Landschaft. Man knnte es mit einem Rechenzentrums-weiten

Darum, dass die wichtigen Dienste im Rechenzentrum immer am Laufen sind, will sich das Apache-Projekt Aurora kmmern. Das Verteilen von Diensten hat Aurora von Twitter gelernt. Udo Seidel

Mesos-Framework Aurora

Dispatcherdienste

Titelthem

a

26

www.lin

ux-m

agaz

in.de

Apache Aurora

08/2015

m

aroti 123

RF

auf Betriebssystem-Ebene starten. Zum anderen existieren Observer. Sie sind eine Art Meldestelle fr die Exekutoren. Sie erhalten die Statusmeldungen ber die gestarteten Prozesse und reichen diese dann an Mesos zurck. Zum Verstndnis ist es hilfreich, sich an die Terminologie des Projekts zu halten. Auf der Aurora-Ebene gibt es Jobs. Die zerfallen in Tasks der Mesos-Schicht. Ein Job entspricht daher normalerweise mehreren Tasks. Auf der Thermos-Ebene schlielich zerfallen die Tasks in Pro-zesse, die der Admin mit Kommandos wie ps oder top betrachten kann. Die Beschreibung eines Aurora-Jobs enthlt Instruktionen fr den Meta-Scheduler sel-ber, fr Mesos und Thermos. Angaben ber Jobs, Tasks und Prozesse definieren am Ende die Anwendung, die der Meta-Scheduler berwacht.

Die Entwickler verwenden dafr eine Python-basierte Domain Specific Lan-guage (DSL). Die Beschreibungsdatei be-sitzt typischerweise die Endung .aurora und hat mehrere Bestandteile. Einer ist eine Art Jobschablone, die dazu dient, Gemeinsamkeiten einfach zusammenzu-fassen, wenn die Aufgaben auf Aurora-Ebene identisch sind und sich nur die Tasks oder Prozesse unterscheiden. Das vermeidet Redundanzen in der Beschrei-bung. Nach dieser Vorlage definiert man die Prozesse (Thermos), Tasks (Mesos) und Jobs (Aurora).Das Ganze kann etwas verwirrend wir-ken. Ein typisches Hallo-Welt-Beispiel zeigt Listing 1. Ein Prozess-Objekt in der Aurora-DSL erfordert zwei Angaben: einen Namen und das auszufhrende Kommando. Letzteres ist im vorliegen-den Fall ein einfaches Echo-Kommando, das Python ber das OS-Modul ausfhrt. Ein Task-Objekt bentigt einen Namen und die zugehrigen Prozesse. Fr Me-sos selbst kommen natrlich noch die notwendigen Ressourcen dazu. Anhand dieser Angaben sucht sich das System die passenden Sklaven heraus. In Listing 1 lauten die Anforderung 10 Prozent CPU, 20 MByte RAM und ebenso viel Plat-tenplatz. Es lassen sich auch mehrere Prozesse einer Task zuordnen. Des Weiteren bentigt die Konfiguration Angaben ber die zugeordneten Tasks, eine Rolle und die Ausfhrungsumge-bung. Die Rolle entspricht oft dem Be-nutzerkontext, unter dem die zugehri-gen Prozesse am Ende laufen. Die Aus-fhrungsumgebung wiederum definiert, welche Aurora-Instanzen sich um den Job kmmern. Das dargestellte Beispiel demonstriert nur einen Teil der Mglich-keiten. Wer tiefer einsteigen will, der fin-det ausreichend Lesestoff in der Projekt-Dokumentation ([9] bis [12]).

Auf den ersten Blick scheinen Aurora und Marathon den gleichen Zweck zu erfllen, und beide setzen auf Mesos auf. Beide die-nen dazu, lange laufende Anwendungen zu starten und zu berwachen. Im Detail gibt es dann doch Unterscheidungsmerkmale: Die In-stallation und erste Tests gehen bei Marathon deutlich schneller und leichter von der Hand. Fr Aurora sind einige Klimmzge ntig. Fr die ersten Jobs gilt es, die entsprechende Be-schreibungssprache zu lernen. Bei Marathon reichen an dieser Stelle fast rudimentre Json-Kenntnisse. Aurora ist ebenso wie Mesos ein natrliches Mitglied der Apache-Familie. Marathon hin-gegen ist ein Projekt, das die Firma Mesos-phere vorantreibt. Ein weiterer Unterschied betrifft die Untersttzung der allerneusten Features und Technologien. Aurora ist hier etwas konservativer, um die Stabilitt von Twitter-Diensten nicht unntig zu gefhrden. Die Integration von Docker beispielsweise fand bei Marathon frher statt.

Anschieber

Spark

Knoten 1 Knoten 2 Knoten 3 Knoten 4 Knoten N

Chronos Storm Jenkins

Mesos

Aurora ...

...

Hadoop

Abbildung 1: Aurora ist ein so genanntes Mesos-Framework, Mesos seinerseits ebenfalls ein Apache-Projekt.

der Dokumentation zu beginnen und sie dann Schritt fr Schritt systematisch zu erweitern. Die Einstiegshrden fr den erfolgreichen Einsatz von Aurora sind nicht gerade niedrig. Fr kleinere IT-Umgebungen sollte der Admin daher zunchst sehr sorgfltig Aufwand und Nutzen abscht-zen. In groen Umgebungen mit vielen Servern, vielen Diensten und stndigen Software-Updates, lohnt sich dagegen das Evaluieren des Meta-Schedulers umso mehr. (jcb) n

Infos

[1] Aurora: [http:// aurora. apache. org]

[2] Mesos: [http:// mesos. apache. org]

[3] Mesosphere:

[http:// mesosphere. com/ product/]

[4] Large-scale cluster management

at Google with Borg: [http:// static.

googleusercontent. com/ media/research.

google. com/ en/ us/ pubs/ archive/ 43438. pdf]

[5] Marathon:

[http:// mesosphere. github. io/ marathon]

[6] Chronos:

[http:// github. com/ mesos/ chronos]

[7] Zookeeper:

[http:// zookeeper. apache. org]

[8] Udo Seidel, Datacenter im Griff

Compute-Cluster fr Rechenzentren:

Linux-Magazin 05/ 15, S. 76

[9] All about Apache Aurora:

[http:// blog. twitter. com/ 2015/

all-about-apache-aurora]

[10] Aurora Tutorial:

[http:// aurora. apache. org

/documentation/ latest/

configuration-tutorial]

[11] Aurora Configuration Reference:

[http:// aurora. apache. org/

documentation/ latest/

configuration-reference/]

[12] Aurora Users Guide:

[http:// aurora. apache. org/

documentation/ latest/ user-guide/]

[13] Vagrant: [http:// www. vagrantup. com]

[14] Aurora-Mesos-Cluster: [http:// tepid. org/

tech/ 01-aurora-mesos-cluster/]

Der Autor

Dr. Udo Seidel ist eigentlich Mathe- und Physik-

Lehrer und seit 1996 Linux-Fan. Nach seiner Pro-

motion hat er bei verschiedenen Arbeitgebern

als Linux/ Unix-Trainer, Systemadministrator und

Senior Solution Engineer gearbeitet.

Heute ist er ist Evangelist, Architekt und techni-

scher Gouverneur bei der Amadeus Data Proces-

sing GmbH in Erding bei Mnchen.

Wer erste Schritte mit Aurora wagen mchte, hat mehrere Mglichkeiten. Empfehlenswert ist die Installation von Vagrant [13]. Die Projekt-Dokumentation und auch andere Anleitungen im Inter-net benutzen dieses Werkzeug zur In-stallation. Der Weg zu Fu ist deutlich schwieriger und erfordert zunchst die Installation eines Mesos-Clusters [14] mit der zugehrigen Zookeeper-Infrastruktur.

Schwierige Installation

Die Installation der verschiedenen Au-rora-Komponenten ist zwar prinzipiell dokumentiert, aber sehr unbersicht-lich. Es geht nicht klar aus ihr hervor, welche Schritte in welcher Reihenfolge zu absolvieren sind. Das hat dem Team des Linux-Magazins einiges Kopfzerbre-chen bereitet. Die nchste Hausaufgabe besteht im Erlernen der Beschreibungs-sprache. Hier empfiehlt es sich wiede-rum, mit den einfachen Beispielen aus

01 $ cat hallo.welt.aurora

02 import os

03 hallo_welt_process = Process(

04 name = 'hallo_welt',

05 cmdline = 'echo hallo welt')

06

07 hallo_welt_task = Task(

08 resources = Resources(cpu = 0.1, ram = 20*MB,

disk = 20*MB),

09 processes = [hallo_welt_process])

10

11 hallo_welt_job = Job(

12 cluster = 'test',

13 role = os.getenv('USER'),

14 task = hallo_welt_task)

15

16 jobs = [hallo_welt_job]

Listing 1: Hallo-Welt-Version eines Aurora-Jobs

Zookeeper

Mesos-Sklave N Thermos-ExecutorMesos-Sklave 2

Mesos-Meister

...Mesos-Sklave 1

Aurora

Task

Thermos-Observer

Abbildung 2: Aurora, Zookeeper, Mesos und Thermos im Zusammenspiel.

Titelthem

a

28

www.lin

ux-m

agaz

in.de

Apache Aurora

08/2015

den verschiedenen Programmiersprachen und ber Plugins [4] zum Beispiel fr Se-lenium oder Hadoop-HDFS erweiterbar.

Nach Testplan handeln

Der Anwender ruf das Tool mit jme-ter.sh (unter Windows: jmeter.bat) im Verzeichnis $JMETER_HOME/bin auf. Dort fhrt es auch die Protokolldatei jmeter.log, die bei Fehlern zu analysie-ren wre. Nachdem Jmeter gestartet ist, bentigt der Anwender einen Testplan. Dazu kann er fertige Vorlagen abndern, die im Verzeichnis bin\templates oder printable_docs\demos liegen. Am ein-fachsten rufen er File | Templates auf und whlt aus den angebotenen Vorlagen Building a Web Test Plan aus. Die Bei-spielvorlage setzt zwei Anfragen an den Host [jmeter.apache.org] und die Seiten / und /changes.html ab und stellt das Ergebnis als Graph dar.Der zweite Weg zu einem Testplan ist, ein passendes Modell von Grund auf selbst anzufertigen. Testplne sind in einem XML-Format ohn