Globaler Überblick€¦ · Folien Chart 22 © 2013 | magellan netzwerke GmbH Überblick Wie gelangen die Daten in Splunk? Agent and Agent-less Approach for Flexibility. 22 perf

© 2013 magellan netzwerke GmbH

| Globaler Überblick

Referent / Redner Benjamin Tiggemann

Folien Chart 2

© 2013 | magellan netzwerke GmbH

Überblick

Agenda

1. Die Herausforderung2. Was ist Splunk?3. Die Architektur von Splunk4. Auszug aus unseren Case Studies5. Live Demo 6. Neuerungen in Splunk Enterprise Version 6

Folien Chart 3


Überblick

Die Herausforderung

Folien Chart 4


Überblick

Anforderungen an die Maschinendatenanalyse in der Zukunft:BIG DATA

Splunk storage Hadoop or other storage

Data collectionand indexing

• Zunehmende maschinelle Erzeugung von Daten• Laut Berechnungen verdoppelt sich das weltweite Datenvolumen

alle 2 Jahre• BIG DATA als treibender Faktor für IT-Investitionen• Auswertung und Korrelation von BIG DATA als Chance zur

Gewinnoptimierung und Serviceverbesserung

Folien Chart 5


Überblick

Wie haben wir Splunk entdeckt?

Firewall

WWW

Email

AntiSpam/AV GW

Enc/Dec GW

Exchange

Logs liegen auf DISK/MEM, Zugriff via Web

Logs liegen auf DISK/MEM, Zugriff via Web

Logs liegen auf DISK/BS, Ereignisanzeige

Logs liegen auf DISK/BS, Ereignisanzeige

Folien Chart 6


Überblick


Nachteile:

• Logs liegen lokal auf den Systemen und müssen dort erst heruntergeladen oder aufgerufen werden

• Suche mit Texteditor über 500MB Textdateien ist nicht performant

• STRG-F bietet keine komplexen Suchabfragen

Folien Chart 7


Überblick


Firewall

WWW

Email

AntiSpam/AV GW

Enc/Dec GW

Exchange

Folien Chart 8


Überblick


Vorteile:

• Logs werden zentral gespeichert

• Suche läuft korreliert über alle Logs (z.B. einfache Suche nach Emailsender)

• Suche läuft performant und kann komplexe Bedingungen abfangen

Folien Chart 9


Überblick

einheitliche Anforderungen – untersch.Lösungen

ApplikationManagement

DatenbankManagement

SystemManagement

NetworkManagement

Analytics

Applikationen Datenbanken Server Anwender Web / Cloud

Folien Chart 10


Überblick

Eine Lösung, die Ihre Daten korreliert!

ApplikationManagement

DatenbankManagement

SystemManagement

NetworkManagement

Analytics

Applikationen Datenbanken Server Network/ Devices

Anwender Web / Cloud

Folien Chart 11


Überblick

Was ist Splunk?

Folien Chart 12


Überblick

Sammeln, Verarbeiten und Nutzen Ihrer Maschinen erzeugten Daten zur Identifizierung von Problemen, Risiken und Chancen um bessere Entscheidungen für IT und Business

zu treffen.

Splunk’s Mission

Folien Chart 13


Überblick

Unternehmensdaten Splunk (NASDAQ: SPLK)

Gründung 2004

Firmensitz San Francisco, CA

Mitarbeiter 600 in 12 Ländern

Niederlassungen

Nordamerika, EMEA (London), APAC (Honkong)

Kunden 4.400++

Anwender 1.000.000 in 75 Ländern

Umsatz $120 Mio. (2012)

Folien Chart 14


Überblick

Die Architektur von Splunk

Folien Chart 15


Überblick

Was ist Splunk nun genau?• Splunk ist eine plattformunabhängige Software• Splunk ist eine Suchmaschine für jede Art von Maschinendaten• Splunk wertet ihre Daten automatisch aus und stellt sie grafisch dar

DeveloperPlatform

Report and

analyze

Custom dashboards

Monitor and alert

Ad hoc search

Splunk storage Other Big Data stores

Online Service

sWeb

Services

ServersSecurity GPS

Location

StorageDesktops

Networks

Packaged Application

s

CustomApplication

sMessaging

TelecomsOnline

Shopping Cart

Web Clickstrea

ms

Databases

Energy Meters

Call Detail Records

Smartphones and Devices

RFID

Folien Chart 16


Überblick

Collection

Indexing

Search

Core FunctionsAccess Controls

Stats/Analytics Alerts DashboardsReports

Apps and SolutionsApplicationMonitoring

SDKUser Interface APIs

ITOperations Security Compliance Business

AnalyticsWeb

Intelligence

Architektur und Vorteile von Splunk

• Echtzeit Indizierung der Daten• Echtzeit Dashboarding• Echtzeitalarmierung (Email, Script, etc.)• Multiline Support• Mandanten Fähigkeit (LDAP, AD)• Mechanismus zum Auswerten von

Langzeitdaten (Compliance)• Keine Datenbank

Folien Chart 17


Überblick

Folien Chart 18


Überblick

Splunk Lösung: Flat File, Kein Schema

Folien Chart 19


Überblick

Wie werden die Daten verarbeitet?

…ermöglicht akkurate Suchenund Trends über sämtliche

Daten

Automatisierte Ereignisabgrenzung

Automatisierte Erkennung der Zeitstempel

Folien Chart 20


Überblick

...ermöglicht Bollean Suchen auf jedem Ausdruck im Originalereignis

Segmentierung & und genaue Indexierungjedes Ausdrucks

Wie werden die Daten verarbeitet?

Folien Chart 21


Überblick

Wie werden die Daten verarbeitet?LogEvent

Splunk erkennt automatisch Felder und ordnet den Feldern die Werte zu.

Auf die Felder können via Suche, Funktionen angewendet werden, die die Daten auswerten und grafisch darstellen

Folien Chart 22


Überblick

Wie gelangen die Daten in Splunk?Agent and Agent-less Approach for Flexibility.

22

perfperf

shellshellcodecode

Mounted File Systems\\hostname\mount

syslogTCP/UDP

WMIEvent Logs Performance

Active Directory

y

syslog compatible hostsand network devices

Unix, Linux and Windows hosts

Windows hosts Custom apps and scripted API connections

Local File Monitoringlog filesconfig files

dumps and trace files

Windows InputsEvent Logs

performance countersregistry monitoring

Active Directory monitoring

virtualhost

Windows hosts

Scripted Inputsshell scripts custom parsers batch loading

Agent‐less Data Input Splunk Forwarder

Folien Chart 23


Überblick

Indexing/SearchServer

Splunk Forwarders

Universal Forwarder sendet Datenvon entfernten Systemen zum Splunk‐IndexerVerbraucht minimale Systemressourcen(1%‐2%)Bietet Caching, Verschlüsselung, Loadbalancing und Replizierung der Datenan

Folien Chart 24


Überblick

EineSplunk Installation kanneineoderalleFunktionenabbilden…

Indexing and Search Services (Indexer)

Local Management (Deployment Server)

Data Collection and Forwarding (Forwarder)

Bestandteile der Software

Search and Reporting (Search Head)

Folien Chart 25


Überblick

Lastverteilte Suchen und Indexierung für gewaltige Skalierungen

Forwarder mit Auto Load

Balancing

Search Head

Horizontale Skalierbarkeit

Indexers

Folien Chart 26


Überblick

High Availability

Folien Chart 27


Überblick

Lizenzierung

• Lizensiert wird das tägliche Logvolumen das Splunk indizieren muss

• Staffelung von mindestens 500 MB bis zu X Terabyte pro Tag

• Größter Kunde indiziert aktuell >100 Terabyte pro Tag

• Lizenzverletzung führt NICHT zum Abschalten des Systems

• Suchfunktion wird eingeschränkt

Folien Chart 28


Überblick

Freie Enterprise Test‐Version Indexed 500MB/Tag• Testlizenz läuft nach 60 Tagen ab• Trial Lizenzen über 500MB/Tag können über Partner

angefordert werden• Wird zur freien Lizenz

Folgende Features sind in der freien Lizenz nicht enthalten• User‐Rollen und Authentisierung mehrer User• Auslagern der Suchfunktion auf dediziertes System

(distributed search)• Weiterleiten von Daten zu 3rd Party Systemen• Konfigurationsverwaltung (deployment server)• Zeitgesteuerte Suchen und generelle Alarmierungen

Weitere Lizenzen• Enterprise, Forwarder, Trial, kostenpflichtige APPS (über 350

kostenlose Apps in Lizenz enthalten)

Lizenzierung

Folien Chart 29


Überblick

Problem Investigation

Zentralisiertes Lizenz-Management

Folien Chart 30


Überblick

“How to get started”

Damit Splunk auch Spaß macht….

• Log‐Events sind zeitabhängig ‐> dies setzt eine einheitlicheNTP / Zeit‐Infrastruktur voraus

• Planen Sie ausführlich• Welches Datenaufkommen habe ich am Tag?• Wie lange möchte ich die Daten vorhalten? 1 Tag? 1 Jahr?• Wie viele User arbeiten gleichzeitig mit Splunk?

Folien Chart 31


Überblick

Referenz Server

• Quad-core/6-core machines at ~2.5 GHz• 16 GB RAM• For indexers: 4x10K local SAS drives inRAID 10 (1200+ IOPs) <- most important• Variations in type of server and level of usage govern number ofmachines needed

Wäre ausgelegt für:100 GB Indexing pro Tag (Indexer)oder10 bis 12 gleichzeitigen Suchen (Search head)

Folien Chart 32


Überblick

Wie viel Speicherplatz wird benötigt?

Das hängt ab von:

•Wie lange möchte ich meine Daten vorhalten?•Wie groß ist mein tägliches Datenvolumen?•Splunk komprimiert die eingehenden Daten ca. um 50%

Beispiel:Ein Kunde möchte seine Firewalldaten (4 GB/Tag) ein Jahr lang vorhalten

Benötigter Storage* = 4GB * 0,5 * 365d = 730 GB

*ohne Summary-Indexing

Folien Chart 33


Überblick

“Add Knowledge” Unterstützung Dank App-Technologie

Apps…• Helfen dabei die Daten zu “normalisieren” (Bildung von Key

Value Pairs)• Stellen vordefinierte Suchen, Dashboards, Reports, etc. bereit

• Bilden Schnittstellen zu anderen Lösungen wie z.B. Hadoop

• Sind frei und zum größten Teil kostenlos* verfügbar unterhttp://splunk‐base.splunk.com/apps

*außer Splunk for Enterprise Security, PCI Compliance und VMWare

Folien Chart 34


Überblick

Eigene Apps von SplunkSplunk for Enterprise Security wurde als beste SIEM App ausgezeichnet.

splunkbase.com

QUICK WIN

Folien Chart 35


Überblick

Über 320 Apps unterhttp://splunk-base.splunk.com

Folien Chart 36


Überblick

Folien Chart 37


Überblick

LIVE DEMO

Folien Chart 38


Überblick

Auszug aus unseren Case Studies

Folien Chart 39


Überblick

case studies by magellan – Splunk im VoIP Umfeld

VersicherungsbrancheUmgebung: Heterogene VoIP Infrastruktur auf Asteriskbasis>2000 Endgeräte, diverse Hersteller für Gatekeeper, Mediagateways etc.

Anforderung:• Call-Nachverfolgung über die gesamte Topologie• Vereinheitlichen der Rufnummern• Darstellung des Calls nach Suche durch From oder To-Rufnummern• Erkennung von Fehlverhalten wie z.B. Verbindungsabbrüchen

Folien Chart 40


Überblick

case studies by magellan – Splunk im Datacenter Mailhosting

IT-Dienstleister (magellan)Umgebung: Redundante Data-Center-Infrastruktur für HostingservicesMailhosting-Infrastruktur mit Fortinet Mail-Security, Zertifikon und MS Exchange, Handling von über 4 Mio. Mails pro Tag

Anforderung:• Nachverfolgung des Mailflows via From, To, Betreff etc. • Security-Analyse des Spam- und AV-Aufkommens• Kapazitätsplanung• Kundenabrechnung

Folien Chart 41


Überblick

Internationales HandelsunternehmenUmgebung: Mehrere Datacenter mit virt. & phys. Servern, Diverse Betriebssysteme und Citrix Xenapp

Anforderung:• Inventarisierung aller aktiven Server „online“ und in Historie • Überwachung der Citrix-Umgebung, z.B. Anzahl Server, Anzahl

Sessions, Errors etc.• Inventarisierung des AD, z.B. Anzahl Benutzer, Objekte und deren

Status• VMWare und Logging, Monitoring

case studies by magellan – Splunk im Datacenter

Folien Chart 42


Überblick

case studies by magellan – Splunk im Firewall-Umfeld

Führendes MedienunternehmenUmgebung: Weltweites Netzwerk zum Austausch von Nachrichten, Videos, etc.Stellt Kunden Daten bereit, Absicherung des Netzwerks mittels FortinetFirewalls

Anforderung:• Überwachung des Informationsflusses • Überwachung und Abrechnung der Bandbreitennutzung innerhalb des

Netzwerks• Erkennung von Sicherheitsvorfällen wie Botnetz-Kommunikation

Tätigkeiten:Erstellen von Dashboards zur Berechnung des Datenflusses, Korrelation der Firewall-Logs mit externen Botnetz-Datenbanken

Folien Chart 43


Überblick

Neuerungen in Splunk Enterprise Version 6

Folien Chart 44


Überblick

Splunk 6

Engine Platform1 2 3

Tool

4 4.1 4.2 4.35

“Google for the datacenter”

“Engine for machine‐generated data”

“Platform for operational intelligence”

Folien Chart 45


Überblick

Zielsetzungen für Splunk Enterprise 5

Verbesserung und Beschleunigung der Dashboards und des Reportings

Hochverfügbarkeit mit Standard-Hardware

Anwender Plattform, API, SDK, Big Data Integration

Folien Chart 46


Überblick

Was nunWo kann man Splunk nochverbessern?

Folien Chart 47


Überblick

Drive Value Across the Enterprise

Einfachere der Verwaltung der

Splunk Enterprise Umgebgung

Schnelle und einfachere Analyseund Darstellung von Maschinendaten für

ein größeresUserspektrum

“Operational Intelligence” fürJedermann

Schnellere und einfachere

Entwicklungeigener Apps

Folien Chart 48


Überblick

Powerful Analytics anyone can use

Powerful Analytics anyone can use

Up to 1000x faster over Splunk 5

Up to 1000x faster over Splunk 5

Folien Chart 49


Überblick

Die drei Key‐Features in Splunk 6

Ein neues grafisches Tool ermöglicht das Erstellen von Reports ohne die komplexe Suchsprache

Vereinfacht das Verknüpfen unterschiedlicherMaschinendaten, stellt die Basis für Pivot bereit.

Neuer Datenspeicher, mit vorextrahiertenWerten, der die Suchen 1000x beschleunigt…

Pivot

Data Model

AnalyticsStore

[10/11/121

18:57:04 UTC] 000000b0 bo ChromeChrome///0123

["http://sho p.gourmet‐shop. Com/www.

Chrome/258

[ooglebot.com bot.html)"424 0b0 Chrome//00 Chrome5.0.37

5

Folien Chart 50


Überblick

Easy‐to‐use Analytics Interface• Pivot

• Das Drag‐and‐Drop Interface ermöglichteinem “normalen” User das Auswerten von Maschinendaten

• Ermöglicht komplexeReports ohne die Splunk Suchsprache

• One‐Click‐Visualisierungfür jeden Chart‐Typ, dynamische Updates fürneue Felder

POWERFULANALYTICS

Folien Chart 51


Überblick

Define Relationships in Machine Data• Data Model• Beschreibt für Pivot wie der

Zugriff und die Darstellungauf die Maschinendatenerfolgt

• Beschreibt die Zusammenhänge zwischenunterschiedlichen Daten

• Regelt auf welche Daten mitPivot zugegriffen werdendarf

• Schafft die Verbindungzwischen structured und unstructured Data

POWERFULANALYTICS

Folien Chart 52


Überblick

Deliver Analytics up to 1000x Faster

• Analytics Store• Eigener Datenspeicher, der

zusammengefassteErgebnisse für ein Data Model aus einem normalenSplunk Index zieht

• Ist wie ein Lexikonaufgebaut, speichert keineRAW Daten sondern an welcher Stelle im Index das Feld X auftritt

• Beschleunigt damit das Data Model

POWERFULANALYTICS

Folien Chart 53


Überblick

• Maps• Integrierte GEO‐IP Map die Suchergebnisse in einer Karte darstellt• Es wird keine online Verbindung für die Kartendarstellung benötigt• Arbeitet unabhänging vom Google Maps App• Lässt sich besser intergrieren

Zusätzliche Analyse‐Features in Splunk 6

Folien Chart 54


Überblick

• Predictive Analysis• Neuer Splunk Suchbefehl “predict”• Wertet historische Daten aus und bildet eine Baseline, um

zukünftige Kapazitäten zu berechnen• z.B. Berechnung Hardwareanforderungen für Vmware• Root Cause Analyse um abnormale Pattern zu erkennen (IT

Sicherheit)• Erweiterung des Monitorings wichtiger

System um Ausfälle zu erkennenbevor sie passieren

Zusätzliche Analyse‐Features in Splunk 6

Folien Chart 55


Überblick

Weitere Features in Splunk 6

Optimiertes User‐Interface für besserenZugriff auf Apss und

Reports

Einführung einergrafischen Oberflächezur Administration größerer Splunk‐Umgebungen

Einfachere Integration von Splunk in eigeneSoftware mittels

Standardprogrammier‐sprachen

SIMPLIFIED MANAGEMENT

INTUITIVE USER EXPERIENCE

RICH DEVELOPER ENVIRONMENT

Folien Chart 56


Überblick

Increased User ProductivityHome Screen• Neues Menüsystem fürschnellere und einfachereNavigation

• Direkte Integration der Apps via Items

• Ermöglicht dem einzelnen User direkten Zugriff auf die für ihnrelevanten Daten

(durch “Customizing”)


Folien Chart 57


Überblick

Redesigned Search and Reporting

Enhanced Search Experience• Erstellen und Speichern von Suchen und Reports auseinem Interface ohnezwischen Menüpunkten zuwechseln

• Beinhaltet eine vereinfachteFelderkennung

• Kompatibel zu Apps ausSplunk 5


Folien Chart 58


Überblick

Centralized Cluster ManagementSimplified Cluster Management

• Überwacht Splunk’s HA Diensteund stellt deren Status in einemDashboard dar

• Balanced Daten und “Search workload” wenn eine Node ausfällt

• Stellt automatische App‐Verteilung auf alle Indexer bereit


Folien Chart 59


Überblick

Easier Deployment, Configuration

Forwarder Management• Neue GUI zum Ausrollen und Überwachen von Konfigurationsdateien

• Status‐Tracking von Rollouts neuer Konfigurationsdatien

• Kein editieren der Forwarder‐Konfiguration in Textdateienmehr

• Konfiguration der Splunk Forwarder via GUI


Folien Chart 60


Überblick

Powerful Dashboard Customization

Enhanced Dashboard Editor

• Ermöglicht das Anpassenund erstellen interaktiverDashboards ohne die Nutzung von Adv. XML

• Ermöglicht einfaches“custom Styling” der Dashboards , z.B. einfügenvon Firmenlogos etc.


Folien Chart 61


Überblick

Standards‐based DevelopmentWeb Framework• Ermöglicht schnelles und effizientes Erstellen von Apps mit Hilfe bekannter Webtechnologien

• Entwickler können Apps in SimpleXML, JavaScript, Django oder in Kombinationerstellen und integrieren


REST API

Build Splunk Apps Extend and Integrate Splunk

Simple XML

JavaScript

Django

Web Framework

JavaJavaScriptPython

RubyC#PHP

Data Models

Search Extensibility

Modular Inputs

SDKs

Folien Chart 62


Überblick

VereinfachteNutzung von

Splunk für “Non IT User”

GUI zurVerwaltung derSplunk‐Instanzen

Verbesserung der Useability




NeuesFramework zurApp Entwicklungmit Standard‐Web‐Sprachen

POWERFULANALYTICS

Zusammengefasst…

Folien Chart 63


Überblick

FIN

Documents

Globaler Überblick€¦ · Folien Chart 22 © 2013 | magellan netzwerke GmbH Überblick Wie gelangen die Daten in Splunk? Agent and Agent-less Approach for Flexibility. 22 perf