BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas...

BIG GEOSPATIAL DATA

STEFAN VIENKEN, ESRI DEUTSCHLAND

THOMAS PASCHKE, ESRI DEUTSCHLAND

THILO STECKEL, CLAAS E-SYSTEMS

28.02.2018, B ITKOM BIG DATA SUMMIT

• Der räumliche Aspekt in Big Data und dem Internet der Dinge

• Technischer und funktionaler Überblick

• Praxisbeispiel: CLAAS

• Ausblick

AGENDA: BIG GEOSPATIAL DATA

EINFÜHRUNG: BIG GEOSPATIAL DATA

Real-Time & Big DataMassenhaft dynamische Daten (Velocity, Volume, Variaty)

Generiert von Sensoren

in hoher Frequenz

Verschiedenste

Datenquellen

Riesiges Datenvolumen

Gemeinsamkeit: Raumbezug!

RIESIGE DATENMENGEN

Verfügbare Datenvolumen werden immer größer

80% aller Daten verfügen über einen Ortsbezug

Der Anteil wird weiter steigen:

• Mobile Devices

• Datenströme mit Ortsbezug

• Ortsbezogene Feeds etc.

• Auch: unstrukturierte Daten

Datenanalyse ohne Berücksichtigung des Ortsbezugs zeichnet nur ein unvollständiges Bild

…wie „Autofahren mit totem Winkel“

Mo

bile

De

vic

es

Ge

o-T

ag

ge

d D

ata

Str

ea

ms

Lo

ca

tio

n A

wa

re F

ee

ds

GEOANALYTICS: FROM NOISE TO INTELLIGENCE

Bekommen Sie Einblicke in raum-zeitliche Muster

PUNKTE AUF FLÄCHEN ODER IN RAUM/ZEIT-WÜRFEL

Beispiel: Aggregation in Raum und Zeit

USE CASE: HAFEN

Aufgabe: Spüre potentielle Gefahrenpunkte auf, an denen Schiffe auf Grund laufen könnten!

• Schiffsbewegungen aufzeichnen

• Tiefgang aufzeichnen (d)

• Verschneidung mit Tiefe des Hafenbeckens (D)

• Visualisierung des Delta ()

• Wo klein: Ausbaggern!

ERGEBNIS: HELLE PUNKTE = GEFAHR, AUF GRUND ZU LAUFEN

Legende:

USE CASE: NEW YORK CITY ZUR RUSH HOUR

Aufgabe: Aufspüren von Hot Spots als Planungsgrundlage neuer Busrouten

• 170 Millionen Taxifahrten von 2013(Open Data)

• Mit Zeitstempel (Abfahrt / Ankunft)

• Visualisierung direkt aus Hadoop

FILTER + HOTSPOT

„Ausreißer“ als Zielort:World Financial Center Terminal

Korrespondierende Startpunkte Eine neue Haltestelle wird im West Village eingerichtet

BEISPIEL: DAS SMARTPHONE ALS SENSOR

• Pay how you drive

• Kaskoversicherung nach Fahrverhalten

• Smart Marketing

• Wer hat sich wann wo wie lang im Laden aufgehalten?

• Angebote per Push

• Telekommunikationsüberwachung (TKÜ)

• Tracking

• # SMS / WhatsApp-Posts

• uvm.

Durchschnittl. Niederschlag

Durchschnittstemperatur

Höhenmodell

Bodenbedeckung

Solarpotential in 30m-Auflösung

Raster Analytics:

9 Min

suitability model

BIG RASTER DATA: POTENTIAL VON PHOTOVOLTAIK-ANLAGEN

MAYA-STÄDTE ENTDECKEN: LIDAR-TECHNOLOGIE

Bildquelle: https://news.nationalgeographic.com/2018/02/maya-laser-lidar-guatemala-pacunam/

GEOINFORMATIONEN AUS UNSTRUKTURIERTEN DATENEXTRAHIEREN

Quelle: http://www.clearterra.com/locatext-software/

KONFORTABLER ZUGRIFF: ÜBER DESKTOP- ODER WEB-APPLIKATIONEN

FRONTEND: DASHBOARD IN DER GEO-PLATTFORM

Explorative, visuelle räumliche Datenanalyse

Einfach, intuitiv, dynamisch, ad-hoc

Zugriff auf unterschiedlichste Datenquellen

Verknüpfte Charts und KartenVereint räumliche und tabellarische Datenanalyse

TECHNISCHER UND FUNKTIONALER ÜBERBLICK

BIG GEOSPATIAL DATA PROZESSIEUNGSPLATTFORMKOMPONENTEN ZUR STREAM- & BATCH PROZESSIERUNG SOWIE SPEICHERUNG

Plattform UI &

Anwendungen

Stream

Prozessierung

Verteilter

Datenspeicher

Big DataIoT

Batch

Prozessierung

BIG GEOSPATIAL DATA PROZESSIERUNGSPLATTFORMKOMPONENTEN ZUR STREAM- & BATCH PROZESSIERUNG SOWIE SPEICHERUNG

Plattform UI &

Anwendungen

Stream

Prozessierung

Verteilter

Datenspeicher

Big DataIoT

Batch

Prozessierung

• Integration verschiedener Datenquellen

• Konnektoren für verschiedene Datenformate

• Einheitliches, eventbasiertes Format

• Skalierbar und Robust

• Verteilte Architektur

• Leistungsfähige Prozessierung & Filterung

• Räumliche Analysen gegen Geometrien im Arbeitsspeicher

• Verteilung und Visualisierung der Daten

• Datenbank oder externe Anwendungen

• Visualisierung mit möglichst geringer Verzögerung

Inp

uts

Ou

tpu

ts

Analyse Service

GeoEvent ServerBeispiel: Konvoy Trennung

BIG GEOSPATIAL DATA PROZESSIERUNGSPLATTFORM

KOMPONENTEN ZUR STREAM- & BATCH PROZESSIERUNG SOWIE SPEICHERUNG

Plattform UI &

Anwendungen

Stream

Prozessierung

Verteilter

Datenspeicher

Big DataIoT

Batch

Prozessierung

• Raumzeitliche Analyse

• Analysetools berücksichtigen beide Dimensionen

• Aggregation & Muster Erkennung

• Verteilt auf mehrere Server

• Framework für paralleles Prozessieren

• Anbindung externer Datenquellen

• Analyse auf existierenden Enterprise Daten

• Programmatische Steuerung über API

• Skripte für Batch Analyse Prozesse

• Wiederholende Tasks

BATCH PROZESSIERUNGDATEN ZUSAMMENFASSEN

• Punkte aggregierenAggregations Methoden

Räumlich & zeitlich, in Zellen:

Räumlich & zeitlich, in Polygone:

Räumlich, in Polygone:

Räumlich, in Zellen:

BATCH PROZESSIERUNGDATEN ZUSAMMENFASSEN

• Features verbinden

• Verbindet Features von zwei Layern miteinander auf Basis von räumlichen, zeitlichen und attributiven

Zusammenhängen.

Verteilter

Datenspeicher

• Verteilter Datenspeicher

• Replizierte Datenhaltung

• Nicht-relationale

Datenbank

• Bessere Performance

• Räumliche, zeitliche &

attributive Indizierung

• Schnelle Abfrage

• On-the-fly Aggregation

• Definierbarer Wechsel zwischen

aggregierter und individueller

Feature Ansicht

DATENSPEICHERUNGOPTIMIERT ZUM SPEICHERN UND ABFRAGEN GROßER, RÄUMLICHER DATENMEN GEN

BIG GEOSPATIAL DATA PROZESSIERUNGSPLATTFORMKOMPONENTEN ZUR STREAM - & BATCH PROZESSIERUNG SOWIE SPEICHERUNG

• Integration von Echtzeit Daten

aus verschiedenen Quellen

• Stream Analyse von Events

während des Empfangens

• Speicherung von Events in einem verteilten

Datenspeicher für große Datenmengen

• Batch Analyse der gespeicherten Daten

• Visualisierung von Echtzeit-

und gespeicherten Daten

• Aggregiert

• Einzelne Features

• Benachrichtigungen beim Eintreten

definierter Ereignisse

Plattform UI &

Anwendungen

Stream

Prozessierung

Visualisieren

Verteilter

Datenspeicher

BenachrichtungenServices

Speichern

Empfangen

Analysieren

Batch

Prozessierung

Analysieren

Web DeviceDesktop

USE CASE: CLAAS

ANWENDUNGSFALLEINFÜHRUNG – RAUMBEZUG IN DER LANDWIRTSCHAFT

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 1A

Schritt 1A:

Preprocessing

Input Datenpunkte:

GPS-Position + Zeitstempel

Sensordaten

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 1A

Schritt 1A:

Preprocessing

Input Datenpunkte:

GPS-Position + Zeitstempel

Sensordaten

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 1B

Schritt 1B:

Preprocessing

Filtern:

Nicht relevante Punkte entfernen

Straßenfahrten, Wendemanöver,

Nullwerte

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 2

Schritt 2:

Rekonstruktion der Fahrspuren

“Reconstruct Tracks” Tool

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 3

Schritt 3:

Gruppieren

Fahrspuren nach Feldeinheiten gruppieren

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 3

Schritt 3:

Gruppieren

Fahrspuren nach Feldeinheiten gruppieren

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 4

Schritt 4:

Grenzlinien erzeugen

Erzeugung von Polygonen durch

Erweiterung der Fahrspuren um

maschinenspezifische Arbeitsbreite

AUSBLICK

Ermöglicht die on-the-fly Aggregation auf Basis von eigenen Polygonen

PROJEKT POLYEIGENER POLYGON INDEX FÜR DEN DATENSPEICHER

polygonstate

polygoncounty

polygon aggregation (based on a county polygon index)polygon aggregation (based on a state polygon index)

BIG GEOSPATIOAL DATA PROZESSIERUNGSPLATTFORMKOMPONENTEN ZUR STREAM- & BATCH PROZESSIERUNG SOWIE SPEICHERUNG

Plattform UI &

Anwendungen

Stream

Prozessierung

Verteilter

Datenspeicher

Big DataIoT

Batch

Prozessierung

6 75 9 1082 3 4

1

VORSCHAUNEUE INFRASTRUKTUR FÜR BIG DATA PLATTFORM

Plattform UI &

Anwendungen

storage

visualization

Stream

ProzessierungBatch

Prozessierung

Verteilter

Speicher

Neue

Skalierbare

IoT

Lösung?

ARCGIS FOR IOTSKALIERT DURCH MICROSERVICES

Plattform UI &

Anwendungen

storage

visualization

ArcGIS

for IoT

project Trinitypowered by

ARCGIS FOR IOTBRINGING GEOSPATIOAN INSIGHTS TO YOUR

on Amazon

on Azure

other

DesktopWeb Device

Internet of your Things

sources hubs real-time analytics spatiotemporal archive batch analytics

massive real-time & big data analysis

ArcGIS for IoT

880 cores, 3TB memory, 50TB storage

Apps

ARCGIS FOR IOT NEUE INFRASTRUKTUR FÜR BIG DATA PLATTFORM

Sensoren

DesktopWeb Device

massive real-time & big data analysis

spatiotemporal

archive

real-time

batch

sources

hubs

ArcGIS for IoT

• Verwaltete “Cloud”

Infrastruktur

• Verteilte Microservices

• Real-Time und Big Data

Analysen in neuen

Dimensionen möglich:

• Visualisierung, Wiedergabe & Exploration von großen Datenmengen

• Schnelle (Nutzung von in Memory Cache), geplante (sich wiederholende) Analysen auf den gespeicherten Events

• Ziel: Verfügbar als SaaS in

AGOL (in ~ 1 - 2 Jahren)

Esri Deutschland GmbH Kranzberg

Niederlassung Hamburg

Niederlassung Leipzig

Niederlassung Berlin

Niederlassung Hannover

Niederlassung Münster

Niederlassung Bonn

Niederlassung Köln

Esri Schweiz AG Zürich

Niederlassung Nyon

An 10 Standorten vertreiben die Esri Deutschland GmbH und die Esri Schweiz AG als Distributoren die

Produkte von Esri Inc. und unterstützen Anwender umfassend: von Consulting und Implementierung bis

hin zu Schulungen und Support – seit 1979 mit dem ganzen Erfahrungsreichtum von 300 Mitarbeitern in

Deutschland und der Schweiz.

ESRI IN DEUTSCHLAND UND DER SCHWEIZ

DAS UNTERNEHMEN