44
BIG GEOSPATIAL DATA STEFAN VIENKEN, ESRI DEUTSCHLAND THOMAS PASCHKE, ESRI DEUTSCHLAND THILO STECKEL, CLAAS E-SYSTEMS 28.02.2018, BITKOM BIG DATA SUMMIT

BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

Embed Size (px)

Citation preview

Page 1: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

BIG GEOSPATIAL DATA

STEFAN VIENKEN, ESRI DEUTSCHLAND

THOMAS PASCHKE, ESRI DEUTSCHLAND

THILO STECKEL, CLAAS E-SYSTEMS

28.02.2018, B ITKOM BIG DATA SUMMIT

Page 2: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

• Der räumliche Aspekt in Big Data und dem Internet der Dinge

• Technischer und funktionaler Überblick

• Praxisbeispiel: CLAAS

• Ausblick

AGENDA: BIG GEOSPATIAL DATA

Page 3: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

EINFÜHRUNG: BIG GEOSPATIAL DATA

Page 4: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

Real-Time & Big DataMassenhaft dynamische Daten (Velocity, Volume, Variaty)

Generiert von Sensoren

in hoher Frequenz

Verschiedenste

Datenquellen

Riesiges Datenvolumen

Gemeinsamkeit: Raumbezug!

Page 5: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

RIESIGE DATENMENGEN

Verfügbare Datenvolumen werden immer größer

80% aller Daten verfügen über einen Ortsbezug

Der Anteil wird weiter steigen:

• Mobile Devices

• Datenströme mit Ortsbezug

• Ortsbezogene Feeds etc.

• Auch: unstrukturierte Daten

Datenanalyse ohne Berücksichtigung des Ortsbezugs zeichnet nur ein unvollständiges Bild

…wie „Autofahren mit totem Winkel“

Mo

bile

De

vic

es

Ge

o-T

ag

ge

d D

ata

Str

ea

ms

Lo

ca

tio

n A

wa

re F

ee

ds

Page 6: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

GEOANALYTICS: FROM NOISE TO INTELLIGENCE

Bekommen Sie Einblicke in raum-zeitliche Muster

Page 7: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

PUNKTE AUF FLÄCHEN ODER IN RAUM/ZEIT-WÜRFEL

Beispiel: Aggregation in Raum und Zeit

Page 8: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

USE CASE: HAFEN

Aufgabe: Spüre potentielle Gefahrenpunkte auf, an denen Schiffe auf Grund laufen könnten!

• Schiffsbewegungen aufzeichnen

• Tiefgang aufzeichnen (d)

• Verschneidung mit Tiefe des Hafenbeckens (D)

• Visualisierung des Delta ()

• Wo klein: Ausbaggern!

Page 9: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

ERGEBNIS: HELLE PUNKTE = GEFAHR, AUF GRUND ZU LAUFEN

Legende:

Page 10: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

USE CASE: NEW YORK CITY ZUR RUSH HOUR

Aufgabe: Aufspüren von Hot Spots als Planungsgrundlage neuer Busrouten

• 170 Millionen Taxifahrten von 2013(Open Data)

• Mit Zeitstempel (Abfahrt / Ankunft)

• Visualisierung direkt aus Hadoop

Page 11: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

FILTER + HOTSPOT

„Ausreißer“ als Zielort:World Financial Center Terminal

Korrespondierende Startpunkte Eine neue Haltestelle wird im West Village eingerichtet

Page 12: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

BEISPIEL: DAS SMARTPHONE ALS SENSOR

• Pay how you drive

• Kaskoversicherung nach Fahrverhalten

• Smart Marketing

• Wer hat sich wann wo wie lang im Laden aufgehalten?

• Angebote per Push

• Telekommunikationsüberwachung (TKÜ)

• Tracking

• # SMS / WhatsApp-Posts

• uvm.

Page 13: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

Durchschnittl. Niederschlag

Durchschnittstemperatur

Höhenmodell

Bodenbedeckung

Solarpotential in 30m-Auflösung

Raster Analytics:

9 Min

suitability model

BIG RASTER DATA: POTENTIAL VON PHOTOVOLTAIK-ANLAGEN

Page 14: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

MAYA-STÄDTE ENTDECKEN: LIDAR-TECHNOLOGIE

Bildquelle: https://news.nationalgeographic.com/2018/02/maya-laser-lidar-guatemala-pacunam/

Page 15: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

GEOINFORMATIONEN AUS UNSTRUKTURIERTEN DATENEXTRAHIEREN

Quelle: http://www.clearterra.com/locatext-software/

Page 16: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

KONFORTABLER ZUGRIFF: ÜBER DESKTOP- ODER WEB-APPLIKATIONEN

Page 17: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

FRONTEND: DASHBOARD IN DER GEO-PLATTFORM

Explorative, visuelle räumliche Datenanalyse

Einfach, intuitiv, dynamisch, ad-hoc

Zugriff auf unterschiedlichste Datenquellen

Verknüpfte Charts und KartenVereint räumliche und tabellarische Datenanalyse

Page 18: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

TECHNISCHER UND FUNKTIONALER ÜBERBLICK

Page 19: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

BIG GEOSPATIAL DATA PROZESSIEUNGSPLATTFORMKOMPONENTEN ZUR STREAM- & BATCH PROZESSIERUNG SOWIE SPEICHERUNG

Plattform UI &

Anwendungen

Stream

Prozessierung

Verteilter

Datenspeicher

Big DataIoT

Batch

Prozessierung

Page 20: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

BIG GEOSPATIAL DATA PROZESSIERUNGSPLATTFORMKOMPONENTEN ZUR STREAM- & BATCH PROZESSIERUNG SOWIE SPEICHERUNG

Plattform UI &

Anwendungen

Stream

Prozessierung

Verteilter

Datenspeicher

Big DataIoT

Batch

Prozessierung

• Integration verschiedener Datenquellen

• Konnektoren für verschiedene Datenformate

• Einheitliches, eventbasiertes Format

• Skalierbar und Robust

• Verteilte Architektur

• Leistungsfähige Prozessierung & Filterung

• Räumliche Analysen gegen Geometrien im Arbeitsspeicher

• Verteilung und Visualisierung der Daten

• Datenbank oder externe Anwendungen

• Visualisierung mit möglichst geringer Verzögerung

Inp

uts

Ou

tpu

ts

Analyse Service

Page 21: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

GeoEvent ServerBeispiel: Konvoy Trennung

Page 22: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

BIG GEOSPATIAL DATA PROZESSIERUNGSPLATTFORM

KOMPONENTEN ZUR STREAM- & BATCH PROZESSIERUNG SOWIE SPEICHERUNG

Plattform UI &

Anwendungen

Stream

Prozessierung

Verteilter

Datenspeicher

Big DataIoT

Batch

Prozessierung

• Raumzeitliche Analyse

• Analysetools berücksichtigen beide Dimensionen

• Aggregation & Muster Erkennung

• Verteilt auf mehrere Server

• Framework für paralleles Prozessieren

• Anbindung externer Datenquellen

• Analyse auf existierenden Enterprise Daten

• Programmatische Steuerung über API

• Skripte für Batch Analyse Prozesse

• Wiederholende Tasks

Page 23: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

BATCH PROZESSIERUNGDATEN ZUSAMMENFASSEN

• Punkte aggregierenAggregations Methoden

Räumlich & zeitlich, in Zellen:

Räumlich & zeitlich, in Polygone:

Räumlich, in Polygone:

Räumlich, in Zellen:

Page 24: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

BATCH PROZESSIERUNGDATEN ZUSAMMENFASSEN

• Features verbinden

• Verbindet Features von zwei Layern miteinander auf Basis von räumlichen, zeitlichen und attributiven

Zusammenhängen.

Page 25: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

Verteilter

Datenspeicher

• Verteilter Datenspeicher

• Replizierte Datenhaltung

• Nicht-relationale

Datenbank

• Bessere Performance

• Räumliche, zeitliche &

attributive Indizierung

• Schnelle Abfrage

• On-the-fly Aggregation

• Definierbarer Wechsel zwischen

aggregierter und individueller

Feature Ansicht

DATENSPEICHERUNGOPTIMIERT ZUM SPEICHERN UND ABFRAGEN GROßER, RÄUMLICHER DATENMEN GEN

Page 26: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

BIG GEOSPATIAL DATA PROZESSIERUNGSPLATTFORMKOMPONENTEN ZUR STREAM - & BATCH PROZESSIERUNG SOWIE SPEICHERUNG

• Integration von Echtzeit Daten

aus verschiedenen Quellen

• Stream Analyse von Events

während des Empfangens

• Speicherung von Events in einem verteilten

Datenspeicher für große Datenmengen

• Batch Analyse der gespeicherten Daten

• Visualisierung von Echtzeit-

und gespeicherten Daten

• Aggregiert

• Einzelne Features

• Benachrichtigungen beim Eintreten

definierter Ereignisse

Plattform UI &

Anwendungen

Stream

Prozessierung

Visualisieren

Verteilter

Datenspeicher

BenachrichtungenServices

Speichern

Empfangen

Analysieren

Batch

Prozessierung

Analysieren

Web DeviceDesktop

Page 27: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

USE CASE: CLAAS

Page 28: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

ANWENDUNGSFALLEINFÜHRUNG – RAUMBEZUG IN DER LANDWIRTSCHAFT

Page 29: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 1A

Schritt 1A:

Preprocessing

Input Datenpunkte:

GPS-Position + Zeitstempel

Sensordaten

Page 30: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 1A

Schritt 1A:

Preprocessing

Input Datenpunkte:

GPS-Position + Zeitstempel

Sensordaten

Page 31: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 1B

Schritt 1B:

Preprocessing

Filtern:

Nicht relevante Punkte entfernen

Straßenfahrten, Wendemanöver,

Nullwerte

Page 32: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 2

Schritt 2:

Rekonstruktion der Fahrspuren

“Reconstruct Tracks” Tool

Page 33: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 3

Schritt 3:

Gruppieren

Fahrspuren nach Feldeinheiten gruppieren

Page 34: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 3

Schritt 3:

Gruppieren

Fahrspuren nach Feldeinheiten gruppieren

Page 35: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 4

Schritt 4:

Grenzlinien erzeugen

Erzeugung von Polygonen durch

Erweiterung der Fahrspuren um

maschinenspezifische Arbeitsbreite

Page 36: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

AUSBLICK

Page 37: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

Ermöglicht die on-the-fly Aggregation auf Basis von eigenen Polygonen

PROJEKT POLYEIGENER POLYGON INDEX FÜR DEN DATENSPEICHER

polygonstate

polygoncounty

polygon aggregation (based on a county polygon index)polygon aggregation (based on a state polygon index)

Page 38: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

BIG GEOSPATIOAL DATA PROZESSIERUNGSPLATTFORMKOMPONENTEN ZUR STREAM- & BATCH PROZESSIERUNG SOWIE SPEICHERUNG

Plattform UI &

Anwendungen

Stream

Prozessierung

Verteilter

Datenspeicher

Big DataIoT

Batch

Prozessierung

6 75 9 1082 3 4

1

Page 39: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

VORSCHAUNEUE INFRASTRUKTUR FÜR BIG DATA PLATTFORM

Plattform UI &

Anwendungen

storage

visualization

Stream

ProzessierungBatch

Prozessierung

Verteilter

Speicher

Neue

Skalierbare

IoT

Lösung?

Page 40: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

ARCGIS FOR IOTSKALIERT DURCH MICROSERVICES

Plattform UI &

Anwendungen

storage

visualization

ArcGIS

for IoT

project Trinitypowered by

Page 41: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

ARCGIS FOR IOTBRINGING GEOSPATIOAN INSIGHTS TO YOUR

on Amazon

on Azure

other

DesktopWeb Device

Internet of your Things

sources hubs real-time analytics spatiotemporal archive batch analytics

massive real-time & big data analysis

ArcGIS for IoT

880 cores, 3TB memory, 50TB storage

Apps

Page 42: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

ARCGIS FOR IOT NEUE INFRASTRUKTUR FÜR BIG DATA PLATTFORM

Sensoren

DesktopWeb Device

massive real-time & big data analysis

spatiotemporal

archive

real-time

batch

sources

hubs

ArcGIS for IoT

• Verwaltete “Cloud”

Infrastruktur

• Verteilte Microservices

• Real-Time und Big Data

Analysen in neuen

Dimensionen möglich:

• Visualisierung, Wiedergabe & Exploration von großen Datenmengen

• Schnelle (Nutzung von in Memory Cache), geplante (sich wiederholende) Analysen auf den gespeicherten Events

• Ziel: Verfügbar als SaaS in

AGOL (in ~ 1 - 2 Jahren)

Page 43: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data

Esri Deutschland GmbH Kranzberg

Niederlassung Hamburg

Niederlassung Leipzig

Niederlassung Berlin

Niederlassung Hannover

Niederlassung Münster

Niederlassung Bonn

Niederlassung Köln

Esri Schweiz AG Zürich

Niederlassung Nyon

An 10 Standorten vertreiben die Esri Deutschland GmbH und die Esri Schweiz AG als Distributoren die

Produkte von Esri Inc. und unterstützen Anwender umfassend: von Consulting und Implementierung bis

hin zu Schulungen und Support – seit 1979 mit dem ganzen Erfahrungsreichtum von 300 Mitarbeitern in

Deutschland und der Schweiz.

ESRI IN DEUTSCHLAND UND DER SCHWEIZ

DAS UNTERNEHMEN

Page 44: BIG GEOSPATIAL DATA - big-data.ai · big geospatial data stefan vienken, esri deutschland thomas paschke, esri deutschland thilo steckel, claas e-systems 28.02.2018, bitkom big data