Performanzfragen in großen integrierten (Umwelt-) Geodata ... · 3 04.11.2009 G. Lukács: Performanz, Geodata-Warehouse disy Informationssysteme GmbH Software-Entwicklung, Beratung,

disy Informationssysteme GmbH04.11.2009

Performanzfragen in großen integrierten (Umwelt-) Geodata-WarehousesDr. Gergely Lukács

senior consultant

2

G. Lukács: Performanz, Geodata-Warehouse04.11.2009

Agenda

• Vorstellung, unser Hintergrund

• Performanz im Allgemeinen

• Geoindex

• Geooperationen

• Darstellung

• Partitionierung

• Zusammenfassung, Ausblick

3


3

disy Informationssysteme GmbH

Software-Entwicklung, Beratung, Konzept-Erstellung

EnvironmentReporting

GIS

Standort: KarlsruheGründung: 1997Mitarbeiter: 35

4


Unsere Kunden

5


disy Cadenza – Aufbau einer Lösung

Hoch-konfigurierbar:

DB-Schema, Auswertungen, Darstellungen

6


Auswahl aus Baum

Explorativ fachlich und räumlich suchen

Zeitliche Auswahl

Räumliche Auswahl

.

.

.

7


disy Cadenza – Spatial Reporting

Geo- und Sachdaten

gleichberechtigt und

übergreifend

• suchen• analysieren• visualisieren• berichten

8


Performanz

• Gute Performanz• Batch-Operationen (z.B. ETL-Prozesse, Batch-Report)

• Interaktive Abfragen• OLTP

• OLAP

• Skalierung!

• Kosten

• Anwendung• Räumliche Analyze oder Darstellung

• Daten• Viele einfache oder wenige komplexe Geometrien

• Spielräume• Logisches Datenmodell

• Physikalisches Datenmodell

• HW

9


Geodaten - Besonderheiten

• Mehrdimensional (2-4)

• Große Datenmengen

• Geometrische Algorithmen

10


Geographischer Index

• Geographic index• R-Tree

11


Geographischer Index - 2

• Geographic index• Größe

• Erstellung

• Einstellmöglichkeiten• LAYER_GTYPE

• SDO_NON_LEAF_TBL

• Qualität: SDO_TUNE.QUALITY_DEGRADATION

• WORK_TABLESPACE (bis zu 2x mehr Platz als der Geoindex)

• Partitionierung…

Indexerstellung - Laufzeit

(AMD Athlon 64bit 3200+, 2.01 Ghz 2 GB RAM, Oracle 10g R2)

00:02:44

00:38:07

06:24:42

00:00:00

01:52:30

03:45:00

05:37:30

07:30:00

0 20.000.000 40.000.000 60.000.000 80.000.000 100.000.000

Anzahl Geometrien (Punkte)

Laufz

eit, In

dexers

tellung [hh:m

m:s

s]

Tablespace-Größe

(Blockgröße: 8kB)

0

20

40

60

80

100

120

0 200.000.000 400.000.000 600.000.000 800.000.000 1.000.000.000

Anzahl Geometrien (Punkte)

Table

space-G

röße [G

B]

12


Zweistufige Geooperationen

• Geooperation, Geoprädikat

• Zweistufiger Filter• Geoindex (MBR)

• Genaue Geometrie• CPU-Kosten !

13


Zweistufige Geooperationen – Beispiel 1

Punkte ( 10 000 bis 10 000 000)

14


CPU-Kosten

0

200

400

600

800

1.000

1.200

1.400

1.600

0 2.000.000 4.000.000 6.000.000 8.000.000 10.000.000

Anzahl Punkte

CPU

-Koste

n

(Sek.)

filter - land

relate - land

filter - bezirksregierung

relate - bezirksregierung

filter - landkreis

relate - landkreis

filter - gemeinde

relate - gemeinde

"Query" [Blöcke]

0

200.000

400.000

600.000

800.000

1.000.000

1.200.000

1.400.000

1.600.000

1.800.000

0 2.000.000 4.000.000 6.000.000 8.000.000 10.000.000

Anzahl Punkte

"Query

"

(Anzahl B

löcke)

filter - land

relate - land

filter - bezirksregierung

relate - bezirksregierung

filter - landkreis

relate - landkreis

filter - gemeinde

relate - gemeinde

Zweistufige Geooperationen – Beispiel 2

KostenRELATE vs.

FILTER

Großflächige Geometrien mit vielen

Stützpunkten

15


Join-Ausführung

• SDO_RELATE (SDO_FILTER)• Nested loops

• Reihenfolge fest

SELECT /*+ ORDERED */ A.gid FROM query_polys B, polygons A WHERE

SDO_RELATE(A.Geometry, B.Geometry, 'mask=ANYINTERACT') = 'TRUE';

• SDO_JOIN (Table Funktion)• Hash-Join

SELECT COUNT (*)FROM TABLE (sdo_join ('LRM_GEMEINDE',

'GEOM','LRM_GEBAEUDE','GEOM','mask=ANYINTERACT')

);

16


Kostenschätzung durch Optimierer

• Allgemein: Statistiken, auf dieser Basis Selektivitätsschätzung

• Keine Statistik für räumliche Verteilung

• Optimierer berücksichtigt für Geoprädikate eine feste Selektivität

• Ungünstig für flexible Auswertungen

17


Partitioning, IOT

• Partitionierung• Geht grundsätzlich

• Nur Intervall-Partitionierung (range partitioning); hash, composite gehen nicht

• Räumliche Partitionierung• Erstellung des Partitionierungsschlüssels anhand der geometrischen Verteilung

• Z.B. Centroid, erster Punkt, größeres Gebiet

• Partition pruning geht auch mit Raum! (local partitioned spatial index)

• Geoindex-Erstellung pro Partition

• Index organized table geht nicht

18


Data Warehouse, OLAP-Abfragen

• Flexible Anfragen

• Spatial Join

• Teuer

• Ausführungsplanung !

• MVIs funktionieren nicht

19


Geographische Materialisierte Sichten

DC_A_GEOTHGEOTH1_GEOTH_FK

DC_A_GEOTHGEOTH2_GEOTH_FK

DC_GEOTHEME

GEOTHEME_NRSPOSITIONPRINTNAMEGEOMETRYTYPEISVISIBLEISEXPORTABLEMIN_SCALEMAX_SCALELL_NORTHINGLL_EASTINGUR_NORTHINGUR_EASTINGGEOERR_COLUMNOWNERTABLE_NAMECOLUMN_NAME

NUMBER(18)NUMBER(18)VARCHAR2(100)VARCHAR2(15)NUMBER(1)NUMBER(1)NUMBER(10)NUMBER(10)NUMBERNUMBERNUMBERNUMBERVARCHAR2(30)VARCHAR2(30)VARCHAR2(30)VARCHAR2(30)

<pk>

DC_A_GEOTHEME_GEOTHEME

GEOTHEME1_NRGEOTHEME2_NRATABLEOWNERATABLENAMEDISCRCOLUMNDISCRVALUE

NUMBER(10)NUMBER(10)VARCHAR2(30)VARCHAR2(30)VARCHAR2(30)VARCHAR2(30)

<fk1><fk2>

Geographische Materialisierte

Sichten(GVI)

Registration im(Cadenza)

Systemschema

ETL-Prozess

DC_SDOGVI –Package

Fach-anwendung

Transparente Pflege

Transparente Nutzung

20


Darstellung

• Zoom-Control• Themen nur im „sinnvollen“ Maßstab anzeigen

• Ausgedünnte Themen• Mehrere, „graphisch“ aufgearbeitete Varianten eines Themas

21


Darstellung - Dynamische Ausdünnung und Clipping

4 948 428 Koordinatenwerte 107 168 Koordinatenwerte

98 % Reduktion des

Datenvolumens!

DC_SDOQUERY-Package

22


Zusammenfassung

• Probleme• Übliche Optimierung

• Geoindex

• Geooperationen

• Darstellung

• Lösungen• DB-Tuning

• Geographische Materialisierte Sichten

• Zoom-Kontroll

• Ausgedünnte Themen

• Dynamische Ausdünnung und Clipping

23


SDE

• Binär (LONG RAW, BLOB)

• SDO• Partitionierung

• Replikation

• Parallele Indexerstellung

• Geoabfragen

• Sicherheitseinstellung über Geographie

• Studie – Performanzvergleich• SDO: ausgeglichenere und besser skalierbare Performanz

Documents

Performanzfragen in großen integrierten (Umwelt-) Geodata ... · 3 04.11.2009 G. Lukács: Performanz, Geodata-Warehouse disy Informationssysteme GmbH Software-Entwicklung, Beratung,