Dr. Sebas an Leuoth Dr. Pius Hauenstein (Kanton …...Securido Sichere Kopplung interner und externer Netze Cardigo Das Basiswerkzeug Analy co Die Performance- ‐ lupe Op mo Der Performance-

Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)

thal

Buchs

Safenwil Unterkulm

Schlossrued

Hirschthal

Schöftland

Bottenwil

Aarau

Staffelbach

Gränichen

Holzi-ken

Oberkulm Uerkheim

Gipf-Oberfrick

Densbüren

Murgenthal

Küttigen

Rupperswil

Oberhof

Strengel-

Biberstein Auenstein

bach

burg

Oftringen

Brittnau

Rothrist

Wittnau

Aar-

Thalheim

Erlinsbach

Wölflinswil

Vordemwald

Hallwil

Boniswil

Zetzwil

Reinach

Villmergen

Schmied-

Birrwil

Attelwil Beinwil

äsch

Bözen Effingen

Elfingen

Hornussen

Mönthal

Ueken

Zeihen Herznach Windisch

Remigen

Rüfenach

Riniken

Villnachern

-Reuenthal

Lupfig

burgHabs-

-Bad

Schinznach-Dorf Hausen

Birr Ober-

Möriken

lenz

Scherz

Veltheim

Mülligen

Holder-

-Wildegg

Nieder-

flachs

Rudolfstetten

Künten

Berg-Lenzburg

Staufen

Besen-büren

Bünzen

Leuggern

Villigen

Leibstadt

Mandach Döttingen

Koblenz Rietheim

Gansingen

Remetsch-

Ober-

wil

Mellingen

Würenlos

Stetten

bachWohlen-

Kill-wangen

wil

berg

schwil

schiken

bank

hard

Full

entfelden

schwil

schwil

schwil

Mumpf

Zofingen

lunkhofen

hofNeuen-

SchwaderlochBad Zurzach

Rheinfelden

Magden

Möhlin

Kaiseraugst

Olsberg Obermumpf Zuzgen

Stein

Hellikon

Wallbach

Zeiningen

Wegenstetten

Schupfart

Oeschgen

Sisseln

Eiken

Frick

Unter-

Jonen

wangen

Büttikon

Dietwil

Geltwil

Aristau

Beinwil

Uezwil

Boswil Bettwil

Mühlau

Buttwil Merenschwand

Muri

Auw

Sins

Abtwil

Fahr-

Oberrüti

Kallern

Sarmenstorf

schwanden

Waltenschwil

Meister-

Münch-wilen

KöllikenMuhen

Oberentfelden

Suhr

Teufen-

Niederwil

Berikon

Eggenwil

Bellikon

Widen -Göslikon

Hägg-

dietikon

Fischbach

Wohlen

B

Mägen-

Brunegg

wil

singenOthmar-

Dottikon

konDinti-

Hend-

Ammers-

Ober-

Unter-

Hermet-

Spreiten-

Fislisbach

rohrdorf

Tägerig

Birr-

Nieder-

Seon

leerau

Kirch-

Moos-

Leimbach

Seengen

leerau

Reitnau

Leutwil

kenBurg

Menzi-

Dürren-

Egliswil

ruedGontenschwil

Wiliberg

Wisli-

Endingen

Siglistorf

Böbikon

Lengnau

Unterendingen

kofenFisibach

Baldingen

Schneisingen

Rümikon

Kaiserstuhl

konMelli-Rekingen

siggenthal

Turgi

torf

Gebenstorf baden

Freienwil

Unter-

Birmens-

Ehrendingen

Ennet-

Wettingen

siggenthal

Ober-

Baden

Teger-felden

Böttstein

lingenWüren-

Klingnau

Hunzen-

heimSchafis-

Bremgarten

Islis-

Rotten-

Oberwil-Lieli

Arni

Zufikon

-Friedlisberg

lingen

Kaisten

Brugg

Mettauertal

Laufenburg

Bözberg

thal

Buchs

Safenwil Unterkulm

Schlossrued

Hirschthal

Schöftland

Bottenwil

Aarau

Staffelbach

Gränichen

Holzi-ken

Oberkulm Uerkheim

Gipf-Oberfrick

Densbüren

Murgenthal

Küttigen

Rupperswil

Oberhof

Strengel-

Biberstein Auenstein

bach

burg

Oftringen

Brittnau

Rothrist

Wittnau

Aar-

Thalheim

Erlinsbach

Wölflinswil

Vordemwald

Hallwil

Boniswil

Zetzwil

Reinach

Villmergen

Schmied-

Birrwil

Attelwil Beinwil

äsch

Bözen Effingen

Elfingen

Hornussen

Mönthal

Ueken

Zeihen Herznach Windisch

Remigen

Rüfenach

Riniken

Villnachern

-Reuenthal

Lupfig

burgHabs-

-Bad

Schinznach-Dorf Hausen

Birr Ober-

Möriken

lenz

Scherz

Veltheim

Mülligen

Holder-

-Wildegg

Nieder-

flachs

Rudolfstetten

Künten

Berg-Lenzburg

Staufen

Besen-büren

Bünzen

Leuggern

Villigen

Leibstadt

Mandach Döttingen

Koblenz Rietheim

Gansingen

Remetsch-

Ober-

wil

Mellingen

Würenlos

Stetten

bachWohlen-

Kill-wangen

wil

berg

schwil

schiken

bank

hard

Full

entfelden

schwil

schwil

schwil

Mumpf

Zofingen

lunkhofen

hofNeuen-

SchwaderlochBad Zurzach

Rheinfelden

Magden

Möhlin

Kaiseraugst

Olsberg Obermumpf Zuzgen

Stein

Hellikon

Wallbach

Zeiningen

Wegenstetten

Schupfart

Oeschgen

Sisseln

Eiken

Frick

Unter-

Jonen

wangen

Büttikon

Dietwil

Geltwil

Aristau

Beinwil

Uezwil

Boswil Bettwil

Mühlau

Buttwil Merenschwand

Muri

Auw

Sins

Abtwil

Fahr-

Oberrüti

Kallern

Sarmenstorf

schwanden

Waltenschwil

Meister-

Münch-wilen

KöllikenMuhen

Oberentfelden

Suhr

Teufen-

Niederwil

Berikon

Eggenwil

Bellikon

Widen -Göslikon

Hägg-

dietikon

Fischbach

Wohlen

B

Mägen-

Brunegg

wil

singenOthmar-

Dottikon

konDinti-

Hend-

Ammers-

Ober-

Unter-

Hermet-

Spreiten-

Fislisbach

rohrdorf

Tägerig

Birr-

Nieder-

Seon

leerau

Kirch-

Moos-

Leimbach

Seengen

leerau

Reitnau

Leutwil

kenBurg

Menzi-

Dürren-

Egliswil

ruedGontenschwil

Wiliberg

Wisli-

Endingen

Siglistorf

Böbikon

Lengnau

Unterendingen

kofenFisibach

Baldingen

Schneisingen

Rümikon

Kaiserstuhl

konMelli-Rekingen

siggenthal

Turgi

torf

Gebenstorf baden

Freienwil

Unter-

Birmens-

Ehrendingen

Ennet-

Wettingen

siggenthal

Ober-

Baden

Teger-felden

Böttstein

lingenWüren-

Klingnau

Hunzen-

heimSchafis-

Bremgarten

Islis-

Rotten-

Oberwil-Lieli

Arni

Zufikon

-Friedlisberg

lingen

Kaisten

Brugg

Mettauertal

Laufenburg

Bözberg

Erfahrungsbericht in Zusammenarbeit mit Dr. Pius Hauenstein

the spirit of speed©


the spirit of speed© 2

  2010 Spin-‐off der TU Chemnitz   2012 Erste Produktverkäufe   2013 Tochter der mic IT AG


§  Wir denken in anderen Dimensionen! §  dimensio informa�cs liefert Geschwindigkeit,

wo Komplexität Zeit kostet §  Wir machen Ihre Datenbank bis zu 1000-‐fach schneller!

3 the spirit of speed©


§  GIS-‐Anwendungen sind graphische Anwendungen mit beständigem Zugriff auf große Datenmengen in Datenbanken

§  Bei den im Zentrum stehenden visuellen Anwendungen erfolgt bei jedem Kartenau�au (Pan, Zoom) für jeden GIS-‐Layer in der DB eine räumliche Filterung.

§  Ungenügende Performance bei GIS-‐Anwendungen führen zu Fehlmanipula�onen, Fehlern, zusätzlicher Last, unzufriedenen Benutzern und unkontrollierbaren Ausweichmanövern.

§  Kanton Aargau setzt die GIS-‐Produkte der Firma ESRI ein: ArcSDE, ArcGISServer, ArcGIS Desktop.

§  Die GeoDatenbank ArcSDE betreibt Kanton Aargau mit Oracle.



§  Zugriffsgeschwindigkeit auf Geodaten wesentlich erhöhen §  die momentanen Engpässe besei�gen §  eine Reserve für zusätzliche Nutzer au�auen

§  Keine Änderung der: –  So�wareumgebung –  Applika�ons-‐ und Datenflussarchitektur –  Datenhaltung


6

Evaluation   KIWI-Lösungen (Server)

»  Rel. geringe Leistungssteigerungen »  Zusätzliche SW-Lizenzen

  „Klassisches“ DB-Tuning »  Einschränkungen durch Applikationsarchitektur »  Diverse Maßnahmen umgesetzt »  Nur noch rel. geringe Leistungssteigerungen »  Bei Rasterdaten und speziellen Anwendungen noch gewisses

Potential vorhanden

  Lösungen beim Client »  KIWI behebt nur indiv. Engpass »  Map-Tuning beinhaltet noch etwas Potential

  Lösungsansatz dimensio »  Erfolgversprechend »  Hohes Leistungssteigerungspotential


§  Graphisch-‐interak�ver Anwender:

–  Pan, Zoom –  Ein-‐/Ausschalten von Geo-‐Layern –  Räumliche Selek�on –  Individuelle Symbolisierung und Rendering im

(Desktop)Client –  O� explora�ve Arbeitsweise

è Jede Ak�on/Veränderung auf dem Bildschirm führt zu n räumlichen Queries in der/den DB



8

DB3A DB2A

DB1A

DB3B DB2B

DB1B

App-‐Server 1

App-‐Server 1

App-‐Server 1

Client Desktop GIS

Terminal Server Desktop GIS

Client Desktop GIS

Web-‐Map-‐Server

Client Desktop GIS

Web Client GIS Viewer

Web Client GIS Viewer


9

Die gedruckten Daten haben nur informativen Charakter. Es können keine rechtlichen Ansprüche irgendwelcher Art geltend gemacht werden.Daten des Kantons Aargau, Quelle der Landeskarten: Bundesamt für Landestopografie (5704001686)

1: 360'000

10.8 Kilometer

erstellt 07.11.2013



§  Das GIS einer kant. Verwaltung ist ein großer Gemischtwarenladen: –  Wenige Anwender mit dem selben Anwendungsprofil –  Veröffentlichter Bereich: ~7600 GIS-‐Layer (~ 16‘000

Tabellen) –  Edi�erbereich: ~4000 GIS-‐Layer (~9000 Tabellen) –  Anzahl Rows: 1 – 1.5*106 / 3.5*106 (2.6*109) –  Täglich werden bis zu 80 Tabellen mit zusammen bis 5*106

Rows ersetzt §  Konzentra�on der Last auf 08:00 – 17:00 §  Spitzenbelastung: 800 – 1000 Clients auf den Datenbanken



11


12


13


14



SELECT 1 SHAPE, OBJECTID, … FROM AGIS.VA_LSPARZ WHERE SDE.ST_EnvIntersects(VA_LSPARZ.SHAPE,:1,:2,:3,:4) = 1 bind position: 1 == 648910.8987 bind position: 2 == 261135.2732 bind position: 3 == 650799.8511 bind position: 4 == 262251.6407 AGIS.VA_LSPARZ: Normale Tabelle

SELECT distinct sp_id FROM AGIS.S10693_IDX$ WHERE (gx >= :1 AND gx <= :2 AND gy >= :3 AND gy <= :4) AND minx <= :e1 AND miny <= :e2 AND maxx >= :e3 AND maxy >= :e4


01

23

45

SQL T101 EOLINIES

ek. E

laps

ed T

ime

Di 0

7.02

. 00:

00

Di 0

7.02

. 06:

00

Di 0

7.02

. 12:

00

Di 0

7.02

. 18:

00

Mi 0

8.02

. 00:

00

Mi 0

8.02

. 06:

00

Mi 0

8.02

. 12:

00

Mi 0

8.02

. 18:

00

Do

09.0

2. 0

0:00

Do

09.0

2. 0

6:00

Do

09.0

2. 1

2:00

Do

09.0

2. 1

8:00

Fr

10.0

2. 0

0:00

Fr

10.0

2. 0

6:00

Fr

10.0

2. 1

2:00

Fr

10.0

2. 1

8:00

Sa

11.0

2. 0

0:00

01

23

45

SQL P112 EOLINIE

Sek

. Ela

psed

Tim

e

Sa

18.0

2 00

:00

Sa

18.0

2 06

:00

Sa

18.0

2 12

:00

Sa

18.0

2 18

:00

So

19.0

2 00

:00

So

19.0

2 06

:00

So

19.0

2 12

:00

So

19.0

2 18

:00

Mo

20.0

2 00

:00

Mo

20.0

2 06

:00

Mo

20.0

2 12

:00

Mo

20.0

2 18

:00

Di 2

1.02

00:

00

Di 2

1.02

06:

00

Di 2

1.02

12:

00

Di 2

1.02

18:

00

Mi 2

2.02

00:

00

Mi 2

2.02

06:

00

Mi 2

2.02

12:

00

Mi 2

2.02

18:

00

Do

23.0

2 00

:00

Do

23.0

2 06

:00

Do

23.0

2 12

:00

Do

23.0

2 18

:00

Fr

24.0

2 00

:00

Fr

24.0

2 06

:00

Fr

24.0

2 12

:00

Fr

24.0

2 18

:00

Sa

25.0

2 00

:00

16




§  Klassische Intervallbildung nach –  technischen Gegebenheiten (z.B. Pla�enstruktur) –  mathema�schen Formeln (z.B. Modulo) –  vordefinierte Metrik (z.B. Manha�an-‐Metrik)

è Strategien wie vor 40 Jahren: Suchen & Korrelieren

§  dimensio –  Völlig neuer Denkansatz:

Nicht der Mensch bes�mmt den Index, sondern die Daten selbst.

è Lernen & Wissen




SQL-‐Anfrage


20

Client Desktop GIS App-‐Server

ESRI

Räumliche Filterung

Op�mierung durch dimensio:   WHERE SDE.ST_EnvIntersects(...) “   WHERE PRIMÄRSCHLÜSSEN in (...)

sql*net



XMin YMin XMax YMin Layer OBJECTID ...

1 0 0 100 200 VA_EOLINIE

8 10 0 200 500 VA_EOLINIE

99 2093 90 2200 100 VA_LSGP


Ziel: §  Für den Benutzer reale Zeiten messen

Herausforderungen: §  Repräsenta�ve Messanlage §  Repräsenta�ve, sta�s�sch signifikante Werte §  Keine Beeinträch�gung des Betriebs §  Langfris�ge Messungen in einer sich dauernd verändernden

Anlage §  Keine Verfälschungen



§  DesktopClient mit Request / Transfer / Display §  Typische Worksta�on, welche sonst nichts macht §  Gebräuchliche Daten §  Messautomat mit Zufallsgenerator für:

–  Zei�ntervall (1 – 600 Sek.) –  Zentrumskoordinaten (innerhalb Kt. AG) –  Maßstab (1:100 – 1:20‘000)

§  Aufzeichnung pro GIS-‐Layer –  Datenmenge ( ~ Rows) –  Request/Transfer-‐Zeit –  Rendering-‐Zeit

§  7 * 24 Stunden, +/-‐ seit August 2012



24

3,91 1,73

2,37 0,28

0,28 0,17

90% Quar�l Median



25

0,16 0,05

3,91 1,73

2,37 0,28

0,13 0,05

0,28 0,17

0,05 0,03

90% Quar�l Median



§  Zentrale Konfigura�on §  AGIS Team kann beliebig viele Instanzen anlegen (z.Z. 3) §  Tabellen lassen sich den Instanzen zuweisen (in Summe 40)


--Zentrale Konfig config_files = { ..., 'inst_p_1.lua‘, 'inst_p_2.lua‘, 'inst_p_3.lua‘, }

--inst_p_1 table_templates = { {'AGIS.AFB_B', 1500.000.000}, --1 {'AGIS.ALG_G', 4000.000.000}, --2 {'AGIS.ALG_B', 5000.000.000}, --3 {'AGIS.ALG_O', 2300.000.000}, --4 ... }


§  dimensio in Treiber-‐Cache


statement_list = { 'SELECT table_name, time_last_modified FROM SDE.sde_tables_modified ' , 'SELECT rastercolumn_id FROM SDE.RASTER_COLUMNS', 'SELECT layer_id FROM SDE.layers', 'SELECT COUNT(*) FROM SDE.LAYERS', 'SELECT MAX(layer_id) FROM SDE.LAYERS', 'SELECT MAX(registration_id) FROM SDE.TABLE_REGISTRY', 'SELECT UNIQUE keyword FROM SDE.dbtune', 'SELECT table_id, sde_id FROM sde.sde_logfile_pool', ..., }


28

Anwender Akzeptanz

Zeit

Neue Möglichkeiten

minimal invasiv • OHNE So�ware Änderung

• OHNE DB-‐Änderung

Kosten senken • Produk�vität • HW (KIWI) • Konsolidierung



Dimensio

Ultraschnelle Datenaus-‐wertung

Scrivo

Ultraschnelles Schreiben in Datenbanken

Securido

Sichere Kopplung

interner und externer Netze

Cardigo

Das Basiswerkzeug

Analy�co Die

Performance-‐lupe

Op�mo

Der Performance-‐

Booster



30

dimensio informatics GmbH Brückenstr. 4 09111 Chemnitz Telefon: +49 371 26 20 19 0 Telefax: +49 371 26 20 19 10 [email protected] www.dimensio-informatics.com

Documents

Dr. Sebas an Leuoth Dr. Pius Hauenstein (Kanton …...Securido Sichere Kopplung interner und externer Netze Cardigo Das Basiswerkzeug Analy co Die Performance- ‐ lupe Op mo Der Performance-