Globales Web Mapping mit offenen GeodatenThomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel? 39 – Es stehen inzwischen viele freie Geodaten zur Verfügung

DGfK Hannover 2017

Globales Web Mapping mit offenen Geodaten –ein Kinderspiel?

Thomas BrinkhoffInstitut für Angewandte Photogrammetrie und Geoinformatik

Jade Hochschule Wilhelmshaven/Oldenburg/Elsfleth

2Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?

• Einführung– Motivation– allgemeine Anforderungen

• Sachdaten• Lage von Orten• Administrative Gebiete• Siedlungsgebiete

– Vorgehensweise– Evaluation

• Schlussbemerkungen

Überblick


• Website für Bevölkerungsdaten– https://www.citypopulation.de/– weltweite Abdeckung– Daten und

interaktiveKarten für

• Städte• administrative

Gebiete

Motivation

https://www.citypopulation.de/


• Benötigte Daten– Sachdaten, insbes. Bevölkerungsdaten– Lage von Städten (Punktkoordinaten)– Gebiete von Städte und administrativen Einheiten (Flächen)– Siedlungsgebiete– Identifikationsnummern

Motivation

• Allgemeine Anforderungen– offene, freie Daten; nutzbar in Webanwendungen– Vektorgeometrien (SVG als Basis)– aktuell, korrekt– möglichst weltweite Abdeckung


• Globale Datenquellen– Wikipedia?

Bevölkerungsdaten

• keine Quelle, kein Bezugsjahr, kein Bezugsgebiet

• zum Vergleich: VZ 2005: 2.292 • letzte VZ 1987!


• Nationale Datenquellen– statistische Ämter

• i.d.R. ausführliche, unter Quellenangabe frei verwendbare Zahlen• Zugriff teilweise schwierig• Deutschland:

– national bis auf Gemeindeebene, nicht darunter– unter Gemeindeebene keine Bevölkerungsfortschreibung, sondern Daten

des Melderegisters

Bevölkerungsdaten

• schlechtes Beispiel: Stuttgart– https://service.stuttgart.de/lhs-services/komunis/index.php?uid=98&objectid=25922– kostenpflichtig– unklare Verwendbarkeit– unklare Charakterisierung

https://service.stuttgart.de/lhs-services/komunis/index.php?uid=98&objectid=25922


• CIA World Factbook– https://www.cia.gov/library/publications/the-world-factbook/– etablierte offene Quelle für globale Daten– Bsp. Wachstum des BSP in Irland

• Trump vs. CIA– “These are the same people

that said Saddam Hussein hadweapons of mass destruction”

Sachdaten

(Stand 10.1.2017) (Stand 18.1.2017)

https://www.cia.gov/library/publications/the-world-factbook/


• GeoNames (http://www.geonames.org)

− Creative Commons Attribution 3.0 License− Datenmodell:

− geonameid: globale ID; name, alternatenames− latitude, longitude: WGS‘84-Koodinaten− feature class: „P“ für Orte (places), „A“ für administrative Einheiten− country / admin X code: ISO-3166 2-Code, administrative Ebene 1/2/3/4

− keine Qualitätsindikatoren für Lage, keine nationalen Schlüssel

Lage von Orten

http://www.geonames.org/


• OpenStreetMap− (seit 2012) „Open Database License“ (ODbL)

− staatenweiser Download z.B. über GeoFabrik

− tatsächliche Belegung von Attributen variiert− keine quantitativen Qualitätsindikatoren

Lage von Orten


• Wikipedia− KML-Export über Tool Server

− Point: WGS’84-Koordinaten− description: Link auf Wikipedia-Artikel− admin. Zuordnung indirekt über Kategorie:

− http://toolserver.org/~para/cgi-bin/kmlexport?project=de&article=Kategorie:Gemeinde in Niedersachsen

− Database Dump− kein Kategorie-Filter, aber OSM-ID

− keine quantitativen Qualitätsindikatoren,Extraktion von administrative Zuordnungvon Qualität der Kategorisierung abhängig

Lage von Orten

http://toolserver.org/%7Epara/cgi-bin/kmlexport?project=de&article=Kategorie:Gemeinde%20in%20Niedersachsen


• Wikidata− zentraler Speicher

für strukturierte Datenfür Wikipedia u.a.

− Creative-Commons-0-Lizenz (Public Domain) − Attribute:

− DB-ID− weitere Schlüssel (!)− Kategorisierung, administrative Zuordnung

− keine quantitativen Qualitätsindikatoren,Attributverfügbarkeit variiert,Entity-Identität nicht vollständig konsistent

Lage von Orten


• Anforderungen von Webanwendungen an Flächengeometrien– Generalisierbarkeit

• durch Auswahl• durch geometrische

Vereinfachung• durch Aggregation

– hinsichtlich• Ursprungsdaten• hinsichtlich

Visualisierungsmaßstab

Administrative Gebiete

• Anforderungen von Webanwendungen an administrative Gebiete– Generalisierbarkeit

• durch Auswahl:– Begrenzung der Ebene– bei Visualisierung

• durch geometrische Vereinfachung– erfordert topologische Korrektheit

• durch Aggregation– trivial (wenn topologisch korrekt)– Ausnahme: nicht-hierarchische

Verwaltungsebenen


• Global Administrative Areas (GADM) (http://www.gadm.org)

– sehr umfangreich (295.000 Gebiete)– teilweise recht tief

gegliedert– topologische Qualität gut– aber:

• oftmals nicht aktuell• Küsten mit gerasterten

Linienverlauf• Lagegenauigkeit oftmals

katastrophal schlecht


http://www.gadm.org/


• OpenStreetMap– enthält administrative Gebiete– topologisches Datenmodell– aber:

• Extraktion nicht trivial, teilweise mitLandflächen zu verschneiden

• recht unvollständig, insbesondere bei unteren administrativen Ebenen• geometrische Genauigkeit teilweise schlecht• Aktualität schwankend• Datenherkunft nicht immer offen

kundig (teilweise GADM-Daten)• topologische Fehler kommen

(selten) vor (meist bei Enklaven)


Satellite map by Google Earth with images © Digital Globe


• Nationale Datensätze– oftmals aktuell– oftmals gute geometrische Qualität– teilweise recht tief gegliedert– meist mit nationalen IDs– aber:

• z.T. schwierig zu finden• topologische Qualität nicht selten schlecht

– nach Projektionen, manuelle Veränderung, Generalisierungen• manchmal ist auch geometrische Qualität suboptimal



• Nationale Datensätze (Malaysia)


Satellite mapby Google Earth with images © Digital Globe.


• Nationale Datensätze (Gabun)



• Nationale Datensätze (BGK)

– „Sie weisen (...) eine (...) Lagegenauigkeit (± 100m) für die wichtigsten punkt- und linienförmigen Objekte auf.“






Sate

llite

map

by G

oogl

e Ea

rth

with

im

ages

© D

igita

l Glo

be.






• Requirements– global dataset– resolution: up to 10 or 25m– up-to-date– open data under free license– vector data

• SVG-based web mapping(performance & styling)

• support of different scales by object-based generalization

Siedlungsflächen


• Built-up Areas on International or Global Scale – source: remote sensing data– example: Corine Land Cover

(CLC) database• resolution: 100m raster• updates 2000 / 2006 / 2012• coverage: European Union• not suitable

Siedlungsflächen


• OSM as Source for Built-Up Areas– fulfills previous requirements– but: focus is not land use or land cover

• studies before have shown that OSM can be used for deriving land use• but only on local scale (e.g., cities, small regions, small countries)• but only within a “well-digitized” country

• Resulting Questions– Which OSM features can be used for computing built-up areas

on global scale?– How can we derive built-up areas on global scale in sufficient

accuracy and performance by using standard soft-/hardware?– Is the quality of the result sufficient on global scale?

Siedlungsflächen aus OSM


• Data Model– topological model

(nodes, ways, multipolygons)– key-value elements (“tags”) for

attribute data

• Land Cover– “landcover” key: proposal, not widely used– “surface” key: surface of way elements– “natural” key: vegetation-, water- and landform-related– “landuse” key: for agricultural areas (e.g., farmland),

leisure areas (e.g., park), and built environment



• “landuse” key


Value Description Relevance

residential predominantly houses or apartment buildings X

industrial predominantly workshops, factories or warehouses Xcemetery cemetery area -commercial predominantly offices, business parks, etc. Xretail predominantly shops X

construction an area being built on (...)brownfield land scheduled for new development (...)garages areas occupied by multiple private garage buildings Xrecreation_ground an open green space for general recreation -greenfield undeveloped land scheduled to turn into a

construction site-

→ 4.3m “OSM built-up features” (April 2016)


• “landuse” key


light orange = “residential”, violet = “industrial”, brown = “commercial”, red = “retail”, grey = “garages”

Mexico CityOldenburg

→ generally not complete



Darwin, Australialight orange: “residential”violet: “industrial”dark red: “buildings”

• Buildings– 181.4m buildings in

OSM dataset (April 2016)

– not complete– cover additional areas

compared toOSM built-up features

– too detailed for describingbuilt-up areas / urban areas

– further processing required


• Roads– residential houses are typically built along residential roads


Value Description Relevanceresidential road in a residential area Xservice access to a building, service station, etc. (..)track roads for agricultural and forestry use etc. -unclassified public access road, non-residential (X)footway designated footpaths, mainly for pedestrians (..)tertiary a road linking small settlements -secondary a highway linking large towns -primary a highway linking large towns -cycleway designated cycle ways (..)living_street road with very low speed limits Xmotorway high capacity highways -pedestrian roads mainly / exclusively for pedestrians (..)road road with unknown classification (X)



Porto Alegre, Brazilorange: “unclassified”

• Roads– 34.3m “residential” or

“living_street” (April 2016)

– 9.0m “unclassified”– 0.3m “road” (unknown

classification)

– “unclassified” means often “unknown” and refer to residential roads

– should be included in further processing



Mexico Citydark red: “residential”, red: “living street”,violet: “unclassified”; light green: urban area

• Roads– coincidence between

residential (and similar) roads and built-up areas

– clusters of unclassified highways indicate built-up areas

– areas have to be derived from linear features by further processing


Verarbeitung der OSM-Daten

• Processing OSM Built-up Features– eliminating polygons with low accuracy– merging neighbored polygons

• “neighbored” = distance smaller than a given threshold• “merging” = proper merge + gaps & small holes removed +

areas may be enlarged by a given distance



• Processing Buildings– eliminating buildings covered by built-up features – merging neighbored polygons

red: eliminated buildingsbrown: merge polygons



• Processing Roads– computing difference with built-up features – buffering– merging neighbored polygons– eliminating thin areas

• especially for the“unclassified” roads

red lines: roads eliminated by differencegreen lines: remaining roadsbrown: area after eliminating thin areas



• Combination– merging neighbored or overlapping polygons– (optionally) application-depended generalization



• Algorithmic Issues: Merging– large-sets of geometries:

• grid-based partition as 1st step• separate merging of each cell• no overall merge as long as it is not the combination step

– mid-size sets of geometries / processing of a cell:• iterative union with neighbored geometries using a MX-CIF

quadtree

• Algorithmic Issues: Global OSM dataset– partitioning, e.g. stripes of 1 or 2 degree width– variant of merging algorithm for combining the results


Vorläufige Evaluation

• Some Well-digitized Countries– processing of OSM

built-up features is sufficient

• Otherwise– processing of all three

different input features is necessary

Mexico City

airport

unbuilt area

industrial areas


Vorläufige Evaluation

• Some Well-digitized Countries– processing of OSM

built-up features is sufficient

• Otherwise– processing of all three

different input features is necessary

Mexico City

airport

unbuilt area

industrial areas

Sate

llite

map

s by

Goog

le E

arth

with

imag

es ©

Dig

ital G

lobe

.


• Results– extraction of built-up areas from the OSM dataset is feasible on

global scale– done within several days using standard hardware and software– representation by disjoint polygons allows generalization by

selection



– Es stehen inzwischen viele freie Geodaten zur Verfügung.• Es gibt auch viele Lücken (z.B. Bulgarien Flächen für die Ortsebene)

– Die Qualität (Aktualität, fachliche Korrektheit, Lagegenauigkeit, topologische Korrektheit, Vollständigkeit, Metadaten) schwankt auch innerhalb einer Quelle erheblich.

• Kontrolle wichtig (rechnerisch und visuell)• Fehlerursachen sind bewusst zu machen• eigene Fehler vermeiden (möglichst spät in das Ziel-KBS projizieren)

– Daten sind teilweise immer noch schwer zu finden.– Durch freie Geodaten können viele interessante Anwendungen

entwickelt und Fragestellungen gelöst werden.• Eine anwendungsspezifische Aufbereitung ist oftmals notwendig;

sie kann durchaus aufwändig sein.

Schlussbemerkungen


Vielen Dank für die Aufmerksamkeit!

Der Vortrag basierte u.a. auf:• Brinkhoff T.: “Open Street Map Data as Source for Built-up and Urban Areas on Global

Scale”, XXIII Congress of the International Society for Photogrammetry and Remote Sensing 2016, Prague, Czech Republic. In: The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLI-B4, 2016, 557-564.

• Brinkhoff T.: „Offene Geodaten: Lage von Orten im Vergleich“, Tagungsband FOSSGIS 2015, Münster, 2015, 18-24.

Schlussbemerkungen

Documents

Globales Web Mapping mit offenen GeodatenThomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel? 39 – Es stehen inzwischen viele freie Geodaten zur Verfügung