{ HAUPTBEITRAG / VISUELLE BEWEGUNGSANALYSE

Visuelle Bewegungsanalysein Video- und Geodaten

D. Weiskopf · G. AndrienkoN. Andrienko · P. Bak

EinleitungDie Analyse von Bewegungen und deren Musterspielt eine wichtige Rolle in unterschiedlichstenBereichen. Ein typisches Beispiel ist die Bewe-gung von Fahrzeugen im Straßenverkehr, derenAnalyse einer besseren langfristigen Verkehrspla-nung – beispielsweise im Straßenbau und anderenInfrastrukturprojekten – aber auch kurzfristigenStauberichten und -prognosen dienen kann. Einanderes Beispiel ist die Untersuchung der Bewegungvon Personen oder Objekten in Videoaufnahmen,sei es für Taktik- und Technikanalysen in diversenSportarten, für die Überwachung von Fußgän-gerströmen in Gebäuden oder Fußgängerzonenoder für verhaltensbiologische Untersuchungen beiTieren.

Heutzutage werden Bewegungsdaten verschie-denster mobiler Objekte in sehr großen Mengengesammelt. Ein Grund sind die sinkenden Kosten,die Miniaturisierung und die damit verbundeneweite Verbreitung von entsprechenden Sensoren.Beispiele sind Systeme zur direkten Positionsbestim-mung wie GPS (Global Positioning System) oder zurindirekten Positionsbestimmung durch Videoka-meras, die bewegliche Objekte aufzeichnen. Zudemsind diese Sensoren häufig durch Telekommuni-kationsnetze verbunden, sodass die Daten leichtweitergegeben, gespeichert und verarbeitet werdenkönnen. Ein typischer, weit verbreiteter Vertreterist die aktuelle Generation von Mobiltelefonen, diestandardmäßig mit Kameras ausgerüstet sind undteilweise schon über Positionsbestimmungssenso-ren verfügen. Andere Beispiele sind Webcams undLivevideoströme sowie die Videoarchivierung aufYouTube oder ähnlichen Plattformen.

Diese Daten können nützliches Wissen überVerhaltens- und Bewegungsmuster enthalten. WeilBewegungsdaten ebenso wie andere Arten vonRaum-Zeit-Informationen eine komplexe Struk-tur aufweisen, ist eine vollständige automatisierteAnalyse nur selten möglich. Hinzu kommt, dassdie semantische Qualität der gesammelten Datenaus technischen Gründen oft unzureichend ist. DieAufzeichnungen bestehen zumeist aus Zeitstem-peln und Koordinatenangaben – unter Umständenangereichert durch weitere Informationen – undmanchmal sogar nur aus Bild- und Videodaten inForm von großen Pixelansammlungen. Es bestehteine semantische Lücke (,,semantic gap“) zwi-schen den vorliegenden Daten und der avisiertenBetrachtungsebene. Semantische Interpretatio-nen können normalerweise nur durch Explorationund Analyse der Daten gewonnen werden. Des-halb ist eine benutzergesteuerte, visuelle Analyseempfehlenswert.

Rein visuelle Explorations- und Analysemetho-den skalieren für große Datenmengen jedoch nurunzureichend, da die Auflösung des menschlichenAuges und die Verarbeitungsgeschwindigkeit un-

DOI 10.1007/s00287-010-0490-y© Springer-Verlag 2010

D. WeiskopfUniversität Stuttgart, StuttgartE-Mail: weiskopf@visus.uni-stuttgart.de

G. Andrienko · N. AndrienkoFraunhofer Institut IAIS, Sankt AugustinE-Mail: {gennady.andrienko, natalia.andrienko}@iais.fraunhofer.de

P. BakUniversität Konstanz, KonstanzE-Mail: bak@dbvis.inf.uni-konstanz.de

580 Informatik_Spektrum_33_6_2010

ZusammenfassungBewegungsdaten von Personen, Fahrzeugenund anderen Objekten liegen durch die Fort-schritte bei Sensoren zur Positionsbestimmungund durch deren weite Verbreitung in immergrößer werdendem Umfang vor. Eine voll-automatische Analyse der Bewegungsmustergestaltet sich für komplexe räumliche undzeitliche Strukturen schwierig, insbesonderewenn die Daten mit Unsicherheiten behaftetsind oder semantische Informationen feh-len. Diese Probleme lassen sich durch einegeeignete Kombination der automatisiertenUntersuchung mit Visualisierungstechnikenund einer nutzergesteuerten Explorationlösen. In diesem Beitrag werden die grundle-gende Vorgehensweise zur visuellen Analysevon Bewegungen beschrieben und praktischeBeispiele für Bewegungsinformationen in Vi-deoströmen und im georäumlichen Kontextdiskutiert.

seres visuellen Wahrnehmungssystems beschränktsind. Deshalb bedarf es einer Kombination aus vi-sueller Erkundung und automatisierten Techniken,welche die Rohdaten bis auf potenziell wesentlicheBestandteile ausdünnen und erst diese darstellen.Dieses allgemeine Prinzip der visuellen Analytik(,,visual analytics“) ist für Bewegungsdaten hoch-interessant. Das Ziel ist die Entwicklung visuelleranalytischer Umgebungen, die Mensch und Ma-schine insoweit zusammenführen, dass menschlicheFähigkeiten durch Rechenleistung unterstütztwerden und dass im Gegenzug durch das Hinter-grundwissen des Benutzers automatische Prozessegesteuert und dadurch neue Erkenntnisse gewonnenwerden können.

Dieser Artikel konzentriert sich auf Bewegungs-informationen, die aus Videos gewonnen werdenoder die in geografischen Informationssystemen(GIS) oder einem ähnlichen georäumlichen Um-feld betrachtet werden. Wir beschreiben zunächstdie gemeinsame, allgemeine Basis und Ansätze dervisuellen Analytik von Bewegungen und deren Zu-sammenhang zum generischen Ansatz der visuellenAnalytik. Später folgen spezielle Beispiele der Be-wegungsanalyse in Videos und in georäumlichenSystemen.

Grundlagen der visuellenBewegungsanalyse

Der Ausgangspunkt für die Bewegungsanalyse istdie Repräsentation der Bewegung in Form vonTrajektorien: Kurven durch Raum und Zeit, aufdenen sich die Objekte bewegen. Hierfür wird an-genommen, dass sich die Objekte unterscheidenund daher getrennt verfolgen lassen. Oft werdendie Objekte als punktförmig angenommen; eineendliche Ausdehnung kann aber als zusätzlichesDatenattribut aufgenommen werden. Die verschie-denen Anwendungsbereiche der Bewegungsanalyseunterscheiden sich meist durch die Quellen derTrajektoriendaten, z. B. GPS-Informationen bei Ver-kehrsdaten oder Bildverarbeitung und -verstehenbei Videoströmen.

Der allgemeine Ansatz der visuellen Analy-tik beruht auf der Kombination aus automatischerAnalyse, Visualisierung und nutzergesteuerterInteraktion. Die automatische Analyse setzt oftschon bei der Gewinnung der Trajektorien an. Bei-spielsweise ist die Bewegung in Videos erst durcheine computerbasierte, automatisierte Extraktionexplizit verfügbar. Darüber hinaus können die Tra-jektoriendaten selbst auch teilweise automatisiertuntersucht werden. Häufig kommen Technikendes Data-Mining zum Einsatz, wie das Clusteringvon ähnlichen Trajektorien zu ganzen Gruppen.Hierdurch ist eine aggregierte, hierarchische Sichtauf Bewegungsmuster möglich – insbesondere fürÜbersichtsdarstellungen großer Datenmengen.Eine andere Art von Technik beruht auf der Filte-rung von Trajektorien: Relevante Bewegungsmusterwerden von weniger wichtigen unterschieden undkönnen somit hervorgehoben oder ausgeblendetwerden.

Die zweite Komponente – die Visualisierung –zielt auf die Darstellung der Trajektorieninformatio-nen, welche die automatische Analyse durchlaufenhaben. Meist werden die Trajektorien als Kurven-züge mit potenziell zusätzlichen visuellen Attributendargestellt. Die Datenanalyse hängt im Allgemeinenstark vom Raum-Zeit-Verständnis des Nutzers derDaten ab sowie von dessen implizitem Wissen überdie zugehörigen Eigenschaften und Verknüpfungen,aber auch von seinen Erfahrungen im Zusammen-hang mit raumzeitlichen Daten. Deshalb werdendie Trajektorienkurven häufig in einen räumlichenBezug eingebettet: etwa als Linien über einer geogra-fischen Karte oder mit dem kompletten Videobild

Informatik_Spektrum_33_6_2010 581

{ VISUELLE BEWEGUNGSANALYSE

AbstractMovement data of persons, vehicles, and otherobjects are available in increasingly largeamounts due to the technical advances in posi-tioning sensors and their pervasiveness. A fullyautomatic analysis of movement patterns is diffi-cult for complex spatial and temporal structures,especially if data is affected by uncertainties orsemantic information is missing. The problemscan be addressed by appropriate combination ofautomatic processing with visualization tech-niques and user-driven exploration. In thispaper, the basic approach of visual analysis ofmovement is described and practical examplesof movement information in video streams andin geospatial context are discussed.

im Hintergrund. Die Verbindung der zeitlichen mitden räumlichen Informationen lässt sich beson-ders gut in einem Raumzeit-Volumen zeigen, indem die Zeitdimension wie eine weitere Raumdi-mension behandelt wird. Da geografische Kartenund Videobilder nur zweidimensional sind, hat dasRaumzeit-Volumen insgesamt drei Dimensionen,was mit verbreiteten Methoden der Computergrafikdarstellbar ist.

Interaktion als dritte Komponente verbindet dieVisualisierung und die maschinelle Analyse in Formeiner nutzergesteuerten Exploration. Zum einenlassen sich Visualisierungsparameter einstellen,wie etwa die Ausrichtung des Raumzeit-Volumensrelativ zum Benutzer. Zum anderen soll mit derAnalysestufe interagiert werden, z. B. indem dasClustering durch Benutzerrückmeldung verbes-sert oder die Filterung durch grafische Selektionverfeinert wird.

Trajektorien in VideodatenDie Analyse von Videodaten zielt bei vielen An-wendungen auf die Betrachtung der Bewegungeninnerhalb der Videos ab. Videodaten liegen je-doch typischerweise nur als Strom von Bildern vor:Graustufen- oder Rot-Grün-Blau-Bilder zu äqui-distanten zeitlichen Abtastungen. Insbesonderefehlen weitergehende Informationen wie Trajek-torien, im Video gezeigte Personen oder Objekteetc. Diese Informationen müssen zunächst aus demRohvideomaterial extrahiert werden.

Visuelle Analytik für VideosDem Ansatz der visuellen Analytik folgend werdendie Bewegungs- und Objektinformationen – soweitmöglich – automatisch durch Verfahren der Video-verarbeitung und des Bildverstehens (,,computervision“) erzeugt. Damit ergibt sich auf generischerEbene ein Prozess, der aus Videoverarbeitung undBildverstehen, Visualisierung sowie interaktiverExploration besteht.

Die Bilderkennung ist ein seit langem etablier-tes Forschungsgebiet. Deshalb existieren zahlreicheerprobte Verfahren zur Erkennung von Bildhin-tergrund und -vordergrund, Segmentierung vonsich bewegenden Objekten und deren Verfol-gung. Vielfach sind Implementierungen dieserTechniken verfügbar, beispielsweise in der Biblio-thek OpenCV (Open Software Computer Vision:http://opencv.willowgarage.com). Häufig könnendiese Bilderkennungsverfahren direkt übernommenwerden, selbst wenn weitere Optimierungen derrein computerbasierten Analyse durch verbesserteVerfahren potenziell möglich sein sollten.

Die üblichen Visualisierungsansätze zeigen dieTrajektorien in einer zweidimensionalen Grafik vor

Abb. 1 Links: Personentrajektorien ( schwarze Linien) in einemRaumzeit-Volumen mit vier zeitlich äquidistanten Schlüsselbil-dern als Hintergrund. Die Zeitachse zeigt senkrecht nach unten.Rechts: Farbdarstellung von Zusatzattributen (hier: Relationender Trajektorien zueinander). (Aus Botchen et al. [6], © 2008 IEEE)

582 Informatik_Spektrum_33_6_2010

Abb. 2 Visuelle Analyse zweier unterschiedlicher Snooker-Stöße (,,pink-pot-b“ mit bläulichen Markierungen und ,,pink-pot-c“ mitgrünlichen Markierungen), jeweils in seitlicher (1, rechts) und frontaler Kameraansicht ( 2, links oben und unten). Die Video-volumen zeigen die Trajektorien der beiden Kugeln mit Hintergrundbildern für den räumlichen und zeitlichen Kontext. In derseitlichen Darstellung werden Bänder verwendet, um die Trennung der schwarz-weißen Halbkugelmarkierungen auf dem Spielballzu visualisieren. Als Zusatzattribut wird das Verhältnis von weißen zu schwarzen Pixeln des Spielballs in einem Zeitreihenplotgezeigt (Mitte links). Durch die Zeitreihen- und die Bandrepräsentation ist eine starke Rotation des Spielballs in ,,pink-pot-c“erkennbar, während ,,pink-pot-b“ einen guten, rotationsfreien Stoß zeigt. (Aus Höferlin et al. [11], Journal compilation © 2010 TheEurographics Association and Blackwell Publishing Ltd.)

einem Hintergrundbild aus dem Video oder aberinnerhalb eines dreidimensionalen Raumzeit-Volu-mens, siehe Abb. 1. Die raumzeitliche Repräsentationhat neben den schon diskutierten Vorteilen die nütz-liche Eigenschaft, dass lange Videosequenzen auf ei-nen Blick analysiert werden können, ohne das Videoabspielen und betrachten zu müssen. Es konnte ge-zeigt werden, dass die zunächst ungewöhnlich er-scheinenden visuellen Strukturen in Videovoluminanach einer kurzen Lernphase verstanden und zügiginterpretiert werden können [7]. Da Videoströmesehr lang sein können – prinzipiell zeitlich unbe-schränkt – ist die Zeitachse tendenziell übermäßigausgedehnt. Durch ein zeitliches Fenster lässt sichdieses Problem in den Griff bekommen: Das Videowird nur für diesen Ausschnitt dargestellt und dasFenster lässt sich durch den Benutzer frei verschie-ben. Der räumliche Kontext ist durch eingeblendeteSchlüsselbilder aus der Videosequenz gegeben, derzeitliche durch Markierungen oder Annotationenentlang der Zeitachse (z. B. zeitlich äquidistant wie inAbb. 1).

Durch Methoden des Bildverstehens lassen sichneben Positionen der sich bewegenden Objektenoch weitere Attribute aus den Videodaten extrahie-ren [6, 11]: z. B. Beziehungen zwischen Trajektorien(,,welche Person war wann in der Nähe einer anderenPerson“), Charakteristika der Bewegung (,,rennend,

sitzend, stehend“), potenzielle Unsicherheiten beider Bildanalyse (,,konnten mehrere sich teilweiseverdeckende Objekte eindeutig identifiziert wer-den“) oder Bildeigenschaften der Objekte (Größein Pixeln, Farbe). Die Zusatzattribute lassen sichteilweise direkt in die Darstellung der Trajektorienintegrieren, siehe Abb. 1. Alternativ kommen zusätz-liche Zeitreihenplots infrage, die parallel zum Videoplatziert werden, siehe Abb. 2 [11].

Die benutzergesteuerte Interaktion findet aufmehreren Ebenen statt. Zunächst kann Einfluss aufdie Techniken des Bildverstehens genommen wer-den, z. B. durch Modifikation von Schwellwertenoder Einstellungen zu Klassifikatoren. Auf der Ebeneder Trajektorien kann der Benutzer Parameter zurFilterung anpassen, wodurch eine Fokussierungauf die relevanten Bewegungsmuster möglich ist.Schließlich sollte noch auf Anfrage des Benutzers hineine Darstellung von Detailinformationen (,,detailson demand“ und ,,data drill down“) aus dem Videomöglich sein – bis hin zum traditionellen Abspieleneines Teils des Videos.

Sportanalyse anhand vonSnooker-Aufzeichnungen

Im Allgemeinen werden Videoanalysen in denunterschiedlichsten Sportarten eingesetzt, bei-spielsweise beim Training zur Leistungssteigerung

Informatik_Spektrum_33_6_2010 583

{ VISUELLE BEWEGUNGSANALYSE

im Technikbereich oder für Taktikanalysen imRahmen der Spielvorbereitung [15]. Im Spezi-ellen greifen wir das Beispiel von Snooker auf:eine Variante des Billards, die hohe technischeund spieltaktische Anforderungen an den Spielerstellt. Diese Sportart ist besonders in Großbri-tannien und Irland verbreitet und hat einenhochprofessionellen Anspruch. Aufgrund dervariierenden und oft kurzen Zeitskala der re-levanten Bewegungsteile – die Zeitspanne umdas Aufeinandertreffen der Kugeln – bieten sichHochgeschwindigkeitsvideoaufzeichnungen an.Zur effizienten Technikanalyse sind Verfahren dervisuellen Videoanalytik geeignet.

Wir greifen ein Beispiel fürs Snooker-Trainingheraus: die Vermeidung überflüssiger Kugelrota-tionen (,,spin avoidance“), die von einer falschenArm-, Hand- oder Queuehaltung und -führungherrühren. Die maschinelle Bildanalyse konzen-triert sich auf die Kugelerkennung, die wegen dersimplen Struktur der Snooker-Bälle einfach undrobust realisierbar ist. Die Bewertung der Stoß-ausführung erfolgt visuell durch den Trainer oderden Spieler selbst. Für diese Anwendung sollenBenutzereingaben möglichst gering gehalten wer-den, und die visuelle Darstellung soll möglichstnatürlich sein. Deshalb werden die Balltrajekto-rien auf dem zweidimensionalen Hintergrund des

Abb. 3 Videovolumen( blaue Zeitachse).Gefilterte Trajektorien sindals Kurven dargestellt. DieKonformität der Trajek-torien bezüglich derFilterung wird durchFarben (grün: hoheKonformität; rot: geringe)und die Sicherheit derextrahierten Positionendurch Verschmieren derFarbsäume (stark ver-schmiert: sehr unsicher)dargestellt. Der breiteblaue Balken zeigt eineausgelassene Zeitspannean

Snooker-Tisches visualisiert. Nichtsdestotrotz kön-nen manche Abstraktionen wie Zeitreihenplotsinterpretiert werden, wie in einer Benutzerstudiegezeigt wurde [11]. Abbildung 2 zeigt ein Beispieleiner solchen Snooker-Visualisierung.

Sicherheits- und ÜberwachungsvideosÜberwachungskameras liefern einen kontinuierli-chen Videostrom. Die übliche Praxis ist das direkteAnsehen der Videos, manchmal im Schnellvorlauf,was sehr zeitaufwändig und auch fehleranfälligist. Anders als beim Snooker-Beispiel liegen hiersehr lange Videosequenzen mit vielen extrahiertenBewegungsdaten vor. Zudem ist die Bildverarbei-tung tendenziell weniger robust, da die visuelleStruktur komplexer ist. Deshalb ist die benutzer-gesteuerte Exploration der Bewegungsdaten durcheine interaktive Filterung sinnvoll. Darüber hinausunterstützen Videovolumen die Analyse der raum-zeitlichen Struktur. Eine entscheidende Rolle spieltdie Verwendung von Unsicherheiten aus der ma-schinellen Bilduntersuchung: diese werden explizitvisualisiert, aber auch bei der interaktiven Selek-tion berücksichtigt. Abbildung 3 zeigt ein typischesBeispiel.

Diese Arbeit [12] wurde unter anderem imRahmen eines Wettbewerbs bei der Tagung IEEESymposium on Visual Analytics Science and Tech-

584 Informatik_Spektrum_33_6_2010

Tabelle1

Arten von Bewegungsdaten und zugehörige Analyseabläufe und -aufgaben

Daten Aufgaben

Bewegungen eines Analyse des Objektverhaltens: signifikante Orte, Zeit und Dauereinzelnen Objektes der Besuche einzelner Orte, (allgemeingültige) Reiserouten, Zeit

und Dauer der Reisen, Abweichungen und UrsachenBewegungen von mehreren 1) Untersuchungen der Platznutzung, Zugänglichkeit, Permeabilität,unabhängigen Objekten Anbindung, Hauptverkehrsflüsse, typische Routen zwischen

verschiedenen Orten2) Untersuchungen entstandener Muster innerhalb von Kollektiv-bewegungen: Konzentration/Dispersion, Konvergenz/Divergenz,Verbreitung von Bewegungsmerkmalen

Bewegungen von mehreren Untersuchungen relativer Bewegungsmuster (nähernd, antreffend,untereinander in folgend, ausweichend, etc.) und Interaktionen zwischen ObjektenAbhängigkeit stehendenObjekten

nology (VAST) evaluiert und hat den Preis für,,Outstanding Video Analysis Tool“ bei der IEEEVAST 2009 Challenge gewonnen [5].

Bewegungsmusterim georäumlichen Kontext

Die Bewegungsanalyse im georäumlichen Kontexthat grundsätzlich die gleichen Ziele und verfolgtähnliche Lösungsansätze wie die Analyse von Be-wegungsmustern in Videos. Jedoch können dieBewegungsdaten eine andere Struktur aufweisen; oftsind sie auch umfangreicher, da Bewegungsinforma-tionen über große räumliche Gebiete (beispielweiseauf Länderebene) und lange Zeiten gesammeltwerden können. Andererseits entfällt die Trajek-torienerkennung, die bei Videoströmen zusätzlichnotwendig ist. Die Analyse von georäumlichenBewegungsmustern spielt in unterschiedlichen wis-senschaftlichen Fachgebieten eine wichtige Rolle,beispielsweise in der Datenbankforschung [10],beim Data Mining [9] und der Geoinformatik [8, 14].Die visuelle Analytik greift diese Arbeiten aufund erweitert sie dahingehend, dass die Daten-bankverfahren und die interaktive Visualisierungintegriert werden, um deren jeweilige Stärken zukombinieren.

Es lassen sich verschiedene Arten von Bewe-gungsdaten und die zugehörigen Analyseaufgabenund -ziele unterscheiden (Tab. 1). Aufgrund derUnterschiede innerhalb der Aufgabenstellungenbenötigt man für jede Datenart eigenständige ana-

lytische Verfahren. Im Folgenden werden einigetypische Anwendungsbeispiele beschrieben.

Bewegungsmuster im Stadt-und Straßenverkehr

In diesem Beispiel wird ein Datensatz verwendet,der aus GPS-Informationen von Fahrzeugen in Mai-land (Italien) besteht. Es wurden 17.241 Autos eineWoche lang verfolgt; insgesamt mehr als 2 Mio. Auf-zeichnungen wurden gespeichert. Der Datensatzkann aufgrund seiner Größe nicht innerhalb desHauptspeichers eines Computers verarbeitet wer-den. Eine effektive Visualisierung und interaktiveExploration ist nur schwer möglich. Daher wurdenverschiedene Aggregationstechniken auf die Datenangewandt, um die so aggregierten Daten innerhalbdes Hauptspeichers verarbeiten und anschließendvisualisieren zu können [1].

Abbildung 4 zeigt häufig genutzte Routen undVerkehrswege in aggregierter Form. Diese ergebensich als Resultat der Clustering- und Aggregations-methoden, die speziell für die Trajektorien bewegterObjekte entwickelt wurden. Eine Clusteringmethodegruppiert Trajektorien hinsichtlich ähnlicher Cha-rakteristiken, wie beispielweise der Geometrie derRouten [16]. Aggregationsmethoden repräsentierenGruppen als Flüsse zwischen einzelnen räumlichenBereichen [2]. Diese berechneten Räume spiegelndie räumliche Verteilung der Positionen der sich be-wegenden Objekte wieder. Diese Ausprägung dervisuellen Analytik ist in Anwendungen wie dem

Informatik_Spektrum_33_6_2010 585

{ VISUELLE BEWEGUNGSANALYSE

Abb. 4 Häufig genutzte Routen und Verkehrswege, die sich aus räumlichem Clustering und Aggregation der Trajektorien ergeben.Die einzelnen Bilder zeigen alle 14 Cluster, die identifiziert wurden

Verkehrsmanagement, der Stadtplanung oder beiortsbezogenen Diensten einsetzbar.

Verhaltensmuster von WildtierenBiologen, die sich mit der Beobachtung von Wildtie-ren beschäftigen, sind daran interessiert, möglicheInteraktionen zwischen den Tieren zu erkennenund zu untersuchen. Aus diesen Daten könnendank passender Indikatoren mögliche Interaktionenextrahiert werden – im Speziellen verbunden mit Er-eignissen in der raumzeitlichen Nachbarschaft [3].Das Raumzeit-Volumen in Abb. 5 zeigt die Interak-tionen von Rotwild. Ersichtlich ist, dass einige Tierehäufig interagieren, während andere ein typischesEinzelgängerverhalten aufweisen.

Bewegungsmuster von Flickr-NutzernIn diesem Beispiel werden die Häufigkeiten undtemporalen Muster von Fotoereignissen unter-

sucht, die an verschiedenen Plätzen aufgetretensind. Die Daten sind über die Webseite von Flickr(http://www.flickr.org) frei zugänglich. Zur Erzeu-gung einer adäquaten Menge von Plätzen wurdendie Originalpositionen der Fotos räumlich aggre-giert [13] und die Ereignisse räumlich geclustert.Im Anschluss wurde eine Visualisierungstechnik,genannt Growth Ring Map, angewandt, um einenÜberblick über die räumliche und zeitliche Ver-teilung der Ereignisse zu erhalten [4, 13]. Wie inAbb. 6 gezeigt, repräsentiert jeder Growth Ringzum einen die Anzahl der Fotos, die an einembestimmten Ort gemacht wurden und zum ande-ren die zeitlichen Merkmale der Fotos (kodiert inFarbton und -intensität). Der Farbton repräsen-tiert die vier Jahreszeiten und die Farbintensitätden fünfjährigen Beobachtungszeitraum. Aus derVisualisierung lassen sich verschiedene temporaleMuster von Ereignissen an unterschiedlichen Or-

586 Informatik_Spektrum_33_6_2010

Abb. 5 Ein Raumzeit-Volumen zeigt mögliche Interaktionen vonRotwild. Die horizontale Ebene entspricht dem geografischenRaum, die vertikale Ebene der Zeit. Die farbigen Linien zeigendie Bewegungen der einzelnen Tiere; Interaktionen sindschwarz markiert

ten erkennen. So ist ersichtlich, dass einige Ortezwar jedes Jahr besucht werden – allerdings nur in-nerhalb einer Jahreszeit (z. B. blauer Farbton undverschiedene Farbintensitäten) – andere wiederumjedes Jahr über das ganze Jahr hinweg (alle Farb-töne und -intensitäten). Einmalige Ereignisse sindjeweils anhand einer einzelnen Farbe erkennbar.Mögliche Anwendungsgebiete für die Analyse vonFotoereignissen sind die Tourismusbranche oderortsbezogene Dienste.

Abb. 6 Ein Ausschnitt derGrowth Ring Map, welcherdie raumzeitliche Vertei-lung der Fotos aus Flickrinnerhalb der Schweizdarstellt. Jeder Pixelentspricht einem Foto-ereignis, dessen temporaleMerkmale über Farbenvisualisiert werden

Fazit und AusblickDie visuelle Bewegungsanalyse ist ein modernesForschungsgebiet, das gerade durch die enormwachsenden und breit verfügbaren Bewegungsda-ten sicherlich noch auf steigendes Interesse treffenwird. Wir haben uns auf die Anwendungsgebiete derVideoanalyse und der Bewegungsuntersuchung imgeoräumlichen Kontext konzentriert. Eine vollstän-dig automatisierte Analyse ist meist nicht machbar –oft wegen der Komplexität der Bewegungsstruk-turen, fehlender oder unzuverlässiger Daten oderunbekannter semantischer Interpretationen. Durcheine geeignete Kombination mit einer visuellen undbenutzergesteuerten Interaktion lassen sich dieseProbleme zumindest teilweise lösen. Ein Vorteil derIntegration des Menschen in den Analyseprozess istdie Möglichkeit, Ergebnisse aus der maschinellenVerarbeitung einzuordnen und Mehrdeutigkeitenaufzulösen. Diese kommt vor allem bei Ungenauig-keiten der Verfahren des Bildverstehens und einerschlechten Qualität des Videomaterials (Bildrau-schen, grobe zeitliche oder räumliche Abtastung)oder bei fehlerhaften Daten zu den Geotrajektorienzum Tragen. Eine weitere Stärke ist die Möglich-keit zur Hypothesenerstellung, d. h. wenn keinklar formuliertes Muster zur Suche vorab bekanntist, sondern dies erst beim Betrachten der Datenidentifiziert werden kann. Beim Design der Visua-lisierungsmethoden muss darauf geachtet werden,dass die Darstellung im räumlichen Kontext erfolgtund die Zuverlässigkeit der vorliegenden Datenkommuniziert wird.

Die visuelle Analytik beruht auf der Kombi-nation verschiedenster Techniken und Verfahren.

Informatik_Spektrum_33_6_2010 587

{ VISUELLE BEWEGUNGSANALYSE

Daraus ergeben sich offene Forschungsfragen,z. B. im Bezug auf die Effizienz und Effektivitätder visuellen Wahrnehmung durch den Benut-zer oder das Design der Interaktionstechniken.Zudem sollten die maschinellen Analyseverfah-ren durch den Nutzer beeinflussbar sein. Zu guterLetzt spielen technische Effizienzfragen bei großenDatenmengen eine wichtige Rolle, d. h. Algo-rithmen, Datenstrukturen, Parallelisierung etc.Darüber hinaus führt die Möglichkeit, Bewegungs-daten von Personen zu sammeln, zu speichern,zu verbreiten und zu analysieren, zu ernsthaftenDatenschutzproblemen, da teilweise hochsensiblepersonenbezogene Informationen erfasst wer-den. Deshalb sind Fragen nach der Akzeptanzund Akzeptabilität neuer Technologien hoch re-levant. Der Schutz der Privatsphäre könnte auchdurch technische Ansätze zur Datensparsamkeit ge-währleistet werden, beispielweise durch geeigneteAnonymisierungsmechanismen.

DanksagungDie vorgestellten Arbeiten werden von der Deut-schen Forschungsgemeinschaft im Rahmen desSchwerpunktprogramms 1335 (,,Scalable VisualAnalytics: Interaktive visuelle Analysesysteme fürkomplexe Informationswelten“) in folgenden Pro-jekten unterstützt: ,,Skalierbare visuelle Analyse vonVideodaten“ (Prof. Heidemann, Prof. Weiskopf) und,,Visual analytics methods to support the spatiotem-portal analysis of movements in a physical space,in particular in a geographical space“ (Prof. Keim,Prof. Wrobel). Die gezeigten Daten zur Videoanalysestammen unter anderem aus dem CAVIAR-Projekt(http://homepages.inf.ed.ac.uk/rbf/CAVIAR/)(Abb. 1) und von der IEEE VAST 2009 Challengebei der Tagung IEEE Symposium on Visual Ana-lytics Science and Technologies 2009 (http://hcil.cs.umd.edu/localphp/hcil/vast/index.php)(Abb. 3). Die Daten zum Straßenverkehrsszenario(Abb. 4) wurden freundlicherweise von der Stadt-verwaltung Mailand für den Gebrauch innerhalb

des Projektes GeoPKDD zur Verfügung gestellt.Die Daten zum Rotwildverhalten (Abb. 5) stam-men vom Bayrischen Waldnationalpark. DanielWeiskopf dankt Markus Höferlin, Benjamin Hö-ferlin, Min Chen und Gunther Heidemann für diegemeinsame Arbeit zur Videoanalyse, die in diesenArtikel eingeflossen ist. Ein besonderer Dank ge-bührt Markus Höferlin und Bettina Weiskopf fürsKorrekturlesen des vorliegenden Beitrags und fürzahlreiche Verbesserungsvorschläge.

Literatur1. Andrienko G, Andrienko N (2008) Spatio-temporal aggregation for visual analysis

of movements. In: Proc. IEEE Symposium on Visual Analytics Science and Techno-logy (VAST 2008), IEEE Computer Society Press, pp 51–58

2. Andrienko N, Andrienko G (2010) Spatial generalization and aggregation of mas-sive movement data. IEEE Transactions on Visualization and Computer Graphics,akzeptiert, doi:10.1109/TVCG.2010.44

3. Andrienko N, Andrienko G, Wachowicz M, Orellana D (2008) Uncovering interacti-ons between moving objects. In: Proc. GIScience, pp 16–26

4. Bak P, Mansmann F, Janetzko H, Keim D (2009) Spatiotemporal analysis of sensorlogs using growth ring maps. IEEE Trans Vis Comput Graph 15(6):913–920

5. Bosch H, Heinrich J, Höferlin B, Höferlin M, Koch S, Müller C, Reina G, Wörner M(2009) Innovative filtering techniques and customized analytics tools. In: Proc.IEEE Symp. Visual Analytics Science and Technology (VAST 2009), IEEE ComputerSociety Press, pp 269–270

6. Botchen RP, Bachthaler S, Schick F, Chen M, Mori G, Weiskopf D, Ertl T (2008)Action-based multifield video visualization. IEEE Trans Vis Comput Graph 14(4):885–899

7. Chen M, Botchen RP, Hashim RR, Weiskopf D, Ertl T, Thornton IM (2006) Visualsignatures in video visualization. IEEE Trans Vis Comput Graph 12(5):1093–1100

8. Dykes JA, Mountain DM (2003) Seeking structure in records of spatio-temporalbehaviour: visualization issues, efforts and applications. Comput Stat Data Anal43(4):581–603

9. Giannotti F, Pedreschi D (eds) (2008) Mobility, Data Mining and Privacy: Geogra-phic Knowledge Discovery. Springer, Berlin Heidelberg

10. Güting RH, Schneider M (2005) Moving Objects Databases. Morgan Kaufmann Pu-blishers, San Francisco

11. Höferlin M, Grundy E, Borgo R, Weiskopf D, Chen M, Griffiths IW, Griffiths W(2010) Video Visualization for Snooker Skill Training. Comput Graph Forum 29(3):1053–1062

12. Höferlin M, Höferlin B, Weiskopf D (2009) Video visual analytics of tracked mo-ving objects. In: Proc. Workshop on Behaviour Monitoring and Interpretation (BMI’09) at International 3D Geoinfo Workshop, CEUR Workshop Proceedings 541,pp 59–64

13. Keim D, Hao M, Dayal U, Janetzko H, Bak P (2009) Generalized scatter plots. InfVis, akzeptiert, doi:10.1057/ivs.2009.34

14. Kwan M-P (2000) Interactive geovisualization of activity-travel patterns usingthree-dimensional geographical information systems: a methodological explora-tion with a large data set. Transp Res Part C: Emerg Technol 8(1–6):185–203

15. Magee D, Pers J (eds) (2009) Computer vision based analysis in sport environ-ments. Comput Vis Image Underst 113(5):589–662

16. Rinzivillo S, Pedreschi D, Nanni M, Giannotti F, Andrienko N, Andrienko G (2008)Visually-driven analysis of movement data by progressive clustering. Inf Vis7(3/4):225–239

588 Informatik_Spektrum_33_6_2010