24
Videoannotationsdatenbank Pan.do/ra in der HRA

Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Embed Size (px)

DESCRIPTION

„Losing My Religion“ – Einsatz einer Videoannotationsdatenbank in der kunstgeschichtlichen Analyse von Musikvideos Im diesem Beitrag sollen nun am Beispiel des Musikvideos zum Titel „Losing My Religion“ der US-amerikanischen Rockband „R.E.M.“ – welches 1991 vom Regisseur Tarsem Singh umgesetzt wurde – die Möglichkeiten der „Video Annotation Database“, einer frei verfügbaren, quelloffenen Plattform zur kollaborativen, webbasierten Medienanalyse auf der Basis von „pan.do/ra – Open media archive“, vorgestellt werden. Das System hat sich in der Form bereits seit längerem im Exzellenzcluster „Asia and Europe in a Global Context“ der Universität Heidelberg (Cluster of Excellence) bewährt, wo es von der Heidelberg Research Architecture (HRA) im Rahmen des Metadatenframeworks „Tamboti“ genutzt und aktiv weiterentwickelt wird. „Pan.do/ra“ ist eine Online-Applikation, die es mehreren Nutzern gleichzeitig erlaubt, frei gewählte Abschnitte eines Videos mit unterschiedlichen Arten von Annotationen (Layer oder Spuren) zu versehen. Durch diese Annotationen ist es möglich, sowohl einzelne Sequenzen als auch sämtliche Szenen zu einer Thematik direkt über eine URL zu referenzieren. Jede Spur enthält zeitreferenzierte Annotationen eines bestimmten Typs und neben Text können auch georeferenzierte Ortsinformationen und Bilder hinzugefügt werden. Mit seiner integrierten Rechteverwaltung erlaubt es das System, Filme nur bestimmten Nutzergruppen zugänglich zu machen. So hat jüngst zum Beispiel eine Gruppe Studierender im Rahmen eines Geschichtsseminars die Applikation verwendet, um einen japanischen Propagandafilm aus den frühen 1930er zu analysieren. Dabei wurden gezielt wiederkehrende Themen und Argumente im Film mit Schlagworten versehen, Texttafeln transkribiert und übersetzt, sowie Querverweise zu anderen Quellen hergestellt. Mit Hilfe der Videoannotationsdatenbank konnten die Studierenden die unterschiedlichen Argumentationsstränge im Film verorten und über die integrierte Timeline sichtbar machen, daneben ergab der Vergleich mit einer anderen (später entstandenen) Version des Filmes Unterschiede in der Narration. Die Einsatzmöglichkeiten des hier verwendeten Videoannotationssystems „pan.do/ra“ sind breit und generisch angelegt; so haben Max Stille und Jan Scholz beispielsweise islamische Predigtvideos analysiert und erste Ergebnisse davon wurden auf dem Deutschen Orientalistentag 2013 vorgestellt. Seit geraumer Zeit wird in Heidelberg an einer Integration in das Metadatenframework „Tamboti“ gearbeitet, womit Filmmetadaten gemeinsam mit bibliographischen Metadaten (in MODS XML), Bildmetadaten (in VRA Core 4 XML) und mit TEI ausgezeichneten Texten durchsuchbar gemacht werden sollen. Ziel der Integration ist es „pan.do/ra“ noch weiter für die stark interdisziplinäre Verbundforschung – wie sie z.B. am Exzellenzcluster „Asien und Europa“ betrieben wird – zu öffnen und auch übe

Citation preview

Page 1: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Videoannotationsdatenbank Pan.do/ra in der HRA

Page 2: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Der Exzellenzcluster und die HRA

"Asia and Europe in a Global Context: The Dynamics of Transculturality“Ziel: „…das Verständnis der vielschichtigen Austauschprozesse zwischen und

innerhalb Asien und Europa zu verbessern.“ Ca. 60 Projekte in 17 interdisziplinären Forschungsgruppen verteilt über 4

Forschungsbereiche5 neue Lehrstühle, Graduiertenschule, M.A. Transcultural Studies

DH unit: Heidelberg Research Architecture (HRA)Beratung – Schulung – EntwicklungZusammenarbeit mit Partnern auf lokaler, nationaler und internationaler Ebene.

The Karl-Jaspers Centre for Advanced Transcultural Studies, HeidelbergPhoto M. Arnold 2010

Kleines Team: 6 Personen - 3 Programmiererstellen

Eng verbunden mit neu eingerichteter Junior Research Group “Digital Humanities - Digital Cultural Heritage”

Project databases – Research analysis

Entwicklung: Metadata Framework Tamboti

Webportal: http://hra.uni-hd.de

Page 3: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Entwicklung: Tamboti Metadata Framework

A „suite of web applications that forms an integrated environment for interdisciplinary and internationally distributed studies in transcultural dynamics.“

•Modular structure, applications within eXist-db

•LDAP integration, granular access control

•Users can store, organise, share, and publish multilingual metadata records of different media formats: text, image, video, audio

•Different intl. standardized metadata schemas (sustainability, data exchange); one search for all data/schemas

currently integrated formats: MODS - VRA core - TEI, *Wiki records, *video annotation records (structured notes in MODS), text extracted from uploaded PDF files, *name authority files (e.g. MADS)

Source code: https://github.com/eXist-db/tamboti Heidelberg instance: http://tamboti.uni-hd.de

Page 4: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

VRA 32nd Annual Conference | 2014/03/13 | Session 8: VRA Core 4 Unbound | Matthias Arnold, Heidelberg 4

Page 5: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Ein Framework für Metadaten und Annotationen

Bibliographische Informationenin MODS

Bild-Metadaten in VRA core 4 mit Ziziphus-Editor

Teil-von-Video und Teil-von-Audio Annotationen in pan.do/ra

Teil-von-Bild Annotationen in HyperImage

Page 6: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Anforderungen an Videoannotations-systeme

Versuch einer Systematisierung

Page 7: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Diverse Anwendungsbereiche

Linguistische Analyse: ELAN, ANVIL, EXMARaLDA

Medienanstalten/Archive: LinkedTV, MediaGlobe

E-Learning, Vortragsportale: Catool, AAV/Opencast Matterhorn, Alexander Street

Streaming Plattformen/Archivportale: Kaltura, (AV Portal)

Musik/Performance: trAVis, MyStoryPlayer

Video: Mediathread, Pan.do/ra

Interactive storytelling: Klynt, HyperImage

Subtitling: Speedtrans, DotSub

Service based analysis: Semex, Videana

=> Alle Tools bieten Annotationen an. Viele fanden elegante - aber bereichs-spezifische Lösungen. Keins deckt alle Bereiche ab.

Page 8: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

VRA 32nd Annual Conference | 2014/03/13 | Session 8: VRA Core 4 Unbound | Matthias Arnold, Heidelberg 8

Liste von über 50 Softwarelösungen mit Bezug zu Video-Annotationen

Auswertung verfügbarer Listen und Online-Recherche:

Zugang (bitte kommentieren / ergänzen!): http://bit.ly/1oUYPNH

Liste von über 50 Softwarelösungen mit Bezug zu Video-Annotationen

Auswertung verfügbarer Listen und Online-Recherche:

Zugang (bitte kommentieren / ergänzen!): http://bit.ly/1oUYPNH

Bamboo http://dirt.projectbamboo.org/tags/video 2011-12

Harvard http://www.annotations.harvard.edu/icb/icb.do?keyword=k80243&pageid=icb.page466612 2010

Jost et al. 2013

Jost, Christofer, Daniel Klug, Axel Schmidt, Klaus Neumann-Braun, and Armin Reautschnig. Computergestützte Analyse von audiovisuellen Medienprodukten. Qualitative Sozialforschung 22. Springer Fachmedien Wiesbaden, 2013. http://link.springer.com/book/10.1007%2F978-3-531-19459-2. 2013

Linked TV

LinkedTV, Evlampios Apostolidis, Michail Dimopoulos, Vasileios Mezaris, Daniel Stein, Jaap Blom, Ivo Lasek, et al. State of The Art and Requirements Analysis for Hypervideo. Pdf. LinkedTV - Television Linked To The Web, September 30, 2012. http://www.slideshare.net/linkedtv/linked-tv-d11state-of-the-art-and-requirements-analysis-for-hypervideo. 2012

UCLA-KB http://kb.ucla.edu/articles/video-annotation-tools 28.04.2009

Page 9: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Requirements of a Video Annotation System (Annotations at Harvard, 2010) http://www.annotations.harvard.edu/icb/icb.do?keyword=k80243&pageid=icb.page466612

1 – Annotation of entire video2 – Sound visualisation (detail highlights)3 - User-defined custom annotation markers4 - A time range for each annotation5 - Automatic captioning of spoken word as baseline annotations6 - Overlays of user-generated annotation: • graphics for basic shapes• stroke and fill properties • short text tags with formatting• placement and positioning of graphic objects should be dependent upon the graphed waveform and zooming level[MA: Text altered]

Page 10: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

pan.do/ra in der HRA

Analyse und Verlinkung von (Teilen von) Video/Audio

Materialien

Page 11: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Gemeinsames Annotieren von Videos und Bildsequenzen

Verschiedene Ebenen für unterschiedliche Annotationstypen (description, transcription, keywords, locations), frei erweiterbar

Page 12: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Film im Kontext

Insert -> Header/Footer -> check “Slide Number” and “Footer” with the respective line, e.g. Institute | Person | Title

Page 13: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Presentation und Inhaltsanalyse

Page 14: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Visual Pilgrim: Eingebettete Videosequenzen

Page 15: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Bildsprache in japanischen Visual Kei Videos

Analyse von islamischen Predigten

Page 16: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Pan.do/ra – Entwicklung/Team

0x2620Collaborative Archiving and Networked Distribution e.V., Berlinhttp://0x2620.org

Pad.ma - Public Access Digital Media Archive, http://pad.ma/

Start 2008, Material unabhängiger Filmemacher v.a. aus Mumbai und Bangalore

Weiterentwicklung pan.do/ra (user-client, seit Ende 2011)

Open Source, GNU General Public Licensehttps://wiki.0x2620.org/wiki/pandora

API: Nutzung über Ox.App (Ox.js) oder pandora_client (Python)

Annotationen in HTML5 (z.B. Einbinden von Bildern)Video-Formate: WebM, Ogg Theora

Page 17: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Anbindung an Tamboti

Page 18: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Anbindung an Tamboti

Ausgabe von Video-Annotationen als structured note in MODS

Proof-of-concept Implementierung

Page 19: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Anbindung an Tamboti

Ausgabe von Video-Annotationen als structured note in MODS

Proof-of-concept Implementierung

Page 20: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Anbindung an Tamboti

Page 21: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Ausblick

Page 22: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Weiterentwicklungen in Pan.do/ra

Bereits umgesetzt:

•LDAP Integration

•Client/API Beispiele/Dokumentation

Nächste Features:

•Granularer Annotations-Export (MODS)

•Batch import (Firefogg in read-only directories)

•Anbindung kontrollierter Vokabulare

•Mehrere Audio-Tracks per Video

•verbessertes Gruppenmanagement, Admin-Funktionen

•Gleichberechtigung Video-Sound-Text/Bild-Annotationen

Page 23: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Weiterentwicklung in Tamboti

Einbinden von Videos in HyperImage-> Overlays/Marker, -> hervorgehobene Objekte-> item tracking over time

DH Video-Annotationin Zukunft?

Austauschbarkeit Notation? Schema? (z.B. DARIAH-2 Cluster 6)

Automatisierte Inhaltsanalyse? Semex (HPI)Videana (Marburg)

Page 24: Videoannotationsdatenbank Pan.do/ra in der HRA ("Loosing my religion" - Kunstgeschichtliche Analyse von Musikvideos)

Kontakt & weiterführende Links

http://vad.uni-hd.de – HRA Videoannotationsdatenbank (pan.do/ra)

http://tamboti.uni-hd.de – HRA Tamboti Metadatenframework

http://hra.uni-hd.de – HRA Web-Portal

https://pan.do/ra – pan.do/ra Website

https://wiki.0x2620.org/wiki/pandora – pan.do/ra SourceCode

Überblick Video Annotations Tools: http://bit.ly/1oUYPNH

[email protected]