Digitalisierte Zeitungen und Digital Humanities - Probleme und Chancen

Digitalisierte Zeitungen &

die Digital Humanities –

Probleme und Chancen

Europeana Newspapers Information Day

16. Oktober 2014, Wien, ÖNB

Clemens Neudecker, Staatsbibliothek zu Berlin

@cneudecker

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 2

“Big data?”

Immer größere Mengen an digitalisierten Zeitungen stehen in digitaler Form für die Forschung bereit.

• Chronicling America: 8,148,101 Seiten

• Trove (Australien): 137,247,947 Zeitungsartikel

• ANNO: 13 Millionen Seiten

• Europeana Newspapers: • > 10 Millionen Seiten (Volltexte) • > 18 Millionen Seiten (Metadaten)

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 3

Europeana Newspapers: Drei Portale

• Europeana Newspapers Content Browser:http://www.theeuropeanlibrary.org/tel4/newspapers

• Europeana Portal:http://europeana.eu/portal/

• Zeitschriftendatenbank:http://www.zeitschriftendatenbank.de/suche/

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 4

Neu! Objektpräsentation direkt in der Europeana

• http://europeana.eu/portal/record/9200300/BibliographicResource_3000095593453.html

Public domain

Neues Interface

für die Objektanzeige

Anzeige in der Digitalen

Bibliothek

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 5

ABER…

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 6

Nur die Spitze des Eisbergs

Quelle: Enumerate Report, http://www.enumerate.eu/en/surveys/thematic_survey/

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 7

Wieviel ist insgesamt schon digitalisiert?

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 8

Digitalisierte Zeitungen

Quelle: European Newspapers Survey Report http://www.europeana-newspapers.eu/wp-content/uploads/2012/04/D4.1-Europeana-newspapers-survey-report.pdf

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 9

Mission impossible?

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 10

Ein kleiner Vergleich…

Geschätzte Kosten für die Digitalisierung sämtlicher Objekte in Bibliotheken, Archiven und Museen:€100 Milliarden

Oder €10 Milliarden/Jahr für die nächsten 10 Jahre!

Das Gesamtbudget für die Entwicklung des „Joint Strike Fighter“ wird auf €40 Milliarden geschätzt. Für die Digitalisierung des Kulturerbes Europas würden ca. 40% der Entwicklungskosten des JSF benötigt.

Quelle: Nick Poole, Collections Trust, http://nickpoole.org.uk/wp-content/uploads/2011/12/digiti_report.pdf

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 11

Problemfelder

• Unvollständigkeit von Digitalen (Zeitungs-)Sammlungen

• Keine ausreichenden Ressourcen für die vollständige Digitalisierung

• Fehler und Probleme bei der Digitalisierung, z.B.• Schlechte Qualität der OCR• Unvollständige oder fehlerhafte Metadaten• Unterschiedliche Lizenzmodelle• “Copyright Cliff of Death” (@wragge)• Unterschiedliche Granularität der Digitalisate (z.B. Artikel vs. Seiten)• Unterschiedliche Anreicherung (z.B. mit/ohne Named Entities)

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

Wie also damit umgehen?

• Ist es überhaupt möglich auf dieser Datengrundlage eine repräsentative Aussagen z.B. durch ein „random sample“ zu treffen?

12

Quelle: http://dilbert.com/strips/comic/2001-10-25/

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 13

Labs to the rescue?

Pieter Francois, Gewinner der British Library Labs competition 2013 hat sich genau diese Frage gestellt:

“How representative are the historical texts digital humanities scholars study of the overall body of ‘surviving’ texts that are held in the various library collections?”labs.bl.uk/Sample+Generator

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 14

Was ist “gut genug”?

Digging into Data Project “Trading Consequences”

“Welche Auswirkungen haben OCR Fehler beim Text Mining einer großen Sammlungen von digitalisierten Beständen?”

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 15

Statistik, Statistik, Statistik

10 Millione Seiten, 7 Milliarden Wörter – welchen Anteil des Korpus ignoriert man wenn man nur mit “guter” OCR arbeitet?http://homepages.inf.ed.ac.uk/balex/publications/slides-DATeCH.pdf

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

Vorbild Trove

API (Anwendungs-Programmier-Schnittstelle) ermöglicht diverse statistische Anwendungen & Präsentationsmöglichkeiten:

16

Trove newspapers word count app

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

Das „Hathi Trust Model“

Hathi Trust Digital Library/Research Center (Aggregator aller US Google-Partner) stellt für durch Copyright geschütze Materialien nur extrahierte „Features“ bereit wie z.B.:

• Wortfrequenz (pro Seite/Überschriften/Fußnoten)

• Anzahl Zeilen/Sätze

• Zeichenanzahl

Darüber hinaus gibt es auch die Möglichkeit über eine geschützte virtuelle Forschungsumgebung (HTRC Sandbox Portal) direkt auf den Servern des HTRC Algorithmen auf den Daten auszuführen.

17

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 18

Es gibt viel zu tun…packen wir es an!

Danke für Ihre Aufmerksamkeit!

@eurnews

http://www.europeana-newspapers.eu

http://www.theeuropeanlibrary.org/tel4/newspapers

http://www.europeana.eu/