Volltexte und OCR am MDZ - digitale-sammlungen.de · • 35 OCR –Projekte (Antiqua und Fraktur) • 24 Projekte mit Dienstleistern • Google‐Projekt: Übernahme und Bereitstellung

Volltexte und OCR am MDZ

Dr. Markus Brantl

Agenda

1. OCR im Überblick

2. OCR am MDZ: Inhouse ‐ Outsourcing

3. OCR‐Inhouse‐Produktion ‐ Schritt für Schritt

4. OCR und Outsourcing

5. Projektbeispiel: Integration der Digital Library Copy

Roma 19.10.2011 "Digitization Lifecycle" Dr. Markus Brantl © BSB/MDZ 2

OCR im Überblick

Voraussetzung: Guter Scan• hohe Auflösung, Tiefenschärfe, Seitenausrichtung, wenn

möglich: keine Verzerrung…

1. Image Enhancement (Flecken entfernen, Binarisierung, Seiten gerade rücken, etc.)

2. Layout‐Analyse (Aufbau einer Seite, Bilder etc.)3. Segmentierung (Block, Zeile, Wort, Zeichen)4. Merkmalserkennung (Zeichen) und Klassifikation

(Wörter)5. Lexikalische Analyse


OCR‐Software (Auswahl)Open‐Source‐Software• Tesseract (Google, letztes Release 2011)

• OCRopus (letztes Release: 2009)

Lizenzpflichtige Software• Abbyy ‐ verschiedene Module

– Recognition Server– SDK– Finereader Standalone– XIX – derzeit einzige Omnifont‐Fraktur am Markt

• Arpa– PaperIn Book

• B.I.T. Tomasi– BIT Alpha

• Nuance– Omnipage


OCR‐Anforderungen/ Qualität

• Wissenschaftler benötigen i.d.R. eine Genauigkeit von 99,95%, um positive Aussagen zum Text machen zu können ‐> Steigende Kosten

• Qualitäten darunter eignen sich – oft in Verbindung mit den Bildern (Highlighting der Treffer im Image) ‐als Mittelweg für die Suche


Die Frage der OCR‐Qualität?

Sehr gutGut

= 99,6‐99,95 %= 97‐99,5%

Durchschnittlich = 90‐96% Schlecht = unter 90%


OCR am MDZ

• 35 OCR – Projekte (Antiqua und Fraktur)

• 24 Projekte mit Dienstleistern

• Google‐Projekt: Übernahme und Bereitstellung der Digitalisierungs‐Daten durch das MDZ (derzeit 350.000 Titel mit OCR‐Daten/Volltext)


OCR‐Produktion: Inhouse und OutsourcingI. Inhouse‐Produktion

Texte in Antiqua flach erschlossen/strukturiert

Imageproduktion (TIFF)[aus ZEND‐Workflow]

a) OCR b) OCR[ohne Korrektur] [mit Korrektur]

II. Produktion via Outsourcing

Texte in Fraktur / Antiquatief erschlossen/strukturiert

Imageproduktion (TIFF) [ZEND oder Dienstleister]

OCR/Volltexterfassung nach den Vorgaben der MDZ‐Leistungsbeschreibung

Roma 19.10.2011 "Digitization Lifecycle" Dr. Markus Brantl © BSB/MDZ

BSB‐OCR‐Server Dienstleister

8

Projekte ‐ Auswahl

Outsourcing• Reichstag • Zedler• Regesta Imperii• dMGH• Landtagsprotokolle

Inhouse• Digi20• ZBLG• Jahrbuch für fränkische

Landesforschung• Passauer Neue Presse• Leibniz Publik


Entwicklung von OCR‐Projekten

ZEDLER• Projekt 1 (1999): Erfassung der

Lemmata• Projekt 2 (2004):

Kategorisierung der Artikel• Volltext (2009 Google)• Integration des Google‐Volltexts

in Planung

dMGH• Projekt (2004‐2010)• Bild als die einzige zuverlässige

Referenz• Volltext verborgen • Auszeichnung in drei Blöcken

– Text– Anmerkungen– Kritischer Apparat

• Hoher QS‐Aufwand seitens der MGH

• Seit Relaunch (2010) auch mit Textanzeige


Produktion im Überblick


Workflow – ZENDZEND= Zentrale Erfassungs- und Nachweis-Datenbank bietet u.a.• Abbildung des gesamten Produktionsprozesses in einem modularen System • Eigen-Entwicklung auf Basis von Open-Source-Software• Workflow-Kontrolle• Jedes komplett gescannte Werk der BSB wird mit der ZEND verarbeitet• Offen und beliebig skalierbar• Unterschiedliche Provider (Scannen, Texterfassung etc.) können unlimitierte Daten

an die ZEND liefern• Verwaltet alle bei der Produktion anfallenden Metadaten - administrativ,

bibliographisch, strukturell (m.Volltext), technisch• Steuert auch die Inhouse-OCR-Produktion


ZEND im Überblick


ZEND‐OCR‐Unterstützung

• Steuerung mittels– Organisatorischer Parameter

• Digitalisierung Inhouse / Outsourcing• Projektzugehörigkeit• OCR ja/nein

– Technischer Parameter• Farbtiefe• Auflösung• Sprachenvorgabe für OCR‐Erkennung


OCR‐Inhouse‐Produktion: Schritt für Schritt


Vorbereitung (1)

• Projektmanagement / Festlegung der Projektziele / Organisation

• Klärung der juristischen Rahmenbedingungen (z.B. bei Projekten im 20. Jh.)

• Sichtung der Vorlagen (Format, Seitenzahlen, Erhaltungszustand, Aufschneiden? etc.)

• OCR via Outsourcing– Pflichtenhefterstellung – Formales Ausschreibungs‐ und Vergabeverfahren (ca. 3

Monate!)


Vorbereitung (2)

Materialauswahlfür OCR‐Produktion

Urheberrechtsfreies Material

Urherberrechtsgeschützes Material im Rahmen von Kooperationen

Komplettes Buch Nur Text [keine Bilder] Nur bestimmte Abschnitte/Artikel

Auswahl der geeigneten Exemplare [ggf. werden beschädigte oder fehlende

Seiten durch Seiten aus anderen Exemplaren ersetzt]

Auswahl der Produktionsart nach Schriftart: Antiqua – Inhouse Fraktur – Dienstleister


Materialauswahl: Beispiele für problematisches Ausgangsmaterial

Enge Bindung mit TextverlustVerwerfungen im Papier

• Beschädigte Seiten (z.B. Risse)• Restaurierte Seiten (z.B. mit Überklebungen)• Schrift (zu klein, kursiv, Formeln, handschriftliches)


Vorbereitung (3)

• Titelaufnahme in ZEND

• Erstellen des Digitalisierungsauftrags =>XML‐Ticket für OCR‐Produktion


Digitalisierungsauftrag mit OCR‐Parametern

Printmedien: Schrift: Antiqua

Imageproduktion – Parameter: TIF‐Format unkomprimiert 300 ppi Graustufen pro Seite ein Image

OCR‐Produktion – Parameter: OCR [Standard oder mit Korrektur über

Korrekturstation] Spracheinstellung [z.B. German]


Scannen: Handauflage, Roboter oder Einzugsscanner?


Anforderungen an einen guten Scan für OCR

• Hohe Auflösung 300 ppi, besser 400 (neue Entwicklungen)

• Farbtiefe‐ in Abhängigkeit von der Vorlage : Farbe, Graustufen bei guter Binarisierung u.U. auch bitonalmit 600 ppi

• Möglichst keine Verzerrung (Buchfalz)

• Scan vom Mikrofilm?Roma 19.10.2011 "Digitization Lifecycle" Dr. Markus Brantl © BSB/MDZ 22

ZEND ‐nach dem Scannen

Roma 19.10.2011 "Digitization Lifecycle"

• Images: Master‐TIFFs und Derivate: JPEG • Es liegt eine erste Strukturdatei vor

(logisch/physikalisch)• QS der Images mit Webfreigabe =>Zugleich

Weiterleitung der TIFFs für1. digitale Langzeitarchivierung2. OCR‐Produktion

• Verlinkung vom Katalogisat zur• Standardpräsentation der ZEND• Es gibt eine URN, die über eine OAI‐Schnittstelle

an die DNB gemeldet wirdDr. Markus Brantl © BSB/MDZ 23

ZEND – QS Images für Webbreitstellung bzw. OCR

Qualitätskontrolle der Images imZEND‐ToC‐Editor:

• Vollständigkeit • Korrekte Reihenfolge • Scanparameter erfüllt • Lesbarkeit • Seiten gerade ausgerichtet • Seiten korrekt gedreht

Weiterleitung der TIFFs an OCR‐Server

oder Reklamation


Standardpräsentation: ZEND‐Viewer


Vom Image zum maschinenlesbaren Text amBeispiel: Digi20




Inhouse‐Produktion (nach Scannen und QS)• Derzeit beschränkt auf Drucktype Antiqua

• 2 Maschinen, davon eine als Korrekturstation

• Verwendung des Abbyy Recognition Server:– Sehr gute Qualtität der FineReader – Maschine– Anhängen von Korrekturstationen– XML‐Ausgabe mit Koordinaten– Generierung von PDFs

• MDZ‐Workflows:– Gesteuert durch „XML‐Tickets“1. Standard (ohne Korrektur)2. Korrektur via Korrekturstationen (bei entsprechenden Ressourcen)


OCR‐Ergebnisse

• OCR‐Ergebnisse pro Seite

– eine XML‐Raw‐Datei mit den erkannten Buchstaben und deren Koordinaten

– eine PDF‐Datei (mittels eines Skriptes werden die einzelnen PDFs automatisiert zu einer einzigen Datei zusammengefasst, die dann für den Download zur Verfügung steht)

• „Result"‐Datei mit Statistiken zur OCR‐Erkennung: Anzahl der Zeichen, Erkennungsgenauigkeit etc.


XML‐Raw: Buchstaben‐Koordinaten „Napoleon“


Weitere Arbeitsschritte

• Ausgangsmaterialien:– Images– Strukturdaten– Volltexte mit Buchstaben‐Koordinaten

• Übernahme der Daten in das MDZ‐Standardformats (TEI P5)

• Indexierung

• Web‐PräsentationRoma 19.10.2011 "Digitization Lifecycle" Dr. Markus Brantl © BSB/MDZ 32

MDZ-Standardformat

o Alle Metadaten in einemXML-Framework: TEI P5• Administrativ• Technisch• Bibliographisch• Strukturell, wie Volltext

oder digitaleInhaltsverzeichnisse


MDZ‐Standardformat und OCR

• Warum?– Einheitlichkeit,– Nicht proprietärer Standard für LZA– Weiterverwendbarkeit

• Automatische Kontrolle des OCR‐Output:– Vollständigkeit– Nicht leer– Erkennungsgenauigkeit?

• Wesentliche Aufgaben :1. Zusammenführung der Buchstaben zu Worten2. Zusammenführung der Seiten zu einem zusammenhängenden Dokument3. Koordinatentransformation4. Codierung in TEI‐XML


Bestandteile des MDZ‐Standardformat


„Napoleon“: Wort‐ID mit ZEND‐ID, Image‐, Zeilen‐, Wort‐Nummer


Koordinaten für „Napoleon“


Standard‐Indexierung

• Verwendung von Apache Solr/Lucene

• Ausgangsdatei dynamisch generiert

• Konfigurationsdatei Vorschriften zur Indexierung, Darin Stopwörter, Zeichenersetzungen Vorgaben zur Wortgewichtung u.a.


Web‐Bereitstellung

• Verwendung von Apache Cocoon– XML‐ Publishing Framework– Pipelining Mechanismus – Zusammenführung der Bestandteile des digitalen Objekts: XML, ZEND, Bilder, Volltextindex …

– Beispiel: Highlighting


XML‐Ergebnis der Suche nach Napoleon


Einsatz von SVG (Scalable Vector Graphics)


OCR und Outsourcing

• Projektmanagement / Dienstleisterführung

• Pflichtenhefterstellung bei OCR‐Produktion über Dienstleister

• Datenbasis: Digitale Master (TIFF)

• Ausschreibungs‐ Vergabeverfahren bei Produktion über Dienstleister

Pflichtenheft für OCR/Volltexte:

Vorgaben des MDZ: Lieferbedingungen [Lieferfristen] Netzanbindung (NFS oder CIFS) Testdatenlieferung Ablauf Qualitätssicherung und Korrekturen Produktionsparameter allgemein:

‐ Dateiformat [XML, PDF]‐ pro Seite eine XML‐Datei‐ Dateinamen [ZEND‐Dateinamen]‐ Erfassungsgenauigkeit [in %]‐ Erfassung der Wortkoordinaten‐ Erfassung der Formatierungen

Produktionsparameter speziell: Spezielle/tiefere Textauszeichnung Artikelseparierung


OCR‐Produktion durch DienstleisterPflichtenheft für OCR/Volltexte

Roma 19.10.2011 "Digitization Lifecycle" Dr. Markus Brantl © BSB/MDZ

Beispiel: Ausschnitte aus einem Pflichtenheft

Aufwand für die Erstellung:• 1 Pflichtenheft insgesamt oder pro Buch?• Voraussetzung: Genaue Materialanalyse bzw. Kenntnis des Inhalts• ggf. in Englisch für internationale Dienstleister

43

OCR‐Produktion durch DienstleisterAuswahl des Dienstleisters

Anforderung von Testdaten:

• Vor Auftragsvergabe erfolgt eine Marktsichtung mit Anforderung von Testdaten von ausgewählten, repräsentativen Seiten


Integration von Google: Beispiel RegionalportalProjektbeispiel: Integration der Digital Library Copy


Trefferliste Trefferliste


Snippet-View-Trefferliste mit Trefferanzeige im Image


Image mit Treffer Image mit Treffer und


Treffer in der Volltext-Anzeige


Einige Zahlen

• 350.000 Volltexte mit 1,2 Terabyte Indexdaten– Vergleich: Gesamt‐Datenvolumen des MDZ in der Langzeitarchivierung 330 Terabyte (Stand: Sept. 2011)

• Zeitbedarf für Reindexierung: 9 Tage


Probleme mit OCR(‐Workflows)

• Zu späte oder nachträgliche Festlegung der zu erfassenden Strukturen

• Abstimmung zwischen Vorlagenqualität und gewünschter Textgenauigkeit bzw. ‐struktur (Schriftgröße, Bindung, Erhaltungszustand, Bilder, Tabellen, ...)

• Qualitätskontrolle: – wer, wann? – was und wie wird kontrolliert?


Contact:

Vielen Dank!

Vielen Dank!Kontakt: brantl[at]bsb-muenchen.de

Acknowledgements: Dr. Birgit Gilcher, Dirk Scholz


Documents

Volltexte und OCR am MDZ - digitale-sammlungen.de · • 35 OCR –Projekte (Antiqua und Fraktur) • 24 Projekte mit Dienstleistern • Google‐Projekt: Übernahme und Bereitstellung