www.optik-photonik.de

44 Optik&Photonik 1/2014 © 2014 WILEY-VCH Verlag GmbH & Co. KGaA, Weinheim

Präzise 3D-Messung im VorübergehenPortable Kamerasysteme in Kombination mit Laserscannern helfen bei der Restaurierung historischer Gebäude

Gerhard Holst und Bernhard Strackenbrock

Das MuSe-Forschungsprojekt der Bay-erischen Forschungsstiftung verfolgt zwei verschiedene Ziele, die es in Zu-kunft ermöglichen sollen, auf einfache Art und Weise mit Hilfe stationärer und portabler Messsysteme präzise 3D-Modelle zu erstellen, z. B. von his-torischen Gebäuden. Hierzu sollen die Messdaten stationärer Laserscanner mit den Messdaten eines portablen Kamerasystems verknüpft werden. Zu-dem ist im Rahmen des Projekts zum ersten Mal ein solches Kamera basie-rendes Messsystem mit ausreichender Dynamik realisiert und erprobt wor-den. Die verschiedenen 3D-Modelle, welche mit den Messdaten erzeugt werden, können verschiedene Anfor-derungen erfüllen, zum einen stellen sie eine wichtige Grundlage für eine Restaurierung dar, wenn Schäden ent-stehen, und zum anderen ermöglichen sie neue Arten der Vermittlung histori-schen Kulturguts über das Internet, wie z. B. virtuelle Besuche.

Die Kamera-gestützte 3D-Erfassung hat eine lange Tradition und folgte immer der fortschreitenden Technologieent-wicklung im Bereich digitaler Kameras. Seit den 90er-Jahren wurden im Deut-schen Zentrum für Luft und Raumfahrt (DLR) unterschiedliche Zeilenkame-rasysteme zur 3D-Kartierung der Ober-flächen der Erde und verschiedener Planeten des Sonnensystems entwickelt. Die bekannteste 3D-Kamera mit Zei-lentechnologie ist die High-Resolution-Stereo-Camera (HRSC). Sie umkreist nunmehr seit genau zehn Jahren mit der europäischen Mission „Mars Express“ den roten Planeten und hat in dieser Zeit weite Teile in bisher nicht gekannter Auflösung dreidimensional kartiert [1].

Die HRSC-Kamera und deren Nach-folger MFC wurden erstmals auch auf

Flugzeugen eingesetzt. Ab 2007 wurde am DLR auch ein mehrfaches Flächen-kamerasystem für unterschiedliche Luftfahrzeuge „Multi Airborn Camera System“ (MACS) auf der Basis von pco.4000 Kameramodulen (Abb. 1) ent-wickelt [2] und seit 2010 erfolgreich betrieben. Auch für Satellitenbilder gibt es bereits ein Verfahren zur vollautoma-tischen Erzeugung von 3D-Modellen [3]. Entscheidend für das Erstellen von 3D-Modellen ist die Aufnahme von einander überlappenden Bildern aus unterschiedlichen Perspektiven, aus de-nen räumliche Information gewonnen werden kann. Die Umsetzung der Bild-informationen in 3D-Modelle erfolgt dabei in zwei Schritten. Zuerst wird in einem klassischen photogrammetri-schen Prozess aus den Bildinhalten und den Beobachtungen von Hilfssensoren wie GPS, Kreisel und Beschleunigungs-sensoren die genaue Position und Lage des Sensors bestimmt. Dies ermöglicht den Einsatz von „Semi-Global Mat-ching“ (SGM) [4], ein Verfahren, das am DLR entwickelt wurde um für na-hezu jeden Bildpunkt eines Stereobildes den korrespondierenden Bildpunkt des

zugehörigen Bildes zu finden. Aus den Korrespondenzen lässt sich anhand der bekannten Position und Lage (äußere Orientierung) der Bilder via Vorwärts-schnitt eine sehr dichte Tiefenkarte berechnen, welche die X-, Y-, und Z-Koordinaten der aufgenommenen Bo-denpunkte enthält.

Hervorgerufen durch das geringe Gewicht von nur zehn Kilogramm des MACS-Kamerakopfes, der verglichen zu den sonst in Flugzeugen oder Satelli-ten eingesetzten Kameraköpfen um ein Vielfaches leichter ist, entstand die Idee, einen professionellen Kamerakopf zur Ergänzung von Laserscannern im Be-reich der Bewahrung von Gebäuden, die zum Kulturerbe (Cultural Heritage) ge-hören, einzusetzen [5]. Bei der präzisen Erfassung solcher Objekte findet man Oberflächen mit sehr unterschiedlichen Reflexionseigenschaften (von mattem Stoff bis zur Blattvergoldung) auf engem Raum. Da sich mit dem SGM-Verfahren nur dann ein 3D-Pixel berechnen lässt, wenn er sich hinreichend von seiner Umgebung unterscheidet, war eine der Hauptforderungen an ein Kamerasys-tem, dass es über eine ausreichend große

Abb. 1 Aufnahme der hochauflösenden MACS-Kameramodule (mit 3x pco.4000 und Spezialoptik, links). Aus MACS-Aufnahmen berechnetes Modell von Berlin Adlershof mit Farbtextur (rechts; Quelle: DLR).

Industrielle Bildverarbeitung

Optik&Photonik 1/2014 45© 2014 WILEY-VCH Verlag GmbH & Co. KGaA, Weinheim

Intra-Szenen-Dynamik verfügen muss, um mit solchen Bildinhalten umgehen zu können. Die neue scientific-CMOS-Technologie (sCMOS) mit ihren hoch-dynamischen Bildsensoren (1 : 25000) drängte sich als Kameratechnik der Wahl förmlich auf. Für die Realisie-rung eines solchen tragbaren Messsys-tems wurde ein Forschungsprojekt bei der Bayerischen Forschungsstiftung erfolgreich beantragt. Partner sind das DLR (Bildverarbeitung, Modellierung, Durchführung), Zoller + Fröhlich GmbH (Laserscanner) und PCO AG (sCMOS-Kamerasystem) sowie meh-rere Dienstleister.

Das MuSe-Projekt

Im Rahmen des MuSe-Projekts wird das seit Sommer 2012 zum UNESCO-Welterbe gehörende Markgräfliche Opernhaus in Bayreuth hochgenau (bis in den Submillimeter-Bereich) fotorea-listisch in 3D modelliert. So könnte es auch bei möglicher Vernichtung durch Brand oder ähnliche Katastrophen der

Nachwelt „virtuell“ erhalten bleiben. Für dieses digitale kulturelle Erbe, die moderne Form der „räumlichen“ Ar-chivierung, werden mit dem Projekt in Bayern neue Bereiche eröffnet, die auch international im Rahmen des Welt-erbes von Interesse sind. Als zentrale Neuerung ist dabei eine „Low Resolu-tion / High Resolution“-Modellierung eingeführt worden, bei der in ein mit dem Z+F-Laserscanner vergleichsweise einfach zu erstellendes Grobmodell mit 2 – 3 mm Auflösung eine Verfeinerungs-stufe mit portablen handgeführten 3D-Sensoren eingehängt ist. Dieses portable Messsystem ist auf Basis einer pco.edge sCMOS-Kamera als selbst-referenzie-rendes, photogrammetrisches System aufgebaut, das ohne externe Lagemes-sung und ohne aktive Beleuchtung mit Mustern auskommt. Die Sensorposition und die 3D-Punktewolke werden direkt aus den Kamerabildern bestimmt.

Allerdings geht die Zielsetzung des Forschungsprojekts MuSe Bayreuth über die reine 3D-Modellierung des Opernhauses hinaus (Abb. 2). Es geht da-

rum, durchgängige Hard- und Software-Werkzeuge zu entwickeln und zu erpro-ben, die eine authentische, mehrskalige, multisensorielle 3D-Modellierung der vorhandenen realen Umwelt in höchster Auflösung für Aufgaben der Industrie, des Kultur- und Umweltschutzes und des Tourismus ermöglichen.

Laserscannersystem

Bei diesem Projekt kam der Z+F IMAGER 5010C-Laserscanner zum Einsatz (Abb. 3). Durch eine Messrate von mehr als einer Million Punkten/Se-kunde und ein großes vertikales Sicht-feld von 320° sind auch kleine verwin-kelte Bereiche schnell erfasst, wodurch das Gerät hervorragend zur digitalen Dokumentation von sehr komplexen Gebäuden geeignet ist. Zudem kann der Scanner HDR (High Dynamic Range) Bilder erzeugen, die im Anschluss be-nutzt werden, um die Punkte einzufär-ben, was immer dann von Vorteil ist, wenn es um Szenen mit hohen Kont-rasten geht. Üblicherweise werden dazu

PCOKelheim

Die PCO AG mit Sitz in Kelheim an der Donau ist einer der weltweit füh-renden Hersteller wissenschaftlicher Kameras. Dr. Emil Ott gründete das Unternehmen 1987 aus dem Impuls heraus, einen wissenschaftlichen Versuchsaufbau zu verbessern. Kontinuierlich treibt PCO seitdem die Entwicklung schneller und empfindlicher Kamerasysteme für den Einsatz in Forschung und Entwicklung voran. Die Facebook-Seite von PCO mit zahl-reichen Bildern des Unternehmens finden Sie unter: www.facebook.com/pco.ag

www.pco.de

Die Firma

Abb. 2 Die Fürstenloge des Opernhauses in Bayreuth vor der Restaurierung (links). 3D-LowRes Modell der Fürstenloge (rechts; Quelle: Bayerische Schlösserverwaltung [6]).

Abb. 3 Der Z+F IMAGER 5010C Laserscanner.

Abb. 4 Die sCMOS-Kamera pco.edge und der Scan-Spiegel für das por-table Kamera-system.

www.optik-photonik.de

46 Optik&Photonik 1/2014 © 2014 WILEY-VCH Verlag GmbH & Co. KGaA, Weinheim

mehrere Belichtungsstufen desselben Bildausschnittes aufgenommen und miteinander verschmolzen, um da-durch Details in ansonsten unter- oder überbelichteten Bereichen zu erhalten.

Die HDR-Fähigkeiten des Gerätes sind insbesondere in diesem Projekt von Vorteil, da die Laserscan-Daten als Refe-renz für die photogrammetrischen Daten dienen. Die Minimierung von Schatten und überbelichteten Bereichen ermög-lichen es, eindeutige Zuordnungen zu finden zwischen Punkten aus den Laser-scans und Punkten auf Fotos, welche mit externen Kameras aufgenommen wur-den. Beim Z+F IMAGER 5010C wird das resultierende HDR-Panorama mithilfe einer rauscharmen internen CMOS-Kamera und 42 Kamerapositionen mit jeweils verschiedenen Belichtungszeiten gewonnen. Derartige HDR-Bilder kön-nen zwar auch durch externe Kameralö-sungen unter Zuhilfenahme von Nodal-punktadaptern erstellt werden, jedoch ist hierbei der manuelle Aufwand enorm. Zudem birgt der manuelle Prozess viele Fehlerquellen, wie Parallaxe oder eine falsche 3D-Punkt-zu-2D-Pixel-Zuord-nung. Durch den vollkommen automa-tisierten und kalibrierten Z+F-Prozess werden die Farbdaten selbstständig im Anschluss an einen Scan aufgenommen und präzise mit den Punktdaten vereint.

Portables Kamerasystem

Das Kernstück des neuen Kamerasys-tems sind neue scientific-CMOS-Bild-sensoren, die neben einem extrem gerin-gen Rauschen, einer hohen Auflösung von 5,5 Megapixel auch eine maximale Framerate von 100 Bildern/Sekunde und vor allem eine sehr nützliche, hohe Dynamik von mehr als 1 : 25 000 bieten. Da die Kamera nur eine halb so große Auflösung wie die Kameras des MACS-Kamerasystems aufweist, aber über die

zwanzigfache Bildrate verfügt, kann sie zusätzlich mit einem Scan-Spiegel ver-sehen werden, der ursprünglich für ein solarbetriebenes Höhenflugzeug entwi-ckelt wurde (Abb. 4).

Der Spiegel kann im Stop-and-Go-Modus bis zu zwanzig Positionen/Se-kunde einnehmen und das Kamerabild so umlenken, dass sich die Pixelauflö-sung in einer Achse des Sensors beliebig vergrößern lässt. Wird die Kamera nun auf einem Fahrstativ am Objekt vorbei-gefahren, entstehen hochauflösende Bilder für die 3D-Auswertung. An be-sonders unzugänglichen Stellen oder auf Gerüsten wird die Kamera vom Sta-tiv abgenommen und mit der Hand um das Objekt bewegt. Hierfür ist die neue USB 3.0-Version der pco.edge Kamera besonders geeignet.

Workflow

Im ersten Arbeitsschritt wurde im Markgräflichen Opernhaus ein klas-sisches 3D-Aufmaß mit Laserscanner und Farbkamera durchgeführt. Hier-für wurden rund 120 Laserscans mit je 10 000 × 20 000 3D-Pixeln in vier Ebe-nen und zirka 1200 hochauflösende Digitalbilder mit einer professionellen Spiegelreflex Kamera aufgenommen. Mit diesen Daten wurde ein „Low Re-solution 3D-Modell“ (Abb. 5) mit einer Auflösung von 2 – 3 mm als Gittermo-dell berechnet. Dieses Modell dient als Referenzgeometrie zur Platzierung der mit dem handgeführten Kamerasystem aufzunehmenden Details mit ca. 0,5 mm Auflösung.

Für das „High Resolution“-Modell werden zuerst die einzelnen Masken, Figuren und Details mit dem portablen Kamerasystem und einer mitbewegten LED Lichtquelle gefilmt (Abb. 6). Durch die Bewegung der Kamera werden Ob-jekte und Oberflächen in verschiedenen Bildern in unterschiedlicher Perspektive dargestellt. Um daraus jedoch räumli-che Informationen abzuleiten, wird zu-nächst die genaue äußere Orientierung der Kamera während der Aufnahme jedes einzelnen Bildes ermittelt. Diese Information lässt sich mit modernen „Structure from Motion“-Verfahren (SfM) aus den Bildern selbst ableiten. Dazu werden pro Bild einige hundert her ausstechende Bildmerkmale (Fea-tures) gesucht und deren korrespondie-rende Punkte in den anderen Bildern identifiziert. Dies geschieht auf zuver-lässige Art und Weise mit dem robusten „Scale invariant feature transform“-Ver-fahren (SIFT), welches selbst bei stark perspektivisch verzerrten Abbildungen korrespondierende Eigenschaften noch eindeutig zuordnen kann. Anhand die-ser Zuordnungen wird mit bestehender

Abb. 6 Bildfolge einer Maske mit dem handge-führten porta-blen Kamera-system (links); HighRes-3D-Modell der Maske (rechts).

Abb. 5 Blockdiagramm der Prozess-schritte des Workflows der Datenverarbei-tung bei der Berechnung des hochauf-lösen den 3D-Modells des Markgräflichen Opernhauses in Bayreuth (MuSe-Projekt).

Low Resolution Modell

Laserscanner

Orientierung

3D-LowRes-Modell (mit Textur)

High Resolution Modell

Kamerabildsequenzen

Vor-Orientierung

Absolute Referenzierung

Bündelausgleichung

Semi-Global Matching (SGM)

3D-HiRes-Modell (mit Textur)

Farbbilder

Orientierung

Industrielle Bildverarbeitung

Optik&Photonik 1/2014 47© 2014 WILEY-VCH Verlag GmbH & Co. KGaA, Weinheim

Software (z. B. Bundler, VisualSFM, etc.) die ungefähre äußere Orientierung der Bilder zueinander berechnet.

Allerdings sind diese Informationen noch zu ungenau, um ein Tiefenmodell mit SGM zu berechnen. Sie stellen je-doch gute Startwerte für einen nachfol-genden Bündelblockausgleich dar [7], mit dem sich die genaue äußere Orien-tierung jedes einzelnen Bildes berech-nen lässt. Hierbei können auch absolute Messungen aus Laserscans oder von ei-nem Tachymeter berücksichtigt werden und somit die absolute Genauigkeit der resultierenden 3D-Modelle sicherge-stellt werden. Mithilfe der bekannten Geometrie der Bilder werden nun auto-matisch geeignete Bildpaare ausgewählt, deren relative Orientierung (Abstand und Winkel zueinander) für ein Stereo-Matching mit SGM geeignet ist. Die Be-dingungen an die Kameraaufnahmen sind zum einen, dass die Überlappung der Bilder hoch ist, und zum anderen, dass die Bilder in einem günstigen Win-kel zueinander aufgenommen wurden (in etwa 3 – 30°). Mithilfe von SGM lässt sich nun eine Tiefenkarte für jedes ge-eignete Bildpaar generieren. Da die pco.edge-Kamera bis zu fünfzig Messbilder / Sekunde aufnimmt, stehen für ein Bild B mehr als zehn Partnerbilder zur Ver-fügung. Dadurch entsteht eine Vielzahl von Bildpaaren und daraus abgeleiteten Tiefenkarten je Bild der Aufnahmefolge, sodass Fehlzuordnungen beim „Mat-ching“ leicht ausfindig gemacht und eliminiert werden können. Schließlich wird pro Bild der Sequenz ein Gitter-netz der Objektoberfläche berechnet, welches in der Handhabung und dem Datenvolumen deutliche Vorteile ge-genüber einer Punktwolke besitzt. Die einzelnen Gitternetze werden dann ab-schließend zu einem Objekt verschmol-zen.

AusblickDas im MuSe-Projekt entwickelte Multisensorvorgehen wurde zusätz-lich in einem Testbergwerk der RAG auf einer Draisine erprobt (Abb. 7). In den kommenden Monaten soll das auf ZF-Laserscannern aufgebaute Schacht-messsystem der RAG um eine Zusatz-Komponente aus mehreren pco.edge sCMOS-Kameras, die eine Auflösung und Messgenauigkeit von 3 mm auch bei einem Vorschub von 30 km/h zulassen, erweitert werden. Erste Versuche dazu werden im Sommer 2014 erfolgen.

Danksagung

An dieser Stelle möchten wir uns bei der Bayerischen Forschungsstiftung für die Unterstützung des MuSe-Projektes bedanken. Unser Dank geht auch an die Bayerische Verwaltung der Staatli-chen Schlösser, Gärten und Seen für die Unterstützung bei den Aufnahmen im Markgräflichen Opernhaus.

[1] www.dlr.de/dlr/desktopdefault.aspx/tabid-10423/#gallery/9312

[2] F. Lehmann et al.: MACS – Modular Air-borne Camera System for generating pho-togrammetric high-resolution products, Photogrammetrie Fernerkundung Geoin-formation (2011) 6, 435 – 446

[3] J. Wohlfeil et al.: Fully Automated Gen-eration of Accurate Digital Surface Models With Sub-meter Resolution From Satellite Imagery, International Archives of the Pho-togrammetry, Remote Sensing and Spatial Information Sciences, Volume XXXIX-B1 (2012) 75 – 80

[4] H. Hirschmüller: Stereo Vision in Struc-tured Enviroments by Consistent Semi-Global Matching. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. IEEE 2006, 2006-06-17 – 2006-06-22, New York, NY (USA); H. Hirschmüller: Stereo Processing by Semiglobal Matching and Mutual Informa-tion. IEEE Transactions on Pattern Analy-sis and Machine Intelligence 30 (2008) 2, 328 – 341

[5] G. Hirzinger et al.: Photo-realistic 3D mod-elling – From robotics perception towards cultural heritage. International Workshop on Recording, Modeling and Visualiza-tion of Cultural Heritage, Asona, Switzer-land, May 22-27, (2005); G. Hirzinger & B. Strackenbrock: Digitale Baustelle – innova-tiver Planen, effizienter ausführen (2011) 50 – 59

[6] www.schloesser.bayern.de[7] J. Wohlfeil: Automated high resolution 3D

reconstruction of cultural heritage using multi-scale sensor systems and semi-global matching. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XL-4/W4 (2013) 37 – 43

DOI: 10.1002/opph.201300041

Autoren

Gerhard Holst studierte Elektrotechnik Fachrichtung Nachrich tentechnik an der RWTH Aachen (Dipl.-Ing. 1991) und promovierte danach in Elektro technik Fachrichtung Nachrichtentechnik an der Universität Dortmund in Zusammenarbeit mit dem

MPI für Systemphysiologie (1994). Von 1994 – 2001 arbeitete er als Wissenschaftler in der Mikrosensorforschungsgruppe des MPI für Marine Mikrobiologie, Bremen. Seit 2001 leitet er die Forschungsabteilung der PCO AG, Kelheim.

Bernhard Strackenbrock, Dipl. Ing. (FH), studierte Vermessung und Photogrammmetrie in Mainz und in Berlin (West) sowie acht Semester Archäologie an der FU Berlin. Danach beschäftigte er sich mit der Entwicklung spezieller photogrammetrischer Kameras am Deutschen Bergbaumuseum in Bochum. Kurz nach der Wende 1989 ging er mit Unterstützung des DBM als Trainer in einen pro-grammiertechnischen Betrieb in die neuen Länder, wo er 1991 sein eigenes Büro gründete. Seit 2003 arbeitet er für das DLR (Deutsches Zentrum für Luft und Raumfahrt) Robotik und Mechatronik Centrum im Bereich Kameraentwicklung und 3D-Weltmodellierung.

PCO AG, Donaupark 11, 93309 Kelheim, Germany, Tel +49 (0)9441 2005 0, Fax +49 (0)9441 2005 20, E-Mail: info@pco.de

Abb. 7 Blick in einen Tunnel der RAG mit einer Draisine, die das portable Kamerasystem bewegt (links). Erste LowResolution / HighResolution 3D-Modelle in der Übersicht und im Detail eines solchen RAG-Tunnels (Mitte und rechts).