Luftbildbasierte Zustandsüberwachung
Herausforderungen bei der Integration von Bestandsdaten in BIM
Dipl.-Ing. Norman Hallermann
Bauhaus-Universität Weimar, Professur Modellierung und Simulation – Konstruktion
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Inhalt
• Einführung und Motivation
• Unbemannte Flugsysteme (UAS)
• UAS-basierte Zustandsüberwachung von Bauwerken
• UAS – BIM
• Zusammenfassung
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Kurzvorstellung – Norman Hallermann
Beruflicher Werdegang
10/2002 – 04/2006 Diplomstudiengang Bauingenieurwesen und Umwelttechnik an der Universität der Bundeswehr München
05/2006 – 03/2009 Kompaniechef Pioniermaschinen- und Baukompanie in Holzminden
04/2009 – 06/2011 Infrastrukturoffizier im Infrastrukturstab Nord in Hannover
seit 07/2011 Wissenschaftlicher Mitarbeiter Bauhaus-Universität Weimar, Professur Modellierung und Simulation – Konstruktion
Bisherige Arbeiten
seit 2012 Umfangreiche UAS-basierte (manuell, automatisch) Datenerfassung an verschiedenen Bauwerken (Ingenieurbauwerke, historische Bauwerke)
05/2013 – 06/2015 Forschungsprojekt Zukunft Bau „Unbemannte Fluggeräte zur Zustandsermittlung von Bauwerken“ (SWD-10.08.18.7-13.05)
seit 11/2016 Forschergruppe „Digital Engineering für Planungs- und Revitalisierungsprozesse von Stadtquartieren“ (2016 FGR 0026)
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Einführung und Motivation
Building Information Modeling (BIM) – Digitale Methode
„BIM im Bestand“
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Einführung und Motivation
Ziel: Sicherstellung der Standsicherheit und Gebrauchstauglichkeit
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Zustandserfassung und Überwachung von Ingenieurbauwerken (DIN 1076)
• Visuelle, handnahe Prüfung
• Größe und Zugänglichkeit des Bauwerks
• Spezielle Zugangstechnik
• Einsatzrisiken
• Nutzungseinschränkungen
• Logistischer-, zeitlicher-, personeller Aufwand
• Subjektive Bewertung der Schäden
• Unzureichende, lückenhafte Dokumentation
(Luft)Bildbasierte Zustandserfassung
Qualität Effizienz
Einführung und Motivation UAS-basierter Bauwerksaufnahme
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Flugsystem: V-Form OctocopterFlugzeit: 12 - 22 Min.Windstabilität: bis 15 m/sNutzlast: 850gMax. Fluggewicht: 2,3 kgKamerahalterung: aktiv stabilisierend
Kamera: Sony Alpha 7Rspiegellose Systemkamera (DSLM)
Sensor: CMOS Vollformat (36 � 24 mm)Auflösung: 7360 � 4912 Pixel (36,4 MP)Pixelgröße: 4,89 � 4,89 �mBrennweite: 35 mmKalibrierung: ohne, konstant
Unbemannte Flugsysteme (UAS)
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Sony Alpha 7R(36 MP, Vollformat)
Sony Camcorder PJ810E (Full HD Video)
FLIR TAU 2 640 withPanasonic Lumix TZ61 orSony Camcorder PJ810E
(AscTec IR Raw Data Logger)
Weitere Nutzlasten: Sony Alpha 6000, Sigma DP1 Merrill, 46 MP, RGB Schichten, FOVEON X3
Tetracam ADC Micro, 3,2 MP CMOS Sensor, multispektral (520–920 nm)
Flugsystem AscTec Falcon 8 – Nutzlastkonzept
Unbemannte Flugsysteme (UAS)
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Mehr Informationen: https://www.youtube.com/watch?v=u_oBNH8Olz8
Luftbildbasierte visuelle Zustandsermittlung
UAS-basierte Zustandsüberwachung von Bauwerken
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Luftbildbasierte visuelle Zustandsermittlung – Manuelle Datenerfassung
UAS-basierte Zustandsüberwachung von Bauwerken
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Schaden (Riss, Abplatzung, Verformung)... ?
…Erkennen ?
…Lokalisieren ?
…Messen ?
…Dokumentieren ?
UAS-basierte Zustandsüberwachung von Bauwerken
Luftbildbasierte visuelle Zustandsermittlung
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Bild(hoch aufgelöst, geo- und zeitlich referenziert)
Kamera UAS
Automatisierte Datenerfassung
Computer Vision Virtual Reality
Automatisierte Schadens…(Riss, Verformung, Abplatzung, Verfärbung)
… Erkennung, Lokalisierung, Vermessung
Dokumentation
Automatisierte (Luft)Bildbasierte Zustandserfassung
UAS-basierte Zustandsüberwachung von Bauwerken
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Luftbildbasierte visuelle Zustandsermittlung – Deformationsmonitoring
UAS-basierte Zustandsüberwachung von Bauwerken – Anwendungsbeispiele
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
• Konventionelle Überwachung/ Prüfung
� visuell basiert (Prüfingenieur)
• Sehr kleine Veränderungen/ Verschiebungen über lange Zeit
� kleine lokale oder globale Deformationen bleiben oft unentdeckt
� konventionelle Messung mit Tachymeter
• Messpunktbasierte Überwachung extrem zeitaufwendig
� sehr hohe Kosten, längere Inspektionsintervalle
Luftbildbasierte visuelle Zustandsermittlung – Deformationsmonitoring
UAS-basierte Zustandsüberwachung von Bauwerken – Anwendungsbeispiele
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Automatisierte Aufnahme auf vorgeplanten GPS-Flugrouten
UAS-basierte Zustandsüberwachung von Bauwerken – Anwendungsbeispiele
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
• Stereoskopische Bildauswertung überlappender Bilder
• Structure-from-Motion (SfM), Bündelausgleich, Stereo Image Matching
• 3D-Modellierung und Texturierung der Oberfläche (Originalbilder)
Photogrammetrische Auswertung
UAS-basierte Zustandsüberwachung von Bauwerken – Anwendungsbeispiele
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
• Kamera: Sony Alpha 7R (36MP, Vollformat)
• Luftbilder: 280 (4 Streifen mit je 70 Bildern)
• Aufnahmezeit: 40 Minuten
• Messpunkte: > 1,87 Mrd. !!
• Auflösung am Objekt: ~ 1,6 mm/Pixel
• Positionsgenauigkeit: � 1,0 mm / � 6,0 mm
Ziel: 54 Bilder, Sony Alpha7R 55mm,Distanz ca. 60m (außerhalb der Fahrbahn + Sicherheitsabstand), Aufnahme mit AscTec Trinity Autopilot, Verformungsdetektion < 10 mm.
� Aufnahmezeit 5 Minuten !!!
Vollständige Aufnahme der Stützwand
UAS-basierte Zustandsüberwachung von Bauwerken – Anwendungsbeispiele
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
• Change Detection mit farbcodierten Punktwolkenvergleichen
Automatische Detektion von Veränderungen
UAS-basierte Zustandsüberwachung von Bauwerken – Anwendungsbeispiele
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Mehr Informationen: https://www.youtube.com/watch?v=u_oBNH8Olz8
UAS-basierte Zustandsüberwachung von Bauwerken – Anwendungsbeispiele
Luftbildbasierte visuelle Zustandsermittlung – Schadenserfassung
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
UAS-basierte Zustandsüberwachung von Bauwerken – Anwendungsbeispiele
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
UAS-basiertes Monitoring: Erfassung komplexer Bauwerksgeometrien
UAS-basierte Zustandsüberwachung von Bauwerken – Anwendungsbeispiele
3D-Rekonstruktion Brückenpfeiler
3D-Punktwolke: ~ 100 Mio. Pkte. Aufnahmeabstand: 4,5 mPunktdichte: 17 Punkte/cm² Anzahl Bilder: ca. 1250Genauigkeit: ~ 1,7 mm Bildauflösung: 0,6 mm/Pixel
Ca. 30m
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
UAS-basierte Zustandsüberwachung von Bauwerken – Anwendungsbeispiele
UAS-basiertes Monitoring: Erfassung komplexer Bauwerksgeometrien
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
UAS und BIM ????
UAS – BIM
• Entwurfsphase
� Bestandsdatenerfassung
• Konstruktionsphase
� Baufortschrittsanalyse
• Nutzungsphase
� Zustandserfassung
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
UAS – BIM
Bestandsdatenerfassung
• Georeferenzierte Gelände- und Bauwerksmodelle
• Grundlage für Simulationen (Variantenuntersuchungen, Verkehr, Baustellenlogistik, Sonnenstand, Hochwasser)
• Visualisierung in VR-Umgebungen
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
UAS – BIM
Bestandsdatenerfassung
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
FORSCHERGRUPPE
Digital Engineering fürPlanungs- und Revitalisierungsprozesse
von Stadtquartierenhttps://www.uni-weimar.de/de/bauingenieurwesen/forschung-und-kunst/forschergruppe/
UAS – BIM
Nutzungsphase
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
UAS – BIM
Anspruch: Unterstützung von Bewertungs-, Planungs- und Entscheidungsprozessen in Bauwesen, Städtebau und Raumplanung mit Hilfe digitaler Methoden der Bauwerkserfassung, Datenauswertung und -visualisierung
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
UAS – BIM
Bestandsdatenerfassung und -bewertung, Überführung und Integration in BIM
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
UAS – BIM
Bestandsdatenerfassung und -bewertung, Überführung und Integration in BIM
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
UAS – BIM
Bestandsdatenerfassung und -bewertung, Überführung und Integration in BIM
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
UAS – BIM
Bestandsdatenerfassung und -bewertung, Überführung und Integration in BIM
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
VergangeneBeurteilungen/Bewertungen
Sensordaten
IFC-basierter Datensatz
BilddatenBauwerks-geometrie
UAS – BIM
Integration von Bestands- und Monitoringdaten in BIM
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
• UAS-gestützte automatisierte IST-Aufnahme des Schulgeländes
• 3D-Modellierung (grob) des Geländes und der Bauwerke für die Flugroutenplanung
• UAS-gestützte automatisierte Detailaufnahme der Bauwerke
• 3D-Modellierung (fein) der Bauwerkshüllen und Erstellung eines „BIM-Modells“
• Thermografieaufnahme zur energetischen Bewertung und Simulation
• Installation von Sensornetzen zur Erfassung physikalischer Kennwerte (Temperaturen)
• Automatische Schadenserfassung an der Bauwerksoberfläche
• Visualisierung der Ergebnisse in Virtuellen Umgebungen
Was ist geplant und (zukünftig) möglich?
UAS – BIM
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
UAS – BIM
Rekonstruktion von Gebäudegeometrien aus Bilddaten
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Mehrskalen-Ansatz: „Vom Groben ins Kleine“
1. GPS-Wegpunkt-basierte Befliegung
2. Analyse / Optimierung / Ausdünnen der Bilddaten � Erstes 3D Übersichtsmodell
UAS – BIM
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
UAS – BIM
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Automatische Erkennung und Verortung von Schäden
• Große Datenmengen
• Objekt + Hintergrund
• Variierende Aufnahmebedingungen und Objekte/Oberflächen
UAS – BIM
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Automatische Erkennung und Verortung von Schäden
UAS – BIM
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Position der Kamera durch Rekonstruktion bekannt
• Verortung direkt möglich
• direktes Messen im 3D-ModellPosition?
Maßstab?
UAS – BIM
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Luftbild-Thermografie – Energetische Bewertung (Einzelbauwerk und Quartier)
UAS – BIM
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� � �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Referenzbauwerk – „Schule an der Hart“: erste Arbeiten
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
• UAS Sensorplattform
• Mobil, extrem windstabil, sicher und effizient einsetzbar
• Automatische Aufnahme großer Flächen und schwer zugänglicher Stellen
• Reproduzierbar und extrem windstabil
Datenerfassung
Zusammenfassung
• 2D-Bilddaten
• Photogrammetrische Aufnahmen, georeferenziert, Zeitstempel
• Hochaufgelöste Bilder zur Schadenerkennung und -messung
• 3D-Objektdaten
• Vollautomatische Rekonstruktion von hochaufgelösten Punktwolken und dichten 3D-Oberflächen
• Gigapixel-Orthophotos zur Erstellung von 2D-Bildplänen für die Schadenskartierung
Datenauswertung
Datenmengen und -schnittstellen• Integration und Verwaltung von Bestandsdaten in BIM
• Konsistente Datenspeicherung
Dipl.-Ing. Norman HallermannB a u h a u s - U n i v e r s i t ä t W e i m a r
� �� �BWK-Fortbildungs- und Diskussionsveranstaltung 2017, Magdeburg29. Juni 2017
Vielen Dank für Ihre Aufmerksamkeit!