Autonome Systeme und Maschinensehen - Fraunhofer … Systeme und Maschinensehen NEST – Network Enabled Surveillance and Tracking Projektbeschreibung Das NEST-System wurde bereits

82 Fraunhofer IOSB Jahresbericht 2010 / 2011

Aufgaben und Projekte

ABUL: Interaktiv bedienbare Videoaus-wertesoftware für Drohnen. Im Einsatz bei der Bundeswehr u.a. in Afghanistan und der Schweizer Luftwaffe, in den Ausprägungen:• ADS-95 RANGER: Systeme für die

Auswertung der Drohne Ranger bei der Schweizer Luftwaffe

• MISAR: Auswertung von SAR-Bild-folgen des Cassidian-Sensors MiSAR

• HERON: Für die Abnahme der STANAG 4609-Streaming-Funktionalität des Heron-Systems realisiertes-Testsystem

• DNBL: integriertes System PPQ (Recce NATO Auswerte-Software von Cassidian) mit ABUL, für die Auswer-tung von Daten im Verbund mit der CSD und anderen NATO Battle Labs

• SD9.4: Visualisierung und Bearbeitung von STANAG 4609 Video-Daten im SD9.4 Verbund als VM-Ware Applikation

• HYPERSPEKTRAL: Industrieprojekt zur Auswertung von Hyperspektraldaten für die IED-Detektion

• PPQ-ABUL FÜR AGILE UAV: auf der Basis von PPQ-ABUL Bodenstation für das Agile UAV.

AMASS: EU-Projekt zur bojengestützten Detektion und Klassifikation von Booten. Entwicklung der IR-Bildauswertung und die zentrale Steuerkomponente.

X-SAR: Projekt zur Realisierung von SAR-Änderungsdetektion.

APROSYS: EU-Projekt, Stereosystem für die Erkennung von Seitenkollisionen.

Leitung:

Dipl.-Inform. Markus MüllerTelefon +49 721 6091-250

[email protected]

www.iosb.fraunhofer.de/ASM

Kompetenzen und Portfolio

Die Erkennung von Objekten und Situationen insbesondere in Videobildfolgen spielt in den Bereichen der zivilen Sicherheit, Sichtprüfung und Verteidigung eine zentrale Rolle. Sowohl die Komplexität der Aufgaben, als auch die geforderte Zuverlässigkeit und Qualität der gewünschten Ergebnisse nehmen ständig zu.

Der Arbeitsschwerpunkt der Abteilung »Autonome Systeme und Maschinensehen - ASM« besteht in der (teil-) automatischen Auswertung von Signalen zumeist bewegter bildgebender Sensorik in kom-plexen, ggf. nichtkooperativen Szenarien. Diese Sensorik wird als bilderfassende Komponente in Plattformen verwendet, die sich im Weltraum, in der Luft, an Land oder im Wasser befinden können. ASM entwickelt und integriert hierfür Software zur Bildverarbeitung und -auswertung für autonome und interaktiv bedienbare Systeme. Hierbei werden insbesondere neben Video- auch IR-, SAR- und weitere Sensoren ausgewertet und fusioniert. Charakteristisch für unsere Arbeiten ist die Reali-sierung von Verfahren und Komponenten für die Integration in Gesamtsysteme, sowie in Einzelfällen die Entwicklung von kompletten Systemlösungen. Hierbei spielt die Beherrschung der Anforderungen der Interoperabilität, von vernetzten Systemen sowie ein fundiertes Anwendungswissen eine wesentliche Rolle.

Das Leistungsspektrum umfasst Entwicklungen für zivile Überwachungs- und Sicherheitstechnik, Katastrophenschutz, Umwelt- und Verkehrsmonito-ring, industrielle Produktion und Qualitätssicherung, Fahrerassistenzsysteme sowie Komponenten für die Bundeswehr im Einsatz. Um den Nutzen und das Leistungsprofil von Verfahren für die jeweilige Anwendung zu messen, werden Test- und Bewer-tungssysteme entwickelt und eingesetzt, deren Ergebnisse das Leistungsprofil und den Anwender-nutzen einer technischen Lösung aufzeigen.

Aktuelle Aktivitäten umfassen die Entwicklung von Komponenten für Straßenfahrzeuge, unbemannte Flugkörper und autonome Roboter für Sicherheits- und Überwachungsaufgaben. Für die militärische

Autonome Systeme und Maschinensehen

DeMarine: EU-Projekt zur Realisierung von Mehrwertdiensten mit TerraSAR. Realisierung einer SAR-Schiffsdetektion.

FastID: EU-Projekt, u. a. in Kooperation mit Interpol, dem BKA und der Universität Dundee, zur Leichenidentifikation und Vermisstensuche.

CamInSens: BMBF-Projekt zur Detektion auffälliger Bewegungen, z. B. Gewalt-taten und Übergriffe, für Sicherheits- und Überwachungsaufgaben.

tropS: Videobasierte Vermessung von Spielerbewegungen und Situations-erkennung für Sportereignisse.

Fahrverhalten in Kurven: Multisensorielle Erfassung von Fahrzeugbewegungen für die Trassierungsbewertung im Straßenbau.

PerValiDAS: BMWi-Projekt, DeuFraKo, Validierung von Perzeptionssystemen für Fahrerassistenzsysteme.

ACoViS: QM-Werkzeug für standardi-sierte Leistungsmessung und Bewertung von Bildauswertungssysteme.

Jürgen Metzler, Markus Müller, Dieter Willersinn

SmartVision: Realisierung von Software für eine intelligente Gemüsewaage zur automatischen Erkennung von Obst und Gemüse.

CART: Automatische Tarnbewertung, Analyse von Bildsignaturen, Halbauto-matische Truth Annotation in Bildfolgen.

AMROS: Bildauswertestation für auto-nome mobile Roboter zur Sicherung von Liegenschaften.

NEST: Offene Systemarchitektur für verteilte Sicherheits- und (Video) Über-wachungssysteme, zur automatisierten Multi-Sensor-Liegenschaftsüberwachung.

iSTAR: interactive See-Trough Augmented-Reality Device – von der FhG gefördertes Verbundprojekt zur Entwicklung einer neuartige AR-Brille mit integrierter Eye-Tracking-Funktionalität zur augenge-steuerten Mensch-Maschine-Interaktion.

Distante Biometrie: Von der FhG geför-dertes Projekt zur nicht-obstrusiven und distanten Erfassung biometrischer Merk-male von Personen mittels Videokameras.

Aufklärung werden Luft- und Satelliten-bilder automatisch analysiert. Weitere methodische Schwerpunkte sind das neue Gebiet der »Distanten Biometrie«, sowie die audio-visuelle Szenenanalyse.

Fraunhofer IOSB Jahresbericht 2010 / 2011 83


NEST – Network Enabled Surveillance and Tracking

Projektbeschreibung

Das NEST-System wurde bereits 2009 als Demonstrator am IOSB realisiert und erprobt. Hierbei stand als exemplarische Anwendung die kameraübergreifende Verfolgung einzelner zu überwachender Personen im Fokus [1]. Anhand dieses Szenario konnte die gesamte Informa-tionskette, von der Videoauswertung zur Personendetektion und -verfolgung, über die realisierte Dienste-übergreifende Informationsverteilung, bis hin zur Situationsanalyse zur Erkennung von sicherheitsrelevanten Ereignissen evaluiert und verifiziert werden.

In 2010 wurde das System konzeptionell stetig weiterentwickelt und hat mittler-weile einen ausgereiften Status erreicht, welcher auch Industriepartner über-zeugen konnte. Inzwischen konnte das NEST-Konzept in Zusammenarbeit mit Partnern unterschiedlicher Branchen auf neue Anwendungen übertragen werden, sowie prototypisch realisiert werden.

Zurzeit wird eine Machbarkeitsstudie über den Einsatz der NEST-Systemarchitektur als einheitliche Videoüberwachungs-infrastruktur in Bankfilialen durchgeführt. Für Bankfilialen sind flexible Video-überwachungssysteme insbesondere aufgrund der situationsabhängigen Verwendung der bestehenden Kamera-systeme von hohem Interesse. Das NEST-System soll speziell als gemeinsame Plattform sowohl für Videoüberwa-chungs- als auch für Shop Efficiency Aufgaben eingesetzt werden können. Diese Aufgaben werden aufgrund der sehr heterogenen Systemkomponenten, der teilweise technologisch disjunkten Ansätze, der Generationsunterschiede bei den Kamerasystemen sowie inkom-patiblen Systemarchitekturen, von den auf dem Markt verfügbaren Systemen getrennt gelöst.

Abb. 1: Das NEST System wird im Rahmen einer Machbarkeitsstudie für den Einsatz als »Shop Efficiency Monitoring und Videoüberwachungssystem« untersucht. Ziel ist es die offene Systemarchitektur als »Middleware« für unterschiedliche Analyseaufgaben einsetzen zu können.

Abb. 2: Eine Aufgabe aus dem Bereich »Shop Efficency Monitoring« ist die Generierung von Besucher-trajektorien im Überwachungsbereich, für den Zweck der Heat-Map-Generierung. Anhand solcher Heat-Maps kann die Filiale was die Inneneinrichtung und Geschäftsabläufe anbetrifft optimiert werden.

Literatur: [1] Bauer, A.; Eckel, S.; Emter, T.; Laubenheimer, A.; Monari, E.; Moßgraber, J.; Reinert, F.: N.E.S.T. - Network Enabled Surveillance and Tracking. Proc. Future Security: 3rd Security Research Conference, pp. 349-353, Sept. 2008.[2] Bauer, A.; Emter, T.; Vagts, H.; Beyerer, J.: Object oriented world model for surveillance systems. In Peter Elsner, Hrsg., Tagungsband: Future Security: 4th Security Research Conference, Karlsruhe, Okt. 2009. Fraunhofer Verlag.[3] Moßgraber, J.; Reinert, F.; Vagts, H.: An architecture for a task-oriented surveillance system: A service- and event-based approach. Tagungsband: Proc. of the Fifth International Conference on Systems, ICONS 2010, Seiten 146{151, 11{16 April 2010.[4] Vagts, H.; Bauer, A.: Privacy-aware object representation for surveillance systems. Tagungs-band: Advanced Video and Signal Based Surveil-lance (AVSS), 2010 Seventh IEEE International Conference on, Seiten 601 {608, Sept. 2010.

Ergebnis

Diese kundenspezifische Machbarkeits-studie wird nun zeigen, wie die modulare, Service-orientierte Architektur sowie die am IOSB entwickelten NEST-Infrastruktur-komponenten eine flexible und effiziente Integration beliebiger Kameras, Kamera-systeme und Analysemodule ermöglicht. Wobei es zu erwähnen gilt, dass die Analysemodule von der Sensorauswer-tung über Datenfusionsmodule zur Kombination heterogender Sensor-daten, bis hin zur übergeordneten Informationsauswertung, Archivierung und Visualisierung reichen können.

Für die NEST-Architektur gelten die im Rahmen dieser Studie durchgeführten Untersuchungen und konzeptionellen Weiterentwicklungen als Referenzdesign für beliebige verteilte Multikamera-Systeme für Liegenschafts- oder Gebäude-

überwachungsaufgaben, bei denen das Thema Sicherheit, Shop-Efficiency, Prozessoptimierung oder ähnliche Spezialanwendungen aufeinander treffen: Supermärkte, Finanzinstitute, Logistikzentren, Bahnhöfe, uvm.

Projektdurchführung

Yvonne Fischer (IAD), Eduardo Monari (ASM), Jürgen Moßgraber (IMT), TBD

Ansprechpartner

Eduardo MonariTelefon +49 721 [email protected]

Ausgangssituation

Das Vorhaben NEST ist ein vom Fraun-hofer IOSB selbstfinanziertes Forschungs-projekt. Dieses wurde 2007 initiiert, mit dem Ziel, eine neuartige offene und erweiterbare Systemarchitektur für Überwachungssysteme zu entwerfen. Die NEST-Architektur ermöglicht die Zusammenschaltung von Sensor- aber auch Situationsanalyseverfahren in Form von Software-Diensten, wobei ein Alleinstellungsmerkmal die auf-tragsorientierte Orchestrierung der einzelnen Komponenten ist. Hierfür stellt die NEST-Architektur Infrastruktur-komponenten zur Verfügung, die eine auf Überwachungsaufträge zugeschnit-tene Dienste-Steuerung übernimmt, um den Daten und Informationsaustausch zwischen Sensor- und Situationsanalyse-komponenten zu koordinieren.

84 Fraunhofer IOSB Jahresbericht 2010 / 2011 Fraunhofer IOSB Jahresbericht 2010 / 2011 85


Das IOSB wurde daher von armasuisse beauftragt, eine Anpassung von ABUL an das ADS-95 Rangersystem durch-zuführen und entsprechende Kompo-nenten zur Auswertung zu liefern. Die Systeme konnten zusammen mit der Videoschnittstelle kurzfristig in Betrieb genommen werden und wurden im Rahmen einer Übung im Herbst 2010 eingesetzt und getestet. Die enge und sehr konstruktive Zusammenarbeit ermöglichte es Verfahrensprozeduren zu entwickeln und die Erfahrungen schnell in laufende Anpassungen ein-fließen zu lassen.

Zusammenfassung

ADS-95 ist ein leistungsfähiges Drohnen-system, das im zivilen Luftraum der

UAV-gestützte Grenzüberwachung mit ABUL für die Schweiz

Abb. 1: Drohnensystem ADS 95 Ranger mit Sensorsystem.

UAV-Systeme ein erhöhter Nutzen durch die Verfahrensunterstützung zur Verfü-gung. Wesentliche Echtzeit-Verfahren hierbei sind:

• Bewegungsdetektion (Objekte, die sich im Video bewegen, werden automatisch detektiert und markiert),

• Bildstabilisierung (störende Bewegun-gen des Sensorträgers werden kom-pensiert, indem die Eigenbewegung des Trägers herausgerechnet wird),

• Mosaikierung: Konsekutive Einzel-bilder der Videobildfolge werden zu einem qualitativ hochwertigen Übersichtbild zusammengefügt, um große georeferenzierte Bildprodukte zu erstellen,

• Stereobildgenerierung: Stereobilder werden aus dem Video generiert und ermöglichen damit 3-D-Visuali-sierungen der erfassten Szenen,

• Multiresolutionsbilder: Parallel auf-genommene Bilder verschiedener Auflösung werden zu Übersichtbilder zusammengefügt,

• Superresolutionsbilder: Mehrere schlecht aufgelöste oder auch ver-rauschte Bilder werden zu einem verbesserten, kontrastverstärkten Bild zusammengefügt.

ABUL-Systeme sind in der Boden-kontrollstation des deutschen UAV-Systems LUNA integriert und werden von der Bundeswehr in Afghanistan eingesetzt. Weiterhin nutzen verschie-dene Bundeswehrdienststellen ABUL zur Videoauswertung.

UAVs werden bisher fast ausschließlich im militärischen Bereich eingesetzt, da dort die große Flugdauer und die Einsparung des Piloten im Fluggerät besonders vorteilhaft sind. Der Einsatz im zivilen Bereich wird angestrebt, konnte aber bisher von fast keinem leistungsfähigen System realisiert wer-den, da vor einem Betrieb im zivilen

blicks, da die Videobilder zumeist nur kleine Szenenausschnitte erfassen. Weiterhin ist es für die Auswerter ermüdend über viele Stunden Über-wachungsaufgaben durchzuführen und hierbei beispielsweise bewegte Objekte (Fahrzeuge, Personen, etc.) zu detektieren.

Für die Auswertung solcher Video- und IR-Daten hat das IOSB in langjähriger Entwicklungszeit die Videoauswerte-software ABUL realisiert (Abbildung 2). Durch die integrierten Bildverarbeitungs-algorithmen stehen den Auswertern Werkzeuge zur Verfügung, die eine ziel-führende Auswertung der UAV-Sensor-daten ermöglichen. Damit stehen den Aufwendungen für den Betrieb solcher

Abb. 2: Videoauswertesystem ABUL.

Schweiz eingesetzt wird. ABUL konnte kurzfristig in die Auswerteprozesse integriert, und damit ADS-95 um Fähigkeiten zur Erstellung von Auswerte-produkten erweitert werden. Diese Fähigkeit wurde im Rahmen einer Übung iterativ mit Hilfe von Flügen optimiert und evaluiert. Damit konn-te in der Zusammenarbeit mit der Schweizer Luftwaffe schnelle Fort-schritte, insbesondere auch bei der Entwicklung der Einsatzprozeduren für ADS-95, erzielt werden.

Ansprechpartner

Dipl.-Inform. Norbert HeinzeTelefon +49 721 [email protected]

Luftraum strenge Zulassungskriterien erfüllt werden müssen. Eine Ausnahme hierzu bildet das Schweizer UAV-System ADS-95 Ranger, das für den Betrieb im zivilen Luftraum der Schweiz durch die Luftwaffe zugelassen ist und damit Anwendungsbereiche erschließen kann, die der zivilen Sicherheit zugehören. Das heißt, dass sowohl die Grenzüber-wachung als auch die Unterstützung der zivilen Behörden im Konferenzschutz sowie der Katastrophenschutz relevante Aufgabenbereiche sind.

Technische Daten des UAV-System ADS-95 Ranger:• Masse und Zuladung - maximales Startgewicht: 275 kg - Nutzlast: 40 kg• Flugleistungen - Geschwindigkeit: 90-220 km/h - Dienstgipfelhöhe : 4500 m

Bisher wurde ADS-95 primär für die Echtzeit-Überwachung eingesetzt, bei der die Aufträge durch Videobetrach-tung bearbeitet werden konnten. Die Auswertefunktionalitäten waren daher bisher eingeschränkt. Damit stellen die neuen Funktionen zur Videoauswertung des vom IOSB entwickelten Systems ABUL einen deutlichen Mehrwert für das Gesamtsystem dar.

UAVs (Unmanned Aerial Vehicles) sind Flugkörper, die typischerweise mit Video- und IR-Sensorik ausgerüstet sind und für Aufklärungs- und Überwachungs-zwecke eingesetzt werden. Die gewon-nenen Bilddaten werden dabei über eine Funkstrecke in eine Bodenaus-wertestation übertragen und können dort in Echtzeit ausgewertet werden. Bei den Überwachungsanwendungen ist insbesondere eine große Flugdauer dieser Systeme von Nutzen. Heute ermöglichen auch bereits kleinere Systeme eine Beobachtungszeit von mehreren Stunden. Die Videosensorik bietet zwar den Vorteil der Realzeit-beobachtung, hat aber auf der anderen Seite Einschränkungen bzgl. des Über-

Abb. 3: Auswertung der RANGER-Daten mit ABUL.



Die Feinanpassung übernimmt anschlie-ßend ein Algorithmus, der verschiedene Lagehypothesen des Fahrzeugmodells generiert und mit den im Bild vorhan-denen Konturen vergleicht [2]. Mög-liche Verwechslungen - verursacht z. B. durch Schattenkanten, Licht- und Glanz-effekte, Verschmutzungen, Modell-abweichungen etc. – werden dabei durch die entworfene Bewertungs-funktion minimiert [3].

Optimierte Fahrbahn – 3-D Erfassung des Fahrverhaltens

Projektbeschreibung

In Kooperation mit dem Institut für Straßen- und Eisenbahnwesen (ISE) des KIT hat das IOSB zur Erfassung des Fahr-verhaltens einen neuen, innovativen Lösungsansatz geschaffen.

Mit einem stationären Sensorsystem werden an interessierenden Strecken-abschnitten monokulare Videodaten der Fahrzeuge mit einer kalibrierten Kamera aufgezeichnet. Bei der Aus-wertung werden anschließend aus den Bilddaten mit Hilfe eines CAD-Kfz-Modells die 3-D Positionen zu jedem Zeitpunkt (Trajektorie) sowie das Geschwindigkeitsprofil des aufgenom-menen Fahrzeugs ermittelt.

Das Sensorsystem

Den speziellen Anforderungen eines mobilen Sensorsystems wurde durch ein energieeffizientes eingebettetes Rechnersystem begegnet, welches die aufgezeichneten Daten verschlüsselt.

Der dabei eingesetzte Videosensor wird durch einen Radarsensor ergänzt, der den Abstand und die Geschwindigkeit misst und die Start- und Endzeitpunkte für die einzelnen Aufzeichnungen steuert.

Ein integrierter Zeitgeber synchronisiert die Video- und Radardaten für die spätere Datenfusion.

Die Datenauswertung

Im ersten Schritt der Datenauswertung wird ein zuvor vermessenes 3-D Modell der Straße in die Bilddaten eingepasst (blau gekennzeichnet in den Abb. rechts).

Ausgangssituation

Die Gestaltung von Straßen wirkt sich direkt auf das Fahrverhalten und damit neben anderen Einflüssen auch auf die Verkehrssicherheit aus. So fördern z. B. bestimmte Kurvenkonstellationen mit geringen Richtungsänderungen die Neigung der Fahrer, diese Kurven zu schneiden und damit sich und evtl. auch den Gegenverkehr zu gefährden.

Bislang wurden Untersuchungen zum Fahrverhalten von Einzelfahrzeugen auf Straßen in der Regel mit Nach-folgefahrten durchgeführt, d. h. die Bewegungen des beobachteten Fahr-zeugs wurden aus dem nachfahrenden Messfahrzeug aufgezeichnet. Dieses Verfahren erlaubt zum einen nur eine relativ geringe Stichprobengröße, zum anderen sind Beeinflussungen durch das nachfahrende Fahrzeug nicht aus-zuschließen. Während Geschwindig-keitserfassungen so gut möglich sind, ist die Erfassung des Spurverhaltens schwierig.

Über die Bildsequenz hinweg entsteht so eine Trajektorie, die dem Fahrverlauf des Fahrzeugs entspricht (in der Abbil-dung pink).

Zusammenfassung und Ausblick

Das System zeichnet sich durch einen minimalen interaktiven Aufwand während der Mess- und Positions-erfassungsphase aus und ermöglicht eine entsprechend hohe Anzahl an erfassten Fahrzeugspuren. Es eröffnet damit die Möglichkeit, den Zusammen-hang zwischen Straßengestaltung und Fahrverhalten mit begrenztem Aufwand systematisch zu untersuchen und daraus Modelle für eine Optimierung der Straßengestaltung zu entwickeln.

Ansprechpartner

Dr.-Ing. Thomas MüllerTelefon +49 721 [email protected]

Nach Auswahl des Fahrzeugtyps durch den Benutzer wird anschließend ein entsprechendes 3-D Fahrzeugmodell in das Kamerabild projiziert (in der Abbildung grün) und mit den aus dem Bild extrahierten Bildkanteninformati-onen zur Übereinstimmung gebracht. Die Abstandsinformation des Radar-sensors (in der Abbildung rot) liefert dafür eine erste grobe Schätzung der Position des Fahrzeugs in der Szene [1].

Literatur: [1] F. Häfner: Modellbasierte Bestimmung von Fahrzeugtrajektorien im Multisensorbetrieb. Diplomarbeit, Hochschule Karlsruhe - Wirtschaft und Technik, 2008[2] M. Höpken: A multi sensor system to evaluate driving behavior in curves. 12th International IEEE Conference on Intelligent Transportation Systems ITSC 2009, pp. 1-5[3] Th. Müller: Modellbasierte Lokalisation und Verfolgung für sichtsystemgestützte Regelungen. Dissertation an der Universität Karlsruhe (TH), 8. Februar 2001, 177 Seiten. Elektronisch veröffentlicht unter http://digbib.ubka.uni-karlsruhe.de/volltexte/documents/1236

Unter Verwendung eines Fahrzeugmodells (grün) und der Radarmessung (rot) wird bildbasiert die Fahrzeugtrajektorie (pink) bezüglich der Fahrspur (blau) geschätzt. Oben: Störungen in der Radarmessung (rot) können durch die Bildauswertung kompensiert werden. Unten: Analyse des Fahrverhaltens beim Kurvenschneiden.



Projekte und Produkte

»Visuelle Perzeption für die Mensch-Maschine-Interaktion« (gefördert im ATTRACT-Programm der Fraunhofer-Gesellschaft)

Digitaler Lagetisch mit Fovea-Tablett® als Multidisplay-Arbeitsplatz für die Lagebearbeitung im Krisenmanagement

»Visual Control of Smart Interfaces« (VISCONSIN: gefördert in CHALLENGE-Programm der Fraunhofer-Gesellschaft)

MCMXT – »Embedded« System zur 3-D-Vermessung von Windenergie-anlagen mittels codierter Sichtmarken

MarkerXtrackT – Software-Bibliothek zur Verfolgung von Crashmarken in Bildfolgen

RecceMan® - Software zur wissens-basierten und merkmalsgeleiteten Unterstützung des Menschen bei der Objektklassifizierung und -identifizierung

SiteAnalyst – Assistent zur bildgestützten Analyse von Infrastruktureinrichtungen

Situationsanalyse und Sensoreinsatz-planug für Seegrenzenüberwachung (EU-Projekt WIMAAS in Zusammen-arbeit mit THALES)

REX (Risikobasierte Umfeldexploration) – Assistent zur Ressourceneinsatzplanung für die kostenoptimierte Überwachung von Infrastruktureinrichtungen

Leitung:

Dr. rer. nat. Jürgen GeislerTelefon +49 721 6091-262

[email protected]

www.iosb.fraunhofer.de/IAD


Die Unterstützung des Menschen durch Signal-analyse und bei der Signalanalyse ist Ziel der Forschung und Entwicklung in der Abteilung IAD. Die Arbeiten dazu decken die gesamte Analyse- und Diagnosekette ab: von der Signalerfassung und -vorverarbeitung über modellbasierte Verfahren zur Entscheidungsfindung bis zu »smarten« Multidisplayumgebungen für Satellitenbildaus-wertung und Krisenmanagement. Signale von Kameras werden dabei ebenso genutzt wie Signale von Mikrofonen und Schwingungssensoren, wie z. B. Laservibrometer.

Lösungen werden gegenwärtig für die folgenden Anwendungsfelder angeboten:

• Wissensbasierte Objekt- und Situationserkennung für Aufklärung und Überwachung

• Lagebearbeitung beim Krisenmanagement und Objektschutz

• Interaktion mit großen und verteilten Displays

• Videobasierte Erfassung von Menschen für Mensch-Maschine-Schnittstellen (Personentracking, Gestenerkennung etc.)

• Optimierung von Windenergieanlagen

• Akustische Qualitätsprüfung

Interaktive Analyse und Diagnose

Gestenerkennung an einer Videowand.


Interaktive Analyse und Diagnose

grafie, untersucht und hinsichtlich ihrer Leistungsfähigkeit bewertet [1]. Dabei zeigte sich früh, dass für die gestellte Aufgabenstellung vorrangig Methoden zum Einsatz kommen müssen, die zum einen robust gegenüber Handhabungs- und Umgebungsrandbedingungen sind und zum anderen einen vergleichsweise geringen Rechenaufwand erfordern, um die für eine flüssige Bedienung des CamPointers notwendige Verarbeitung der Sensorsignale unter Echtzeitanfor-derungen zu ermöglichen. Vorteilhaft erwies sich dabei die parallele Auswer-tung von Bild- und Beschleunigungs-signalen. Auf Grundlage der erarbeiteten Verfahrenstechnik wurde ein CamPointer-Prototyp entwickelt, der über eine preis-werte Kamera mit USB-Schnittstelle sowie einen mikromechanischen triaxialen Beschleunigungssensor verfügt und der über Kabel mit einem Rechner, beispiels-weise einem Notebook, verbunden ist. Mit dieser Anordnung erfolgten Para-

Im Hinblick auf eine Produktentwicklung ist interessant, dass in derzeitigen hoch-wertigen Smartphones sowohl die beim CamPointer verwendete Sensorik als auch leistungsfähige Rechnerhardware in der Form digitaler Signalprozessoren integriert sind und damit für markt-relevante Implementierungen zur Verfügung stehen.

Projektbeschreibung

Die Entwicklungsarbeiten wurden im Rahmen des Fraunhofer-Programms »Challenge« durchgeführt, in dem Forschungsprojekte mit hohem Risiko aber auch zugleich mit hohem Ertrags-potential gefördert werden. Bei der Verfahrensentwicklung wurden zunächst unterschiedliche Ansätze zur Verarbei-tung der Bildinformation, unter anderem Methoden der sogenannten Stegano-

VISCONSIN – Visual control for smart interfaces

Ergebnis

Grundkonzept des entwickelten, als CamPointer bezeichneten Eingabegeräts ist die Erfassung der Positionsänderung des Geräts durch parallele Auswertung von Bild- und Beschleunigungssignalen. Eine im Gerät integrierte, beispielsweise in Zeigerichtung orientierte Kamera erfasst kontinuierlich Bildsignale, aus denen mittels schneller Korrelation Merkmale für die Orientierungsände-rung des CamPointers bestimmt werden. Mittels eines ebenfalls im Gerät inte-grierten triaxialen Beschleunigungs-sensors werden werden Höhen- und Drehwinkel des CamPointers bestimmt. Um eine sowohl schnelle als auch genaue Positionierung des Cursors zu erzielen, werden die verwendeten Signalmerkmale mit unterschiedlichen digitalen Filtern aufbereitet. Diese auf Multisensorik und effizienten Algorithmen basierende Verfahrenstechnik ermöglicht hier eine robuste und genaue Cursorsteuerung mit minimaler Drift.

meteroptimierungen sowie die experi-mentelle Untersuchung der Interakti-onseigenschaften des CamPointers im direkten Vergleich mit einer handels-üblichen Gyro-Maus im Rahmen einer Nutzerstudie [2]. Derzeit wird an der Portierung der Software auf das Smart-phone Nokia N900 gearbeitet. Die im Vorhaben entwickelte Verfahrenstech-nik für die CamPointer-Applikation wurde zum internationalen Patent angemeldet [3].

Stichworte

Mensch-Maschine-Interaktion, hand-gehaltene Eingabegeräte, Multisensorik, Bild- und Signalauswertung


Christian Schütz, Martin Ruckhäberle

Ansprechpartner

Dr.-Ing. Martin Ruckhäberle Telefon +49 721 [email protected]

Literatur: [1] Schütz, C.; Kroschel, K.:Tracking of Hidden Image Structures Employing Gold Sequences. 23rd IAR Workshop on Advanced Control and Diagnosis, November 27-28, 2008, Coventry University, UK[2] Slawik, I.: Bewertung von Zeigegeräten für die Display-Interaktion. Studienarbeit, Institut für Anthropomatik, KIT[3] Ruckhäberle, M.; Schütz, C.; Geisler, J.: Hand-held pointing device, software cursor control system and method for controlling a movement of a software cursor. Europäische Patentanmeldung 10164768.3, Anmeldetag: 02.06.2010

Ausgangssituation

Zur Interaktion mit der graphischen Benutzungsoberfläche eines Computer-Programms werden üblicherweise klas-sische Eingabegeräte wie Computer-Mäuse oder sogenannte Touchpads, eingesetzt. Diese erlauben eine zuver-lässige und intuitive Interaktion mit der graphischen Benutzungsoberfläche, wenn sich die Bildschirme bzw. Projek-tionsflächen in unmittelbarer Nähe des Nutzers befinden. Im Falle einer ausge-dehnten Projektionsfläche, wie beispiels-weise bei einer Beamer-Präsentation, oder bei mehreren, im Raum verteilten Projektionsflächen, wie beispielsweise in einem Kontrollraum bzw. Leitstand, bieten demgegenüber Eingabegeräte Vorteile, die frei in der Hand gehalten werden können und somit eine »natürlichere« Interaktion mit den dar-gestellten Inhalten erlauben. Gängige frei in der Hand zu haltende Eingabe-geräte sind sogenannte Gyro-Mäuse, die mittels Drehratenerfassung erlauben, den Software-Cursor quasi »aus dem Handgelenk heraus« zu steuern. System-bedingt zeigen diese Geräte Schwächen bei deutlicher Bewegung des Nutzers vor großen bzw. mehreren Projektionsflächen.

Aufgabe

Die im Vorhaben zu bearbeitende Auf-gabe bestand in der Entwicklung einer Verfahrenstechnik, die handgehaltenen Eingabegeräten eine zuverlässige Cursor-steuerung auch bei ausgedehnter Bewe-gung des Nutzers vor dem Bildschirm bzw. vor der Projektionsfläche ermöglicht. Hierbei sollte im Hinblick auf einen flexiblen Einsatz die gesamte Sensorik im Eingabegerät integriert sein. Bei der Entwicklung sollte zum einen ein Augen-merk auf die Verwendung standardisierter Sensorik gelegt werden, um System-realisierungen auf einer breiten Basis verfügbarer Hardware durchführen zu können. Zum anderen sollten bei der Verfahrenstechnik vorrangig Standard-methoden der Signalverarbeitung Ver-wendung finden, um eine möglichst effiziente Implementierung auf dedizier-ter Hardware, beispielsweise digitalen Signalprozessoren, zu erlauben.

Abb. 2: CamPointer-Einsatz an einer Display-Wand. Abb. 3: Korrelationsfunktion zur Verschiebungsschätzung.

Abb. 1: CamPointer.

Rumpf mit 3-D-Beschleunigungssensor

Bedientaste

USB-Kamera

1

0,8

0,6

0,4

0,2

0

-0,2

020

40

-20-40 0

-20

-40

20

40

Verschiebung du

Verschiebung dv



Geschäftsfeldes. Bei der Entwicklung ist die Einhaltung und Überwachung von nationalen und internationalen Software-Qualitätsstandards selbst-verständlich.

Unsere Partner und Auftraggeber sind das BMVg / BWB / IT-Amt, die wehrtechnische Industrie sowie die Europäische Union. In verschiedenen internationalen Kooperationen werden Erfahrungen im Anwendungsbereich der bildgestützten Aufklärung und Überwachung ausgetauscht.

Projekte und Produkte

Bilddatenarchiv – Archivierungssystem zur Verwaltung von Luft- und Satellitenbildern

Bilddaten-Managementsystem für die Luft- und Satellitenbildauswertung im Bereich Aufklärung und Überwachung

SAR-Tutor – web-basiertes Trainings-werkzeug zur SAR-Bildauswertung

CSD / NSD Coalition / National Shared Database. Client-Server-System zur Ver-teilung aufklärungsrelevanter Information (Aufträge, Meldungen, Sensordaten und -produkte) gemäß STANAG 4559

IPAC (Image Product Library Access Client) Software zum Begriff auf Bild-Bibliotheken nach STANAG 4559 (NSILI – NATO Standard Image Library Interface)

ISVA – Intelligenter Sensorverbund Aufklärung zur Vernetzung von Daten, Informationen, Diensten und Experten

Vermittlungsagent – Software-Agent zur Vermittlung von Informationen und

Dienstleistungen in einem Aufklärungs-verbund

HCI-Styleguide – Gestaltungsrichtlinien für interaktive Bildauswertungssysteme

I 2 Exrep – Datenbankgestützte formularbasierte Berichtsgenerierung zur Auswertung von Luft- und Satellitenbildern

DbEd – Datenbaum-Editor zur Pflege des in der abbildenden Aufklärung verwendeten Meldevokabulars

RC/CC – Auftragsmanagement in der taktischen Luftbildauswertung

Crayons – E-Learning System zur Erstel-lung und Nutzung von Lern-Software

AMFIS Bodenkontrollstation – Generische Bodenkontrollstation. AMFIS (Aufklärung und Überwachung mit Miniatur Flug-geräten im Sensorverbund) zur Steue-rung und Koordination ortsfester und mobiler Sensoren/Sensorträgern sowie zur Auswertung von Sensordaten und Lagedarstellung

Leitung:

Dr.-Ing. Rainer SchönbeinTelefon +49 721 6091-248

[email protected]

www.iosb.fraunhofer.de/IAS


Das Geschäftsfeld Interoperabilität und Assistenz-systeme (IAS) bietet dem Markt Lösungen an, bei denen das Zusammenwirken des Menschen mit komplexen informationstechnischen Systemen die wesentliche Rolle spielt. In einem »System of Systems« – Ansatz kommt dabei der Interopera-bilität entscheidende Bedeutung zu.

Mit Forschungs- und Entwicklungsprojekten auf dem Gebiet der Software-Architekturen für rechnergestützte Assistenzsysteme mit den Schwerpunkten der Dialoggestaltung und der semantischen Interoperabilität leisten wir Beiträge zur technischen und inhaltlichen Vernetzung von Systemen. Mittels Nutzer- und Aufgaben ange-passter Dialoggestaltung fördern wir kooperatives Arbeiten unter Einsatz innovativer multimodaler und multimedialer Interaktionstechnologien. Durch ontologiebasierte Informationssysteme, Web-Services und intelligente Software-Agenten wird das benötigte Wissen zeitgerecht an die richtigen Personen in einer ebenengerechten Granularität über angemessene Verbindungen auf personalisierte Endnutzergeräte verteilt. Die Erbringer wissensintensiver Dienstleistungen werden darin unterstützt, sich auf Ihre Kern-kompetenzen und Kreativität zu fokussieren.

Die Arbeiten umfassen die Konzipierung, die Realisierung und die Bewertung von System-lösungen zur interaktiven Sensordatenauswertung, die Wissenserzeugung und die Integration von Wissen in Expertensysteme zur Unterstützung der vernetzten Datenauswertung, die Modellierung von Benutzern, Arbeitsabläufen und Anwendungs-domänen sowie das Kompetenzmanagement in verteilten Systemen. Labor- und Feldexperimente an Demonstratoren und operationellen Systemen werden zur Unterstützung und Bewertung der Mensch-Maschine-Kommunikation durchgeführt. Neben der Entwicklung grundlegender System-architekturen zur Förderung der Interoperabilität prägen Komponenten zur interaktiven Bildaus-wertung, ontologiebasierte Fachdatenbanken, netzwerkfähige Informationsmanagement- und Ausbildungssysteme das Produktspektrum des

Ausstattungen

• ISVA Demonstrator – Knotenpunkt für nationale und internationale abgesicherte Netze im Bereich Auf-klärung und Überwachung

• SaLVe – Radarbilddatenbankzentrum Multisensorielles Bilddatenarchiv für die Fernerkundung

• AMFIS – Aufklärung und Überwa-chung mit Miniatur-Fluggeräten im Sensorverbund

• Mobiles ad-hoc Sensornetzwerk (GPS, Kamera, Mikrofon, Vibrations-, Temperatur-, Bewegungs- und Helligkeitssensoren)

• ITS-MAP – Netzbasierte Infrastruktur zur Untersuchung der IT-Sicherheit mobiler SW-Agenten

• MAJIIC – Demonstrationslabor (Sperrzone) Multi-Sensor Aerospace-Ground Joint ISR Interoperability Coalition

• DNBL– Entwicklungslabor (Sperrzone) – Distributed Network Battlelab Labor zur Zertifizierung und Erprobung von Komponenten zur vernetzten Nach-richtengewinnung und Aufklärung.

Interoperabilität und Assistenzsysteme

Im praktischen Einsatz bei einer NATO TechDemo.


Interoperabilität und Assistenzsysteme

Lerneinheiten als Städte aufgefasst werden, mit Verbindungsstraßen als Lernpfade. Wissenseinheiten, in welche die Lerneinheiten weiter untergliedert sind, können dann als Stadtteile oder als Gebäude in den Städten betrachtet wer-den. Das in Lernkursen feste Element von Aufgaben und Tests ist im Verständnis einer Hürde, die es zu überwinden gilt, als Gebirge, Wüste oder Gewässer zu visualisieren.

Erreichtes Ziel dieser Metaphernbildung ist eine sinnstiftende Darstellung der im Lernsystem hinterlegten Graphen zu ermöglichen, um so eine lernunterstüt-zende Navigation zu implementieren. Diese lässt sich in der Handhabbarkeit des entwickelten Modells und dessen Umsetzung nachvollziehen und stellt einen wichtigen Beitrag zur Operationa-lisierung adaptiver Wissenssysteme dar.


Bela Andreas Bargel, Julia Schröck, Daniel Szentes, Wolfgang Roller

Innerhalb der Lern- und Autorenum-gebung Crayons® ermöglicht dabei ein Fuzzy basiertes Bewertungssystem, unter Berücksichtigung unterschiedlicher Faktoren wie Korrektheit, Sicherheit, Geschwindigkeit und Schwierigkeitsgrad, den aus didaktischer Sicht geeignetsten Lernpfad vorzuschlagen. Kernidee dabei ist, der Überlegung folge zu leisten, ob beispielsweise ein Aufgabenblock als besser zu bewerten ist, wenn dieser schnell aber »teilweise korrekt« oder »vollständig korrekt«, dafür aber lang-samer und ggf. mit Wiederholungen absolviert wurde. Die Bewertungskri-terien können individuell eingestellt werden. Hierbei kann durch eine system-gestützte Variation von Aufgabentypen zudem eine weitere Adaptionsmöglich-keit geschaffen werden.

Bildlich gesehen entsteht eine Lernland-karte mit Abzweigungen, Zusammen-führungen, Zirkeln, freiwilligen Weg-anteilen und Hürden die es zu überwin-den gilt, um im Lernkurs fortzufahren.

Aus diesem Blickwinkel heraus lassen sich verschiedene Charakteristika von klassischen Landkarten auf die Eigen-schaften einer Visualisierung von Lern-kursen übertragen. Um eine übersicht-liche Darstellung auf Karten zu ermög-lichen, werden nicht alle vorhandenen Daten präsentiert (Generalisierung). Die darzustellenden Elemente werden dabei in Klassen von Objekten eingeteilt und deren Bedeutung gekennzeichnet (Legende), sowie auf Ebenen ein- und ausblendbar strukturiert (Layerprinzip).In topographischen Landkarten sind Städte und Siedlungen durch Straßen miteinander verbunden. Die Lerninhalte adaptiver Lernkurse weisen ebenfalls eine vernetzte Struktur auf. So können

Lernlandkarten – Kartographische Metaphern zur Orientierung in Lernkursen

Die Überführung der Ergebnisse in einen Prototypen anhand von Lerninhalten des vom IOSB entwickelten SAR-Tutor, einem mehrmoduligen Lernkurs für Radarbildauswerter der Bundeswehr, sowie die Berücksichtigung von Anfor-derungen der Lern- und Autorenumge-bung Crayons® des IOSB, unterstreichen dabei den anwendungsorientierten Forschungsanspruch.

Ergebnis

Dargebotene Lerninhalte eines solchen adaptiven Systems sind neben ihrem Inhalt geprägt durch semantische Anno-tationen. Diese Metadaten beschreiben u. a. Medientyp, Wissenskategorie und Kompetenzniveau und stellen die kleinsten, inhaltlich-sinnvoll für sich stehenden Einträge im System dar. Vernetzt auf der sogenannten Mikro-ebene durch das inhaltliche Thema und didaktische Angaben, z. B. zur Reihen-folge, lassen sich daraus angepasste Lerneinheiten generieren. Auf Makro-ebene lässt sich im folgenden Schritt die Vernetzung der Lerneinheiten eines Kurses gestalten. Im Sinne adaptiver Lernpfade lassen sich an bestimmten Knotenpunkten unterschiedliche Wege des Lernens definieren und bei Bedarf später wieder zusammenführen. In Abhängigkeit der Lernleistung oder auch der Lernpräferenz können zielgruppen-gerechte Lerninhalte präsentiert werden.

Aufgabe

Ausgangspunkt der Arbeiten war die Entwicklung eines Darstellungskonzepts für Lernlandkarten. Dabei wurde sowohl analysiert, warum sich die Darstellung als Landkarte eignet, was unter dem Begriff Lernlandkarte zu verstehen ist und welche Inhalte dargestellt werden sollen, als auch welche vorhandenen kartographischen Methoden dabei nutz-bar und übertragbar sind. In einem weiteren Schritt wurde untersucht, welche verwandten Darstellungen und Interaktionsmöglichkeiten aus bereits existierenden Geoinformationssystemen (GIS) sich zur Visualisierung der Lern-inhalte eignen und für Lernlandkarten verwendet werden können.

Abb. 1: Quadrocopter-Verbund zur Aufklärung und Überwachung.

Partner

Projektanteile zur Metaphernbildung und kartographischen Verfahren wurden im Rahmen einer Diplomarbeit von Frau Julia Schröck und durch die Betreuung von Professorin Dr.-Ing. Anne Rauner an der Hochschule Karlsruhe, Fakultät für Geomatik unterstützt. Wir danken für die fruchtbare, interdisziplinäre Zusammenarbeit.

Ansprechpartner

Bela-Andreas Bargel M.A., PMP Telefon +49 721 [email protected]

Isometrische Umsetzung einer Lernlandkarte.

Literatur: [1] Schröck, J.; Bargel, B.; Roller, W.; Rauner, A.: Learning maps – usage of cartographic metaphors for orientation in learning courses. Proceedings of »e-Learning 2010« conference as part of the IADIS multi conference on computer science and information systems (MCCSIS 2010), IADIS Press, 2010, Vol. I[2] Szentes D.; Bargel, B.; Berger, A.; Roller, W.: Computer-supported training for the interpretation of radar images, EUSAR 2008 - 7th. European Conference on Synthetic Aperture Radar, Vol. 4.[3] Bargel, B.; Zaschke, C.; Roller, W.: Enhancing e-learning by system supported conversion of exercises. Proceedings of »e-Learning 2009« conference as part of the IADIS multi conference on computer science and information systems (MCCSIS 2009), Portugal, IADIS Press, 2009, Vol. II

Ausgangssituation

Klassische E-Learningkurse gleichen der Struktur eines Buches. Lerninhalte werden für eine Zielgruppe entwickelt und in Kapiteln fester Reihenfolge dargeboten.

Semantische Wissenssysteme und adaptive Lernpfade lösen sich von dieser Hierarchie hin zu vernetzten Wissens- und Lerneinheiten. Vernetzung findet dabei sowohl auf inhaltlicher, als auch auf didaktischer Ebene statt und bedarf so einer adäquaten Visualisierung zur Navigation.

Es wird nicht mehr in einer statischen Anordnung von elektronischen Buch-seiten navigiert, sondern es ergeben sich z. B. in Abhängigkeit von der Lern-leistung individuelle Lernpfade durch ein Lerngebiet. Ein klassisches Inhalts-verzeichnis in Baumstruktur reicht so nicht mehr aus und es galt eine didak-tisch sinnvolle Lösung zu entwickeln. Stadtmetapher Inselmetapher Landmetapher



Projekte

Auswertung von Laserentfernungs-bildern zur präzisen Objekterkennung, -Vermessung und -Verfolgung

Dreidimensionale Erkennung bewegter Objekte mit Stereokonfigurationen passiver Sensoren

Echtzeit-Experimentalaufbau zum Feldtest und zur Bewertung der Bild-verbesserung, Bildstabilisierung, Objekt-erkennung und Objektverfolgung mit konkurrierenden Sensor- und Algorith-men-Konfigurationen

Kriterien und Methoden zur Bewertung automatischer Verfahren der Objekt-erkennung und -verfolgung

Erkennung von Booten und Schiffen

Situations- und Personenerkennung

Weitergabe erkannter Objekte in Sensor-netzen und deren Markierung in den Sensordaten aller Plattformen im Netz

Erkennung und Verfolgung von Objekten in Bildfolgen mit unterstützender Nut-zung von 3-D-Umgebungsmodellen

Underwater Vision mit Gated Viewing Sensoren und dem Schwerpunkt aktive Objekterkennung durch intelligenten Sensoreinsatz

Leitung:

Dr.-Ing. Karl LütjenTelefon +49 7243 992-128

[email protected]

www.iosb.fraunhofer.de/OBJ


Die Abteilung Objekterkennung (OBJ) entwi-ckelt und bewertet automatische Verfahren zur Erkennung und Verfolgung von Objekten im Sensornetz. Dazu werden Multisensorsysteme eingesetzt, deren Daten fusioniert ausgewertet und visualisiert werden.

Aktive Laserradare (LiDAR) liefern Entfernungs-bilder, mit denen Objekte automatisch gelernt und anschließend in Echtzeit sicher erkannt sowie nach Bestätigung durch den Bediener zuverlässig ver-folgt werden können. Beispiel für dieses Arbeits-gebiet ist die Hinderniswarnung für Hubschrauber, die aufbauend auf einer automatischen Objektklas-sifikation relevante Hindernisse in ein Videobild ein-blendet und so einen sicheren Tiefflug ermöglicht.

Zweiter Schwerpunkt ist die Auswertung von Bildfolgen im infraroten sowie sichtbaren Spektral-bereich. Hier werden Objekte automatisch detek-tiert, verfolgt und durch ihr Bewegungsverhalten erkannt. Darüber hinaus können in Kombination mit anderen Sensoren die Trajektorie des bewegten Sensors sowie die 3-D-Struktur der Objekte und ihre Einbettung in die 3-D-Umgebung bestimmt werden. Schließlich werden nach einer situations-angepassten Bildverbesserung die Bilddaten mit den ermittelten Ergebnissen einem menschlichen Beobachter dargestellt. Eine Anwendung ist die Warnung vor schwimmenden Minen und asym-metrischen Bedrohungen wie Piratenschiffen.

Die Mustererkennung im Sensornetz mit verteilter Sensorik und verteilter Verarbeitung ist ein weiterer Schwerpunkt. Beispiel hierfür ist ein Hubschrauber mit begleitenden Drohnen, der Sensoren, lokale Verarbeitung und Effektoren in einem Netz ver-bindet. Hierfür werden parallel organisierte Ver-fahren zur Sensordatenfusion, Objekterkennung und -visualisierung entwickelt.

Echtzeit-Verfolgung von Fahrzeugen.

Experimentalfahrzeug mit Laserradar.

Erkennung von Booten und Schiffen.

Objekterkennung


Objekterkennung

3-D-Daten (z. B. Laser-Reflektanzwerte) werden die Umgebungsmodelle für die 2-D-Erkennung aufbereitet. Hierzu werden hierarchisch gegliederte und mit schnellen Suchstrukturen versehene Merkmalslandkarten generiert, welche eine schnelle Korrespondenzfindung ermöglichen.

Aufgrund der oftmals fundamental unterschiedlichen Objekterscheinungen in multi-modalen Datensätzen werden hierzu robuste Korrespondenzfindungs-algorithmen eingesetzt, die auch die korrekte geometrische Anordnung kor-respondierender Merkmale einbeziehen.

Für höchste Genauigkeitsansprüche kann mittels einer nachgeschalteten, inten-sitätsbasierten Abstandsminimierung zwischen simulierten Ansichten und den Anfrage-Bildern eine hohe Registrierungs-genauigkeit erreicht werden. Neben herkömmlichen, statistischen Distanz-maßen werden hier auch neu entwi-ckelte Verfahren auf Basis von Selbst-ähnlichkeiten verwendet, die eine hohe Robustheit gegenüber lokalen Intensitäts-fluktuationen aufweisen.

soren zu verbessern. So wird durch die 3-D-Daten eine robustere Schätzung der Eigenbewegung ohne zusätzliche Sensorik möglich, was sehr billige Sensor-systeme und kompakte Bauformen ermöglicht.

Stichworte / Deskriptoren

Bildbasierte Lokalisierung, multi-modale Bildfusion, 2-D / 3-D-Registrierung, Lokale 2-D / 3-D Bildmerkmale


Christoph Bodensteiner, Peter Solbrig, Michael Arens

Ansprechpartner

Dr.-Ing. Christoph BodensteinerTelefon +49 7243 992-161 [email protected]

Auf der Basis der bisher entwickelten Verfahren zur multi-modalen Bilddaten-fusion sind bereits jetzt viele Anwen-dungen denkbar.

So kann mittels der zugrundeliegenden 3-D-Daten eine kombinierte Auswertung von Sensoren erfolgen, die keine direkten Korrespondenzen zwischen den jewei-ligen Bilddaten aufweisen. Darüber hinaus lassen sich die Laser-scans auch als virtuelles Kalibrierobjekt verwenden, um die Ableitung aktueller 3-D-Informationen aus bewegten Sen-

Ergebnis

Im Rahmen des Projektes wurden hierzu hochgenaue Registrierungsverfahren für Bilddaten im sichtbaren und infraroten Spektralbereich entwickelt, welche mit terrestrischen und luftgetragenen 3-D-Laserscanning Daten eingesetzt werden können.

Projektbeschreibung

Eine wichtige Grundlage der entwi-ckelten Fusionsalgorithmen stellen dabei neue Verfahren zur multi-modalen Korrespondenzfindung und intensitäts-basierten Bildregistrierung dar.

Eine wichtige Eigenschaft der Verfahren ist die Möglichkeit zur direkten Ver-wendung von 3-D-Laserscans. So können zeitnah akquirierte 3-D-Daten ohne

Bildbasierte Objektlokalisierung mittels multi-modaler Bilddatenfusion

aufwendige und meist fehleranfällige Vorverarbeitung direkt zur Referenzie-rung herangezogen werden.

Allen Anwendungen gemeinsam ist der Anspruch auf eine vollautomatische Fusion aller beteiligten Datensätze. So sollen die Methoden ohne zusätzliche Sensorik auskommen und auch auf mobilen Geräten einsetzbar sein.

Im Falle größerer Umgebungsmodelle, wie beispielsweise Laserscans größerer Gebiete oder ganzer Städte, spielt hier-bei die kompakte und sucheffiziente Repräsentation der 3-D-Daten eine wichtige Rolle.

Mittels der Generierung virtueller Kameraansichten und der Extraktion visuell distinktiver Merkmale in den zugehörigen Intensitätsdaten der

Abb. 1: Visualisierung eines 3-D-Laserscans (fusionierte Daten von terrestrisch und luftgetragen akquirierten Laserscans) mit der errechneten Objektposition des im Kamerabild (rechts unten) definierten Objekts.

Abb. 2: Links: Extrahierte 3-D-Regionen mit hohem Informationsgehalt für die Wiedererkennung. Sie bilden die Grundlage für die Erstellung von Merkmals-Landkarten. Rechts: Zugrunde liegender 3-D-Scan eines terrestrischen Laserscanners.

Literatur: Bodensteiner, C., Hebel, M., Arens, M.: Accurate Single Image Multi-Modal Camera Pose Estimation. ECCV – RMLE, 2010.Bodensteiner, C., Huebner, W., Juengling, K., Mueller, J., Arens, M.: Local Multi-Modal Image Matching Based on Self-Similarity, IEEE - ICIP, 2010.

Abb. 3: Visualisierung eines 3-D-Laserscans (fusionierte Daten von terrestrisch und luftgetragen akquirierten Laserscans) mit den errechneten Sichtstrahlen des im Kamerabild (oben rechts) eingezeichneten Fensters. Links oben: Die Registrierung der multi-modalen Daten bildet dabei die Grundlage für das Referenzieren von Objekten im Bezug zum 3-D-Laserscan.

Ausgangssituation

Die Möglichkeiten zur hochgenauen, dreidimensionalen Erfassung der Umwelt mittels bildgebender Sensorik schreiten immer weiter voran. Beispielsweise erlauben moderne Laserscanner-Systeme eine schnelle und äußerst genaue, drei-dimensionale Erfassung der Umwelt. Meist handelt es sich dabei aber um vergleichsweise teure und unhandliche Systeme. Um diese meist schon im Vorfeld gewonnene 3-D-Information nun auch mit herkömmlichen Kameras nutzen zu können, muss eine multi-modale Bilddatenfusion stattfinden. Hierbei werden Informationen über die exakten Parameter der eingesetzten Sensoren und deren Lage zur beobach-teten Szene bestimmt. Dies erlaubt in der Folge eine Ableitung der 3-D-Struktur von korrespondierenden Bild-inhalten und bietet die Möglichkeit zur direkten Markierung und Annotation von Objekten im Kamerabild.

Aufgabe

Das Ziel des Projekts sind generische Verfahren zur dreidimensionalen Objektlokalisierung, welche sowohl mit herkömmlichen Bildinformationen im sichtbaren Spektrum als auch mit Bild-daten aus anderen Spektralbereichen operieren und auf im Vorfeld aufgenom-mene 3-D-Daten zurückgreifen können. Die Einsatzgebiete reichen von der genauen Positions- und Orientierungs-bestimmung von Kameras und den darin abgebildeten Objekten bis hin zu ver-besserten 3-D-Trackingverfahren und Augmented-Reality Anwendungen.


Aufgrund der neuartigen Möglichkeiten des Systems wurde ein Entwurfsfluss entwickelt, welcher den Benutzer bei der Anwendungspartitionierung und dem Architekturentwurf unterstützt. Abbildung 3 zeigt die Stationen des Entwurfsflusses, der die Anwendungs-entwicklung von hoher Abstraktions-ebene bis zur Hardwareintegration unterstützt. Der Entwurfsfluss besteht aus einer Kopplung kommerzieller und selbstentwickelter Entwurfswerkzeuge. Es sind nur wenige manuelle Schritte vom Benutzer erforderlich, um die Anwendung zu integrieren.

Ergebnis

Die hier beschriebene Hardware sowie der dazugehörige Entwurfsfluss, wurden vollständig realisiert und anhand realer Anwendungsszenarien aus der Bildver-arbeitung evaluiert. Desweiteren wurden Vergleiche hinsichtlich der Energieeffi-zienz mit kommerziellen Single- und Multiprozessorsystemen durchgeführt. Bei diesem Vergleich erfüllten alle Systeme die Echtzeitbedingungen der Anwendungen. Es stellte sich heraus, dass mit einem Grafikprozessor (GPU: Graphics Processing Unit), obwohl er die höchste Rechenleistung erbringt, die Energieeffizienz des hier beschriebenen rekonfigurierbaren Multiprozessorsystems nicht erreicht werden kann. Gleiches gilt für eine traditionelle CPU in Standard PCs. Diese Forschungsarbeit sowie aktuelle Trends zeigen, dass die Kopplung anwendungsorientierter Hardware (FPGA) mit Prozessoren eine gewinnbringende Synergie bildet, um zukünftige rechen-leistungsintensive Anwendungen mit neuester Technologie beherrschbar zu machen.

Ansprechpartner

Dipl.-Ing. Diana GöhringerTelefon +49 7243 992-326 [email protected]


Eingebettete Multiprozessorsysteme, Rekonfigurierbare Hardware, Entwurfs-methodik, Laufzeitsystem

Auftraggeber / Partner

Alle hier beschriebenen Arbeiten wur-den im Rahmen von Zuwendungen des BMVg und in Kooperation mit dem Institut für Technik der Informations-verarbeitung (ITIV), Karlsruher Institut für Technologie (KIT), durchgeführt.

Form von höherer Verlustleistung mit sich bringt. Eine festgelegte Hardware-struktur kann sich weiterhin nicht an sich ändernde Anforderungen einer Anwen-dung zur Laufzeit anpassen. Solche dynamischen Szenarien spielen gerade in der Domäne der eingebetteten Systeme eine herausragende Rolle, da ein System-status oftmals von der Umgebung abhängt und kontinuierlich optimiert werden muss. Ein neues Konzept mit laufzeitadaptivem Verhalten soll diese Einschränkung überwinden.

Dieses neue Konzept bedient sich program-mierbarer Hardware-bausteine (FPGAs: Field Programmable Gate Array). Diese Bausteine ermöglichen die repro-grammierbare Realisierung digitaler Schaltungen wie z. B. Beschleuniger für Algorithmen, Prozessoren oder Schnittstellen.

Laufzeitadaptives Multiprozessorsystem

Projektbeschreibung

Innerhalb dieser Forschungsarbeit wurde ein laufzeitadaptives Multiprozessor-system, genannt RAMPSoC (Runtime Adaptive Multi-Processor System-on-Chip) entwickelt. Dieses System verknüpft die Vorteile traditioneller Prozessoren und rekonfigurierbarer Hardware. Dies ist durch ein flexibles heterogenes Netz-werk von Mikroprozessoren mit eng gekoppelten Hardware-Beschleunigern auf einem FPGA realisiert worden. Abbildung 1 zeigt ein Beispiel für ein solches RAMPSoC bestehend aus ver-schiedenen Mikroprozessoren, Beschleu-nigern, einer Kommunikationsarchitek-tur und einigen Spezialkomponenten zur Kommunikation und Verwaltung der Recheneinheit.

Die Skalierbarkeit des Netzwerkes wird durch eine flexible, eigens für das RAMPSoC entwickelte, Network-on-Chip (NoC) Architektur unterstützt. Dieses Star-Wheels Netzwerk (Abb. 2) verbindet die Vorteile eines sternförmigen Netzes und eines Ringes. Die folgende Abbildung zeigt die komplette Netzwerktopologie des Star-Wheels mit 4 Prozessoren.

Ausgangssituation

Die Anforderungen an die Rechen-leistung eingebetteter Systeme, insbe-sondere in der Bildverarbeitung, steigen aufgrund neuer Anwendungen und größerer Kameraauflösungen stetig an. Gleichzeitig muss die Verlustleistung dieser Geräte möglichst gering sein, da die Energieversorgung in den oft-mals mobilen Geräten eingeschränkt ist und eine lange Verfügbarkeit sicher-gestellt sein sollte.

Um diese neuen Anforderungen zu beherrschen, werden heterogene Multi-prozessorsysteme effizient angewendet. Mithilfe dieser neuartigen Hardware wird der Gewinn der Rechenleistung durch die parallele Bearbeitung der Algorithmen einer Anwendung mit einer festgelegten Struktur aus mehreren Prozessoren erreicht. Aufgrund dieser Festlegungen lassen sich weitere Anwendungsszenarien nur suboptimal integrieren, da die Architektur nur eine gewisse Bandbreite an Anwendungen optimal unterstützt. Dies führt zu einer ineffizienten Ressourcenauslastung des Multiprozessorsystems, was Kosten in

Abb. 3: Der RAMPSoC Entwurfsfl uss.

Objekterkennung

Abb. 2: Heterogenes Star-Wheels Netzwerk mit 4 Prozessoren.

Abb. 1: Ein Beispiel für ein RAMPSoC System mit Star-Wheels Netz-werk (siehe auch Abb. 2).

Literatur: Diana Göhringer, Michael Hübner, Jürgen Becker: »Adaptive Multiprocessor System-on-Chip Architecture: New Degrees of Freedom in System Design and Runtime Support«; Buchkapitel 6 in Multiprocessor System-on-Chip: Hardware Design and Tool Integration, Springer, 2010.



Leitung:

Dr.-Ing. Karsten Schulz Telefon +49 7243 992-106

[email protected]

www.iosb.fraunhofer.de/SZA


Die Abteilung Szenenanalyse entwickelt und untersucht Verfahren zur automatischen Auswer-tung multisensorieller Bilddaten im Aufklärungs-verbund. Dabei werden sowohl operationell ein-geführte als auch zukünftige Plattformen als Sensorträger für bildgebende Systeme betrachtet. Für die Analyse einer durch einen Sensor erfassten Szene stehen heute aufgrund der Vielzahl von möglichen zusätzlichen Informationsquellen (Geoinformationssysteme, Geoinformations-infrastrukturen) sehr umfangreiche, aber auch sehr heterogene Daten zur Verfügung. Für eine präzise und schnelle Auswertung benötigt der Anwender unterstützende Verfahren, die Objekte oder Änderungen in einer Szene detektieren, analysieren, kategorisieren und klassifizieren. Für diese Aufgaben sind vier Kerngebiete definiert.

• Bildinterpretation• 3-D-Objektanalyse• Kooperative Datenauswertung für

vernetzte Sensorik• SAR-Bildauswertung

Hintergrund der Forschungsarbeiten – insbesondere in der Bildinterpretation – sind die Kernforderungen der Aufklärung nach einer zeitnahen Verfügbarkeit von Auswerteergebnissen mit Geobezug. Sie wer-den als Entscheidungsgrundlagen im Rahmen von militärischen Operationen und des Katastrophen-managements benötigt. Inzwischen steht eine Viel-zahl von leistungsfähigen luft- und raumgestützten Systemen (z. B. RECCE-Tornado, Heron, SAR-Lupe, TerraSAR-X, Envisat, QuickBird) zur Verfügung. Die Auswertung der Daten ist aufgrund ihrer Menge und der damit verbundenen Arbeitsbelastung für den Menschen allein nicht mehr möglich. Die auto-matische Aufbereitung und Verarbeitung der Daten lenkt die Aufmerksamkeit des Auswerters auf relevante Bereiche und ermöglicht so die effiziente Auswertung auch großer Datenmengen. Hierzu werden leistungsfähige Verfahren zur Segmentation, Klassifikation, Änderungsanalyse und zur Fusion von Daten unterschiedlichster Sensoren entwickelt. Diese höchst effizienten Verfahren nutzen die Mikroarchitektur aktueller Arbeitsplatzrechner und weisen, verglichen mit anderen aktuellen

Strukturelle Änderungsdetektionen

Analyse von Hyperspektralbilddaten

3-D-Objektrekonstruktion aus Bildfolgen und Laserscanningdaten

Automatische Ableitung von 3-D-Gebäudemodellen aus 3-D-Punktwolken

Automatische Georeferenzierung von Bildinhalten

Bildgestützte Navigation

Simulation von SAR-Bildsignaturen zur Unterstützung der Bildinterpretation

Merkmalsanalyse, Änderungsdetektion und -kategorisierung in SAR-Daten

Analyse von Bodendeformationen mit Hilfe von Permanent Scatterer

Gebäuderekonstruktion aus interfero-metrischen SAR-Bildern

CovAmCoh - Methode zur Merkmalsextraktion aus SAR-Bildern.

Implementationen, eine Geschwindig-keitssteigerung um einen Faktor von zehn bis hundert auf und gehören zu den weltweit schnellsten auf ihrem Gebiet. Daneben kommt im Bereich Bildinterpretation der Analyse von Hyperspektraldaten besondere Bedeu-tung zu. Hierbei stehen Methoden zur Extraktion relevanter Informationen im Mittelpunkt. Die Anwendungen reichen von der reinen Reduktion der Daten zur besseren Ausnutzung von Übertragungsbandbreiten über die Hinweisgenerierung – sowohl in Einzel-aufnahmen, als auch im Rahmen der Änderungsanalyse aus mehreren Auf-nahmen.

Der Inhalt einer Szene läßt sich häufig erst richtig beurteilen, wenn deren räumliche Ausprägung erfasst werden kann. Die Abteilung Szenenanalyse entwickelt daher Verfahren zur auto-matischen Ableitung von 3-D-Beschrei-bungungen urbaner Gebiete und wertet dazu multisensorielle Bilddaten aus, die mit Hilfe raumbasierter, luftgetragener oder bodengebundener Aufklärungs-systeme erfasst wurden.Um die Leistung vernetzter Sensorik synergetisch im Sinne eines »system of systems« ausnutzen zu können, muss auch die Methodik der kooperativen Sensordatenauswertung entsprechend konzipiert werden. Dazu werden in der Abteilung Szenenanalyse Verfahren entwickelt, die Daten abbildender Sensoren auf eine gemeinsame Geo-datengrundlage referenzieren und die Sensoren mit »einer Sprache sprechen« lassen. Das daraus abzuleitende Potenzial der Sensordatenfusion bis hin zum Echt-zeitlagebild wird untersucht und ent-sprechende Verfahren realisiert.

Nur wenige Sensoren haben die Mög-lichkeit, unabhängig von der Tageszeit oder den Wetterbedingungen auswert-

Automatische Verfahren prozessieren aus Laser-scannermessungen (links) 3-D-Modellinstanzen (rechts). Texturierte Tiefenkarten (Mitte) entstehen dabei als ein bereits recht anschau-liches Zwischenprodukt.

bare Aufnahmen zu machen. Bild-gebende Radarsysteme, die eine syn-thetische Apertur bilden (SAR), sind diesbezüglich kaum eingeschränkt. Interferometrische SAR-Systeme können aufgrund ihrer phasentreuen Auswertung die 3-D-Ausprägung der abgebildeten Szene erfassen und bei der Nutzung von Zeitreihen kleinste Oberflächenbewegungen detektieren. Die SAR-Bilddaten sind aufgrund ihrer spezifischen Abbildungseigenschaften durch den Menschen nur schwer zu interpretieren weshalb eine Auswer-tungsunterstützung hier besonders wertvoll ist. Die SAR-Bildauswertung und die SAR-Bildsimulation zählen des-halb zu den Kernbereichen der Abtei-lung. Insbesondere sind die Merkmals-analyse, die Änderungsdetektion und -kategorisierung in SAR-Daten im Fokus.

Die Schwerpunkte der Forschungs-arbeiten liegen in den Bereichen:

Effiziente Screeningverfahren für die Auswertung großer Bilddatenmengen

Automatische Referen-zierung von Sensorbild-daten auf eine gemein-same Geodatengrund-lage, Echtzeitlagebild.


Szenenanalyse

Szenenanalyse

Datenauswertung ein. So werden zum Beispiel typische Bewegungsprofile, wie sie beispielsweise durch Treppensteigen entstehen, modelliert und bei Detektion in die Auswertung integriert. Ein vom ITE entwickeltes Trägheitsmesssystem (Inertial Measurement Unit) sowie weitere nicht-abbildende Sensoren kommen zum Einsatz (Abb. 1).

Ergebnis

Am IOSB wurde ein Systemdemonstrator aufgebaut, der aus einem leichten, mobilen Missionspaket für eine Person und einer stationären Basisstation für die Missionsüberwachung und -leitung besteht. Das mobile Missionspaket beinhaltet die Sensorik und einen handelsüblichen Auswertungsrechner. Die integrierte Sensorik umfasst einen barometrischen Höhenmesser, einen Kompass, Trägheitssensorik, einen GPS-Empfänger sowie eine Kamera (Abb. 2). Die Auswertung der Messdaten erfolgt

Partner

Institut für Theoretische Elektrotechnik und Systemoptimierung (ITE), Karlsruher Institut für Technologie


Markus Kleinert, Sebastian Schleith, Christian Ascher (KIT), Jochen Meidow

Ansprechpartner

Dr.-Ing. Jochen MeidowTelefon +49 7243 992-117 [email protected]

in Echtzeit und liefert georeferenzierte Sensortrajektorien sowie durch Triangu-lation bestimmte Raumpunkte.

Diese Auswertungsergebnisse werden über eine Funkstrecke an eine Basis-station übermittelt und dort über einem unterlegten Luftbild dargestellt (Abb. 3). Für die Zukunft ist die Ableitung von Karten aus den 3-D-Punktwolken vor-gesehen.


Navigation, Szenenrekonstruktion, Einsatzführung, Missionsüberwachung, Sensordatenfusion

Auftraggeber

Wehrtechnische Dienststelle der Bundes-wehr für Informationstechnologie und Elektronik (WTD 81), Geschäftsfeld »Navigation«

Sensoren ermöglichen sie gleichzeitig eine Umgebungskartierung.

Im Rahmen der Sensordatenfusion lassen sich die komplementären Eigenschaften der eingesetzten Sensoren gewinn-bringend ausnutzen: Trägheitssensoren zeichnen sich durch eine hohe Dynamik und Resistenz gegenüber Umweltein-flüssen aus. Sie können um die lang-zeitstabilen Richtungsmessungen der Kamera, Schrittlängenmessung und weitere Beobachtungen ergänzt werden.

Projektbeschreibung

Unter Berücksichtigung operationeller Randbedingungen wurde ein Konzept für ein leistungsfähiges Navigations-

Navigation und Kartierung für mobile Einsatzkräfte in urbanem Gebiet

verfahren erstellt, welches ohne Inter-aktion auskommt. Dieses sieht den Einsatz von leichten und preiswerten Sensoren vor. Das Konzept berücksich-tigt die unterschiedlichen Typen von Messungen, deren zeitlich unterschied-liche Verfügbarkeit sowie deren unter-schiedlichen Erfassungsraten und -zeit-punkte. Unter Ausnutzung moderner Rechnerarchitekturen erfolgte eine Realisierung, die bei großem Daten-durchsatz eine schritthaltende Auswer-tung ermöglicht.

Als Kooperationspartner bringt das Institut für Theoretische Elektrotechnik und Systemoptimierung (ITE) des Karlsruher Instituts für Technologie (KIT) seine umfangreiche Expertise auf dem Gebiet der Entwicklung von Träg-heitssensorik und der dazu gehörigen

Ausgangssituation

Der Erfolg von Sicherheits- und Rettungs-kräften im Einsatz wird neben Faktoren wie Training und Erfahrung vor allem von einer präzisen Lagebeurteilung als Grund-lage der Einsatzplanung und -führung bestimmt. Die Fähigkeiten, sich am Einsatzort zuverlässig zu orientieren und die Einsatzumgebung – insbesondere unbekannte Gebäudeinnenräume – schnell zu erfassen, sind Vorausset-zungen für ein erfolgreiches Handeln. Für die Koordination und Führung von Einsatzkräften sind somit Navigations- und Explorationsaufgaben zu lösen.

Herkömmliche Navigationsverfahren verwenden Positions-, Geschwindigkeits- und Richtungsmessungen, um die zurückgelegten Wege zu bestimmen und den gewünschten Ort zu erreichen. Dabei wird für die Positionsbestimmung meist die Satellitennavigation und zur Bestimmung von Richtungen und Geschwindigkeiten Trägheitssensorik bestehend aus Drehraten- und Beschleunigungsmessern eingesetzt.

Aufgabe

In urbanem Gebiet und in Gebäude-innenräumen sind Funk- oder Satelliten-signale aufgrund von Hindernissen im Signalweg und Mehrfachreflexionen schlecht oder gar nicht zu empfangen. Die Lösung der Koppelnavigation unter-liegt einer unvermeidlichen Drift; Trägheitssensorik in der erforderlichen Genauigkeitsklasse ist voluminös, teuer und schwer.

Kameras bieten für die Lösung der Auf-gabenstellung zusätzliche Perspektiven: Sie sind preiswert und leicht, dienen der Orientierung, und als bildgebende Abb. 1: Eingesetzte Sensoren und deren Integration. Abb. 2: Mobiles Sensorsystem für Einsatzkräfte.

Abb. 3: Einsatzkoordination an der Basisstation. Die zurückgelegten Pfade der Personen werden georeferenziert angezeigt.

Literatur: [1] M. Kleinert und S. Schleith (2010) Inertial Aided Monocular SLAM for GPS-Denied Navigation. IEEE Conf. on Multisensor Fusion and Integration[2] M. Kleinert, S. Schleith, C. Ascher, G. F. Trommer, U. Stilla (2011) A New Pedestrian Navigation Algorithm based on the Stochastic Cloning Technique for Kalman Filtering. Inter-national Technical Meeting of the Institute of Navigation



Projekte

Robotergestützte automatische Sichtprüfung

Multivariate Kamera-Arrays

Multidimensionale Aufnahme- und Fusionsmethoden

Oberflächeninspektion an diffus reflek-tierenden und / oder spiegelnden sowie teiltransparenten Objekten

Deflektometrische Rekonstruktion von (teil-) spiegelnden Oberflächen

Verfahren der inversen Beleuchtung zur schnellen Sichtprüfung

Prüfstandsplanung zur Optimierung der Bilderfassung in der Serieninspektion

Lokale Fusion heterogener Informations-quellen

Intelligente Sicherheitssysteme im Kfz-Bereich

Mitarbeit im Teilprojekt B3 »Verteilte Kooperation« des SFBs / Transregio 28 »Kognitive Automobile«

Mitarbeit im Teilprojekt M2 »Umweltmodellierung« des SFBs 588 »Humanoide Roboter«

Infrastruktur und Ausstattung

Roboter-Labor:

Ein Industrieroboter ermöglicht die automatisierte und reproduzierbare Einstellung sämtlicher geometrischer Freiheitsgrade der Bilderfassung. Damit können z. B. kompliziert geformte Objekte mit individueller Beleuchtungs-anpassung vollständig erfasst werden. Zur Inspektion stehen unterschiedliche Sensorköpfe zur Verfügung (u. a. deflektometrischer Sensorkopf).

Beleuchtungstechnisches Testlabor:

Mit geringem Aufwand lassen sich experimentell Beleuchtungsstrategien für Voruntersuchungen entwickeln. Dazu wird ein Versuchsaufbau genutzt, bei dem verschiedene Beleuchtungs-konstellationen reproduzierbar und in kurzer Zeit umgesetzt werden können. Beleuchtungsserien können halbauto-matisch erfasst werden.

Leitung:

Dr.-Ing. Marco HuberTelefon +49 721 608-5912

[email protected]

www.iosb.fraunhofer.de/VBV

Kompetenzen und Forschungsthemen

Die Forschungsgruppe Variable Bildgewinnung und -verarbeitung (VBV) entwickelt Verfahren und Systeme zur Nutzung variabler Bilderfassungs-techniken in der automatischen Sichtprüfung und Bildauswertung sowie im allgemeineren Kontext zur Modellierung und Auswertung heterogener Information. In enger Kooperation mit den Abtei-lungen des IOSB und dem Lehrstuhl für Interak-tive Echtzeitsysteme (IES) des Karlsruher Instituts für Technologie (KIT) werden grundlegende und anwendungsbezogene Fragestellungen zu diesen Themen untersucht, u. a.:• Techniken zur reproduzierbaren Erfassung optimaler Bildserien, z. B. durch Variation von Beleuchtung, Fokussierung, Kameraposition und optischen Filtern• Inspektions- und Rekonstruktionsverfahren für (teil-) spiegelnde Oberflächen• Systemtheoretische Modellierung der Bilderfas- sung zur Optimierung des Auswerteprozesses• Fusionsverfahren und -algorithmen für Bildserien und andere Informationsquellen• Active Vision zur Regelung angepasster Aufnahmeparameter• Erfassung und Auswertung von Bildserien zur UmweltwahrnehmungVariabilität in der Bildaufnahme wird erforderlich, wenn die relevante Szene nicht mit einer Einzelauf-nahme so erfasst werden kann, dass die Nutzinfor-mation erkennbar ist. In diesen Fällen können etwa mittels Handhabungssystemen das Gesichtsfeld der Kamera erweitert oder die Zugänglichkeit bei zerklüfteten Objekten verbessert werden. Bild-serien mit anderen variierten Aufnahmeparametern erlauben, relevante Informationen über eine Szene zu gewinnen, die mit anderen Inspektionsverfahren nur unter großem Aufwand zugänglich wären. Fortschritte bei den mathematischen Verfahren zur Modellierung, Planung und Auswertung von Bildserien sowie die Verfügbarkeit von günstigen Kamera- und Handhabungssystemen machen solche Verfahren immer interessanter für den Anwender, wenn Standardverfahren der Bildverarbeitung und der automatischen Sichtprüfung für die Aufgabe nicht nutzbar sind oder eine hohe Flexibilität der Inspektion erforderlich ist.

Forschungsgruppe: Variable Bildgewinnung und -verarbeitung

Christian Frese, Martin Grafmüller, Andrey Belkin, Marco Huber Ioana Gheta, Sebastian Höfer, Jennifer Sander

Multivariates Kamera-Array:

Ein zweidimensionales Kamera-Array wird mit unterschiedlichen Einstellungen (z. B. Fokusposition, Blende) und Filtern (Polarisations- und spektrale Filter) betrieben, um multivariate Bildserien zu erfassen. Die Fusion der Bildserien erlaubt die systematische Auswertung wichtiger Szeneneigenschaften.


es im thermischen Infrarotspektrum für den zivilen Einsatz keinen vergleichbaren Ersatz. Für den thermischen Muster-generator werden verschiedene Ansätze zur direkten oder indirekten dynamischen Erzeugung von Wärmemustern unter-sucht. Bei direkten Verfahren werden die Muster durch eine Reihe von diskret aufgebauten, thermischen Elementen quasi pixelweise erzeugt, während bei indirekten Verfahren das Wärmemuster in einem Zwischenschritt, beispielsweise durch Absorption von Laserlicht, auf eine Projektionsfläche aufgebracht wird. Die Ansätze werden dabei hinsichtlich ihrer späteren Einsetzbarkeit zur deflektome-trischen Messung in einer industriellen Produktionsumgebung evaluiert.

Variable Bildgewinnung und -verarbeitung

Deflektometrie im Infrarotspektrum

Ausgangssituation

Die automatisierte Sichtprüfung spielt eine wichtige Rolle bei der Qualitäts-sicherung in der industriellen Fertigung. Bei der Inspektion spiegelnder und teil-spiegelnder Oberflächen tun sich hier insbesondere deflektometrische Mess-verfahren hervor. Zur Inspektion werten sie die Spiegelung eines definierten Musters auf der zu untersuchenden Oberfläche aus. Ein geeigneter Sensor lässt sich bereits aus einem gewöhn-lichen Monitor zur Mustergenerierung und einer Kamera aufbauen. Aus den Verzerrungen des angezeigten Musters lässt sich auf die Form der Oberfläche schließen (Abb. 1)[1]. Im Unterschied zu den meisten herkömmlichen Verfahren zur Oberflächenvermessung wird hierbei die Krümmung der Oberfläche erfasst, was eine hohe Empfindlichkeit gegen-über typischen Oberflächendefekten, wie z. B. Dellen oder Lackierfehlern, gewährleistet.

Dabei ähnelt das deflektometrische Prüf-verfahren auch der Herangehensweise, mit der ein menschlicher Betrachter eine spiegelnde Oberfläche untersucht. Es ist somit ideal geeignet, um Ober-flächendefekte daraufhin zu untersuchen, wie sie von einem Menschen wahr-genommen würden.

Voraussetzung für eine deflektometrische Messung ist eine sichtbare Spiegelung auf der Oberfläche. Dadurch beschränkt sich deren Einsatz bisher auf glänzende Metall-, Glas- oder lackierte Oberflächen.

Projektbeschreibung

In der Forschungsgruppe Variable Bild-gewinnung und -verarbeitung des Fraunhofer IOSB wird in Kooperation mit dem Lehrstuhl für Interaktive Echt-zeitsysteme am Karlsruher Institut für Technologie (KIT) daran gearbeitet, ein breiteres Spektrum von Materialien und Oberflächen der deflektometrischen Inspektion zugänglich zu machen.

Dazu soll das Prinzip der Deflektometrie in das langwellige, thermische Infrarot-spektrum übertragen werden, um sich die abweichenden optischen Eigen-schaften vieler Oberflächen in diesem Spektrum zu Nutze zu machen. Haupt-sächlich kommen dabei zwei Effekte zum Tragen:

• Die optischen Eigenschaften von Materialien, wie z. B. Reflektanz und Transparenz sind von der Wellenlänge des auftreffenden Lichts abhängig. Im thermischen Infrarot weichen diese

Abb. 1: Oberflächen-spiegelung im thermi-schen Infrarotspek-trum. Die Verzerrung des Streifenmusters lässt auf die Form und eventuelle Defekte der Oberfläche schließen.

zum Teil stark von den gewohnten Eigenschaften im sichtbaren Spektrum ab. Insbesondere bei metallischen Oberflächen nimmt die Reflektanz stark zu, was eine Inspektion mittels Deflektometrie begünstigt.

• Das »Rayleigh-Kriterium« definiert das optische Auflösungsvermögen abhängig von der Wellenlänge. So können mikroskopische Strukturen bei großen Wellenlängen nicht mehr aufgelöst, umgekehrt aber auch Störungen, die durch mikroskopische Strukturen entstehen, unterdrückt werden. Dazu gehören beispielsweise Strukturen, wie sie bei maschinell bearbeiteten Oberflächen entstehen. Solche Oberflächen streuen durch ihre Mikrostruktur das auftreffende Licht und führen so zu einer diffusen Reflektion im sichtbaren Spektrum (Abb. 2). Im langwelligen Infrarot-spektrum erhält man dagegen eine spiegelnde Reflektion (Abb. 3), was den Einsatz deflektometrischer Mess-verfahren ermöglicht.

Den Vorteilen des infraroten Spektrums für die Deflektometrie steht das Problem der geeigneten Sensorik gegenüber. Für die geplante Anwendung im thermischen Infrarot existiert bereits etablierte Kamera-technik in Form von Thermografie-kameras. Die technische Entwicklung ist in diesem Bereich bereits so weit fortgeschritten, dass sich vergleichs-weise kostengünstige Sensortechnik bereits für den Einsatz in der Infrarot-deflektometrie eignet.

Hauptaufgabe für dieses Projekt ist daher die Konzeption eines Mustergenerators für dieses Spektrum. Während im sicht-baren Spektrum für diesen Teil des Sen-sors auf herkömmliche Monitortechnik zurückgegriffen werden kann [2], gibt

Abb. 2: Wellenlängenabhängige Reflektion an rauen Oberflächen. Kurzwelliges Licht wird an der Oberflächenstruktur gestreut (links), wohingegen der Effekt bei langwelligem Licht entfällt (rechts).

Abb. 3: Reflektion eines Testmusters an einer gefrästen Aluminiumoberfläche. Während im sichtbaren Spektrum nur eine diffuse Reflektion erkennbar ist (links), wird die Reflektion im langwelligen Infrarot spiegelnd (rechts).

Ausblick

Mit einem dynamischen Mustergenera-tor für das thermische Infrarotspektrum eröffnet sich ein breiteres Anwendungs-gebiet für die Deflektometrie. Durch die Inspizierbarkeit von diffus spiegeln-den Oberflächen erschließt sich hier-durch vor allem der Bereich maschinell bearbeiteter, metallischer Oberflächen. Gegenüber der Deflektometrie im sichtbaren Spektrum können so auch Fertigungsteile in einem frühen Stadium der Produktion auf Oberflächendefekte hin untersucht werden, wodurch Aus-schuss oder Korrekturen nach einer Weiterverarbeitung reduziert werden können.

Ansprechpartner

Dipl.-Inform. Sebastian HöferTelefon +49 721 [email protected]

Literatur: [1] Balzer J., Höfer S., Werling S., and Beyerer J.: Optimization on shape curves with application to specular stereo. Lecture Notes in Computer Science, 2010.[2] Werling S., and Beyerer J.: Smarter Sensorkopf für das Rapid-Prototyping von automatischen Sichtprüfungssystemen für spiegelnde Oberflächen. In: Léon, Fernando P.; Heizmann, M. (Hrsg.): Bildverarbeitung in der Mess- und Automatisie-rungstechnik, VDI-Berichte Nr. 1981, VDI-Verlag, Düsseldorf, 2007.


Documents

Autonome Systeme und Maschinensehen - Fraunhofer … Systeme und Maschinensehen NEST – Network Enabled Surveillance and Tracking Projektbeschreibung Das NEST-System wurde bereits