38
Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 05.07.22 Daniel Westhoff [email protected] Überblick über den Einsatz der Roblet®-Technologie am AB TAMS

Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff [email protected]

Embed Size (px)

Citation preview

Page 1: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Universität HamburgFachbereich Informatik

ArbeitsbereichTechnische AspekteMultimodaler Systeme

26.04.23

Daniel [email protected]

Überblick über den Einsatz der Roblet®-Technologie

am AB TAMS

Page 2: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 2Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Übersicht

Einführung in die Roblet®-Technologie

Module und Einheiten Modul-Übersicht AB TAMS Aktuelle Projekte Zusammenfassung und Ausblick

Page 3: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 3Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Übersicht

Einführung in die Roblet®-Technologie

Module und Einheiten Modul-Übersicht AB TAMS Aktuelle Projekte Zusammenfassung und Ausblick

Page 4: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 4Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Entstehung Entwicklung

komplexer verteilter Anwendungen

Ziel:Entwicklungs-umgebung auf einem Rechner

Quelle: [KSPLL04]

Page 5: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 5Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Design-Aspekte Server bieten Basis-Funktionalität

Zugriff auf Hardware Zugriff auf Datenbanken Rechenleistung

Teile der Anwendung werden an den Server verschickt

Server führt diese Teile aus

Page 6: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 6Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Roblets®

Quelle: [WZSSK04]

Page 7: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 7Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Roblets®Vorteile: Abläufe auf dem Server ausführbar Server dynamisch erweiterbar Verringerung der Netzwerklast Transparentes Netzwerk Ausnahmebehandlung Logging/Debugging

Page 8: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 8Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Verringerung der NetzlastBeispiel: Visualisierung von

Laserscans Server bietet Lasermessdaten Roblet® filtert Messdaten z.B. Linienfilter Linien werden übertragen Client-Anwendung stellt Linien dar

Page 9: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 9Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Roblets®Nachteile: robuste Server erforderlich

kleine Serverprogramme keine Echtzeitfähigkeit

RT-Java und RT-Ethernet

Page 10: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 10Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Roblet®-Server

Quelle: [WZSSK04]

Page 11: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 11Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Roblet®-ServergenRob.genControl stellt Basisfunktionalität bereit

Zugriff auf JRE ( ≥ 1.4 ) Logging Remote Methode Invocation (RMI)

Funktionalität über Module erweiterbar

Page 12: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 12Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Roblets® verschickengenRob.genControl.client.Client

...

Client client = new Client ();

Roblet roblet = new RobletImpl ();

Object o = client.run (roblet,“servername:port“);

client.close ();

...

Page 13: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 13Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Interface Robletpackage genRob.roblet;

public abstract interface Roblet { // Methods Object execute (Robot robot)

throws Exception;}

Page 14: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 14Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Jini™genRob.genMediator Verzeichnisdienst Server melden sich automatisch an benachrichtigt Client-

Anwendungen

Page 15: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 15Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

ClientListener...ClientListener cl = new MyClientListener ();

Client client = new Client ();

client.addListener (cl);

...

client.close ();

...

Page 16: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 16Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

ClientListenerimport genRob.genControl.client.ClientListener;

class MyClientListenerimplements ClientListener

{private Roblet roblet = new RobletImpl ();

void addedServer (Server server){Object o = server.run (roblet);}

void removedServer (Server server) {}void updatedServer (Server server) {}

}

Page 17: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 17Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Verteiltes RechnenBeispiel: Mandelbrot-Menge

Zur Anzeige wird der QuickTime™ Dekompressor „TIFF (LZW)“

benötigt.

Page 18: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 18Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Übersicht

Einführung in die Roblet®-Technologie

Module und Einheiten Modul-Übersicht AB TAMS Aktuelle Projekte Zusammenfassung und Ausblick

Page 19: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 19Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Module und Einheiten Server durch Module erweiterbar Modul fasst Einheiten zusammen Einheit kapselt Funktionalität Roblet® fragt Server nach

Einheiten

Page 20: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 20Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Einheiten abfragen...public Object execute (Robot robot){

Logger logger = (Logger) robot.getUnit (Logger.class);

if (logger == null)throw new Exception (“Kein Logger.“);

else logger.log (“Ich war hier!“);

return null;}...

Page 21: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 21Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Übersicht

Einführung in die Roblet®-Technologie

Module und Einheiten Modul-Übersicht AB TAMS Aktuelle Projekte Zusammenfassung und Ausblick

Page 22: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 22Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Module des AB TAMSuhh.fbi.tams.mobilerobot

Motion Velocity Localisation Calibration Landmarks Geometry2D Laserscanner

Page 23: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 23Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Module des AB TAMS uhh.fbi.tams.ptu

PTU

uhh.fbi.tams.iowarrior Iowarrior

uhh.fbi.tams.TextToSpeech Voice

Page 24: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 24Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Module des AB TAMSuhh.fbi.tams.dc1394

DC1394 DC1394Stereo

Page 25: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 25Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Systemstruktur

Page 26: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 26Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Übersicht

Einführung in die Roblet®-Technologie

Module und Einheiten Modul-Übersicht AB TAMS Aktuelle Projekte Zusammenfassung und Ausblick

Page 27: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 27Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Modul zur Pfadplanungdrei Algorithmen:1. kürzester Weg

(Tangentengraph, A*)2. sicherster Weg

(Voronoigraph, A*)3. kürzester Weg + Engstellen

Page 28: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 28Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Kürzester Weg

Page 29: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 29Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Sicherster Weg

Page 30: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 30Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Kartengenerierung dynamische 2D-Kartengenerierung Quelle: Lasermessdaten

Page 31: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 31Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Personenverfolgung Stereo-Kamerakopf Pan-Tilt-Unit (PTU) Erkennen von Personen Verfolgen von Personen mit PTU Problem: Bildverarbeitung

Page 32: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 32Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

LokalisationDiplomarbeit Björn Gaworski

zurzeit: Bildverarbeitung

Verwendete Module: dc1394: Omnidirektionales

Sichtsystem mobilerobot: Fahren mit dem

Roboter

Page 33: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 33Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Globale Lokalisation Merkmalsextraktion auf

Panoramabildern Symmetriefilter Kai Hübner Kanten-/Eckenfilter Scale Invariant Features (Lowe)

Erstellen einer Bildsignatur Signaturvergleich mit

Bilddatenbank

Page 34: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 34Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

MATLAB Anbindung des Roboters an MATLAB zurzeit: Firewire-Kameras Vorteile:

Verfahren ausprobieren Paralleler Zugriff auf Sensoren Einsatz in der Lehre

Nachteil: Algorithmen nicht auf Server

übertragbar

Page 35: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 35Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Zusammenfassung Roblet®-Technologie

einfache Programmierung transparentes Netzwerk Parallelität

Module und Einheiten Erweiterbarkeit

Modul-Übersicht AB TAMS große Vielfalt

Aktuelle Projekte Fertigstellung WS 2004

Page 36: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 36Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Vielen Dank für die Aufmerksamkeit!

Page 37: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 37Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Übersicht

Einführung in die Roblet®-Technologie

Module und Einheiten Modul-Übersicht AB TAMS Aktuelle Projekte Zusammenfassung und

Ausblick

Page 38: Universität Hamburg Fachbereich Informatik Arbeitsbereich Technische Aspekte Multimodaler Systeme 16. Juli 2015 Daniel Westhoff westhoff@informatik.uni-hamburg.de

Folie 38Daniel Westhoff

[email protected]

ArbeitsbereichTechnische AspekteMultimodaler Systeme

Literatur[KSPLL04] Knoll, Scherer, Poggendorf, Lütkemeyer, Lehmann:

„Flexible Automation of Cell Culture and Tissue Engeneering Tasks“, in: Biotechnology Progress, Volume 20, Issue 6, December , 2004

[WZSSK04] Westhoff, Zhang, Stanek, Scherer, Knoll: „MobileManipulatoren und ihre aufgabenorientierte

Programmierung“, atp - Automatisierungstechnische Praxis 10/2004, Oldenbourg Industrieverlag GmbH, Munich, Germany, 2004