Institut für Messtechnik · Universität der Bundeswehr München · 85579 Neubiberg · http://www.unibw-muenchen.de/campus/LRT6 · Tel.: +49 (0)89 6004-3587 · Rainer Bischoff· 23.01.2003

Das HERMES Projekt

Entwicklung von Schlüsseltechnologienfür zukünftige Robotersysteme

Rainer Bischoff

Institut für Messtechnik

Motivation

Industrieroboterschwierig zu programmierenmeistens blind und dumm

Serviceroboterflexibler, intelligenterprogrammiert für einebestimmte AufgabeMensch-Roboter-Interaktionmöglich

Persönliche Robotereinfach zu konfigurierenfür jedenfür verschiedene Aufgaben

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Schlüsseltechnologien

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Schlüsseltechnologien (2)

Im HERMES-Projekt als wichtig erachteteund bearbeitete Schlüsseltechnologien:

Roboterdesign für von Menschen bevölkerteUmgebungen„Natürliche“ Sensorsysteme (Sehen, Fühlen,Hören) zur Wahrnehmung(Mobile) ManipulationLokalisierung und NavigationMensch-Roboter Kommunikation und InteraktionAdaption und LernenSystemintegrationVerlässlichkeit (Dependability)

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Verlässlichkeit

Definiert durch:Verfügbarkeit, Zuverlässigkeit, Sicherheit,Vertraulichkeit, Integrität, Wartbarkeit

Erreicht durch folgende Strategien:Natur als Vorbild nehmenNatürliche und intuitive Kommunikation undInteraktion anstrebenauf modulare Bauweise für eine einfacheWartbarkeit achtensystematisch entwickeln und integrieren(„sauberes“ Aussehen)Feldtests mit Laien durchführen

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Ausgangslage (1996)Bildverarbeitung und BV-Systemefür autonome StraßenfahrzeugeSichtbasierte Navigation in Gebäudenmit den mobilen Robotern ATHENE I und IISichtbasiertes kalibrierungsfreies Greifenmit 5 DOF Mitsubishi Movemaster

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

HERMES EntwicklungEntscheidung für ein modularesDesign (04/96)Ansteuerung eines Handgelenk-Moduls als Kamerakopf (06/96)Erste Designstudien eines huma-noiden Serviceroboters (08/96)

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

HERMES EntwicklungEntscheidung für ein modularesDesign (04/96)Ansteuerung eines Handgelenk-Moduls als Kamerakopf (06/96)Erste Designstudien eines huma-noiden Serviceroboters (08/96)Manipulationssystem (01/97)Omnidirektionales Fahrwerk (04/98)

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

HERMES EntwicklungEntscheidung für ein modularesDesign (04/96)Ansteuerung eines Handgelenk-Moduls als Kamerakopf (06/96)Erste Designstudien eines huma-noiden Serviceroboters (08/96)Manipulationssystem (01/97)Omnidirektionales Fahrwerk (04/98)Kommunikationsschnittstellen(08/99)Roboterkopf mit 6 DOF (04/00)

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

HERMES EntwicklungEntscheidung für ein modularesDesign (04/96)Ansteuerung eines Handgelenk-Moduls als Kamerakopf (06/96)Erste Designstudien eines huma-noiden Serviceroboters (08/96)Manipulationssystem (01/97)Omnidirektionales Fahrwerk (04/98)Kommunikationsschnittstellen(08/99)Roboterkopf mit 6 DOF (04/00)Taktile Stossfänger (12/00)Belichtungszeitsteuerung (09/01)

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Modularer Aufbau

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Omnidirektionales FahrwerkVorder- und Hinterradunabhängig voneinanderangetrieben, gelenkt undmagnetisch gebremst2 Stützräder an den SeitenCa. 2 h unabhängiger BetriebVerschiedene Antriebsmodi:

Vorderrad gelenkt (Auto)Hinterrad gelenkt (Gabelstapler)Beide Räder gleichsinning gelenkt (Kreisfahrten)Beide Räder gegensinnig gelenkt (Diagonalfahrten)Positions-, Geschwindigkeits- und / oderPulsweitenregelung

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Omnidirektionales FahrwerkInstitut für Messtechnik

Manipulationssystem

Vor: 130°, zurück: 90°, Reichweite: 120 cmGeschwindigkeit: 4°/sKopf bleibt in vorteilhafter Position fürManipulationsaufgaben

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

ManipulationssystemInstitut für Messtechnik

Sensoren

HauptsensormodalitätStereosehen (monochrom)

Künstliche HautOrt und Intensität eines Kontakts

Drahtloses MikrofonSpracheingabe

Hochauflösende inkrementelle WeggeberOdometrieKamerablickrichtungGreiferKinesthetischer Tastsinn

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Roboterkopf

1 gemeinsame, 2 unabhängige Schwenk- / Neige-Einheitenfür 2 Monochrom-KamerasGeschwindigkeiten und Beschleunigungen

vergleichbar dem menschlichen AugeHals und Augen

Drehwinkel > +/- 180°, Kippwinkel > +/- 90°

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Belichtungszeitsteuerung

Integrationszeit der Kamera verstellbarin 312 Stufenvon 0,1 – 20 msfür jede Kamerafür jedes einzelne Halbbild

Verschiedene Modi verfügbar:konstante Belichtungszeitkonstante mittlere Helligkeit

(auch auf Bildbereiche bezogen)konstanter Kontrast

(wichtige Bildbereiche oder Objektmerkmale)Deutlich vergrößerter Dynamikumfang!

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

ObjektverfolgungInstitut für Messtechnik

Taktile Haut

Leitfähige Schaumstoffemodularer AnsatzStossfänger und FingerOrt und Intensität (50 Hz Messfrequenz)

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Video: Taktile StossfängermoduleInstitut für Messtechnik

Video: Feldtest der taktilenStossfänger

Institut für Messtechnik

Informationsverarbeitung

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Systemarchitektur

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

SystemarchitekturSituationsorientiertes verhaltensbasiertes KonzeptHardware-Komponenten werden über Skills(Fertigkeiten) angesprochen.Skills werden kategorisiert in hauptsächlichperzeptive, motorische oder kognitive Skills.Situationsmodul

= kognitive Schaltzentrale des Roboters(“Situationsbewertung & Verhaltensauswahl“)Dem Auswählen bestimmter Fertigkeiten geht einkognitiver Prozess voraus. Das resultierendeVerhalten kann beobachtet werden.

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Kommunikation & Interaktion

Gesprochene SpracheEnglisch, Französisch, Deutsch

Gestenz.B. bei Wegbeschreibungen

Fühlenz.B. beim Händeschütteln oderÜbernehmen und Übergeben von Objekten

Sehenz.B. „Fahre zum GROSSEN Tisch“

Geschriebene SpracheBildschirm, Tastatur und E-Mail

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Implementierungsdetailsnur ein Bruchteil der Rechenleistung steht fürSpracherkennung zur Verfügung und wird benötigtbeschränktes Vokabular (ca. 350 Wörter)beschränkte Grammatik: Befehle und Fragen, z.B.:

„Fahre zur Küche!“, „Greife den Ball!“„Biege an der nächsten Kreuzung links ab!“„Fahre vorwärts!“, „Schneller!“„Was kannst Du machen?“„Wo bist Du?“, „Wo bin ich?“„Wie komme ich zu Rainers Büro?“„Wie ist das Wetter in Stuttgart?“

Antworten aus interner Datenbasis oder dem WWW

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Situationsabhängiger Kontextwechsel

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Video: Multimodale KommunikationInstitut für Messtechnik

Experimente

Vielfältige Interaktionsexperimente zumNachweis der Konzepte:

in der Institutsumgebung (Japanese English!)in Fernsehstudios (Live-Auftritte!)auf Messen (Umgebungsgeräusche!)

Langzeit-Test im Heinz NixdorfMuseumsForum, Paderborn in derSonderausstellung „Computer.Gehirn“

angelernte Laien führten den Robotermehrmals am Tag vorPräsentation der sensorischen, motorischenund kommunikativen Fertigkeitenphysische Interaktion

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Video: Interaktive PräsentationInstitut für Messtechnik

Ergebnisse

6 Monate im Einsatz (20.10.01-30.04.02)täglich 2 h, manchmal 12 hAusfälle:

Hardware: 1 Leistungselektronik, 1 Audio-verstärker, 1 Fahrmotor (alles leicht ersetzbar!)Keine Softwareprobleme

Die Vorführer entwickelten eine emotionaleBindung zum Roboter.Das Museum sagt, dass HERMES der mitAbstand verlässlichste Roboter war.

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Was haben wir gelernt?Planungsphase: Zweifel über SupportumfangVorbereitung machte Spaß, war arbeitsintensiv

Dokumentation für Laien ohne Ingenieurausbildungaber: Leute probieren lieber, als Handbuch zu studieren!Zeitdruck half, die universitären Arbeiten abzuschließen

Es ist eine wertvolle Erfahrung, den Roboter überlängere Zeiten wirklich arbeiten zu sehenLeistungen einzelner Fertigkeiten des Robotersvariierten mit der Einsatzumgebung (Boden, Licht)Kinder mochten am liebsten mit dem Roboterinteragieren, hatten keine AngstErwachsene näherten sich mit dem nötigenRespekt

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

ZusammenfassungVorstellung des Roboters HERMES

menschenähnlicher Aufbauverschiedene Sensormodalitäten(Sehen, Fühlen, Hören)verschiedene Aktormodalitäten(Gesten und Sprache)

Alle Modalitäten werden zur natürlichenKommunikation und Interaktion eingesetzt.Experimente in verschiedenen Einsatzumgebungen

mit Laienüber längere Zeit und ohne universitären Support

Ein nach den vorgestellten Konzepten gebauterRoboter wird als kooperativ, freundlich undintelligent wahrgenommen.

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Schlussfolgerungen

Sogar komplexe menschenähnliche Roboterkönnen verlässlich gemacht werden!wesentliche Schlüsseltechnologien:

Kommunikation und Interaktion• multimodal, situationsabhängig, intuitiv!

Wahrnehmung• mit natürlichen Sinnen!

Verlässlichkeit und Systemintegration• universitäre Forschung ist gefragt!

Es ist noch ein weiter Weg...Forschung muss über Machbarkeitsstudienhinaus gehen.

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung

Institut für Messtechnik

Weiterführende Informationen

Homepage des Instituts für Messtechnik:www.unibw-muenchen.de / campus / LRT6

Veröffentlichungen und Videosvon HERMES:

www.unibw-muenchen.de / hermes

Software

Hardware

Einleitung

Experimente

Zusammenfassung

Schlussfolgerung