Sicherheitsstrategien für die Mensch/Roboter-Koexistenz

38. Sitzung des Fachausschusses 4.13 der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) in Ladenburg, 25. Jan 2006

© Universität Bayreuth, Lehrstuhl für Angewandte Informatik IIIRobotik und Eingebettete Systeme, Prof. Dr. Dominik Henrich

Seite 1

Sicherheitsstrategien für dieMensch/Roboter-Koexistenz und Kooperation

(DFG-Projekt „SIMERO“)

1. Sichere Transferbewegungen

2. Sichere Pick-and-place-Bewegungen

3. Geführte Feinbewegungen

Prof. Dr. Dominik HenrichLehrstuhl für Angewandte Informatik III(Robotik und Eingebettete Systeme)

Universität Bayreuth



Seite 2

Forschungsprojekte

Robotergestützte Chirurgie (RONAF)

Wissenswerkstatt Rechensysteme (WWR)

Manipulation deformier-barer Objekte (RODEO)

Virtuelle Roboter-Programmierung (VIROP)

Sicherheit bei Mensch-Roboter-Kooperation (SIMERO)

Vision-basiertes Recycling (VISREC)



Seite 3

Motivation

Heute

• Getrennte Arbeitsräume• Keine Umweltwahrnehmung

Zukunft

• Gemeinsamer Arbeitsraum• Dienstleistungen nahe/am Menschen• Enge Verkettung zur

Flexibilitätssteigerung in der Kleinserienproduktion

• Programmierung von mehreren synchronisierten Roboter

Probleme

• Wie Sicherheit des Menschen gewährleisten?

• Wie Mensch/Roboter-Kooperation ermöglichen?



Seite 4

Klassifikation der Kooperationszustände

z.B. Kooperatives De-/Montierenz.B. Kooperativer TransportGeführte B

ewegungen

z.B. Sichere Pick&Place-Operationenz.B. Sichere TransferFreie Bew

egungen

Feine BewegungenGrobe Bewegungen

[ROMAN’05]



Seite 5

grobe Bewegung feine Bewegung

gefü

hrte

Bew

egun

g

freie

Bew

egun

g

Aufteilung der Roboterbewegung• Grobe/Feine, Freie/Geführte

RoboterbewegungV ( d)

d

a( f )f

v( f )f

max V ( d)

d

max

V ( d)d

maxV ( d)d

max


gefü

hrte

Bew

egun

g

freie

Bew

egun

g

Kooperationszustände• Begrenzung der max. Geschwindigkeit• Bei geführter Bewegung:

– Beschleunigungsregelung (grob)– Geschwindigkeitsregelung (fein)

V ( d)

d

a( f )f

v( f )f

max V ( d)

d

max

V ( d)d

maxV ( d)d

max

v( t )

t*


gefü

hrte

Bew

egun

g

freie

Bew

egun

g

Zwischenzustand• Sofortiges Abbremsen des Roboters

V ( d)

d

a( f )f

v( f )f

v( t )

t*

max V ( d)

d

max

V ( d)d

maxV ( d)d

max


gefü

hrte

Bew

egun

g

freie

Bew

egun

g

( * , 0, 0)

( * , 0, ! 0)

( * , 0, 0)

( * , 0, ! 0)

( 0, 0, 0) ( 0, 0, ! 0)

( * , ! 0, * )

( * , ! 0, * )

( >0, * , * )( 0, ! 0, * )

( * , 0, * )( * , 0, * )

( >X, ! 0, * )

( X, ! 0, * )

( >X, ! 0, * ) ( X, ! 0, * )

Zustandsübergänge• Eingabe-Tripel: (v, M, F)

– v: Robotergeschwindigkeit– M: Manuelle Steuerung– F: Programmgesteuerte Feinbew.

Verhaltensmodell für eine kooperativen Roboter [ICRA’06]



Seite 6



ewegungen

z.B. Sichere Pick&Place-Operationenz.B. Sichere TransferbewegungFreie Bew

egungen

FeinbewegungenGrobbewegungen

[ROMAN’05]



Seite 7

Sichere Transferbewegungen (1)

Aufgabe

Gegeben:• Start- und Zielposition• Modell des Roboters• Bekannte statische Hindernisse• Zu detektierende, dynamische, 3-

dimensionale HindernisseGesucht:• Transferbewegung von Start zu Ziel• Ohne Hinderniskollision • Schnellste / kürzestes Bewegung• Lösung in Echtzeit zu berechnen

Komplexität

• PSPACE-hart [Reif85]• Beispiel:

1° Gelenkdiskretisierung⇒ über 1015 Zustände

[MFI‘01]

1. Drittel



Seite 8


Annahmen

• Beleuchtung ist diffus• Dynamische Hindernisse sind vom

Hintergrund unterscheidbar

Lösungsansatz

• Mehrere stationäre Videokameras überwachen den Arbeitsraum

• Bildbasierte Kollisionserkennung zwischen dynamischen Hindernissen und beliebiger Testkonfiguration des Roboters

• Planung kollisionsfreier Bahnen mittels Randomized-Roadmap-Verfahren [Overmars92]

• Glättung der resultierende Zickzack-Bewegung

φ1

φ2

φ3 y

z

x

[IROS‘02]



Seite 9


Bildbasierte Kollisionserkennung dynamischer Hindernisse

ZukünftigeRoboter-Stellung

[ASER‘04,Robotik‘04 ]

2. Drittel

AktuelleRoboter-Stellung



Seite 10

Sichere Transferbewegungen (4)Prototypischer Aufbau

• Messstation für Werkstücke

• Farbkamera und Oszilloskop zur Messung

• 4 stationäre Grauwert-Kameras zur Kollisions-erkennung

• Planung der 3 Hauptachsen

• 7 Hz Zykluszeit

2

3

0

1

[Ebert’03]



Seite 11



ewegungen


egungen


[ROMAN’05]



Seite 12

Sichere Pick-and-place-Bewegungen (1)

Gegeben

• Sichere Transferbewegung• An-/Abrückbewegung des Roboters• Geometriemodelle der gegriffenen

Objekte

Probleme

• Aufgenommene/Abgelegte Objekte verändern Robotergeometrie und

• Referenzbild ist nicht mehr aktuell⇒ Hindernisse werden falsch erkannt

2. Drittel

[ROMAN’05]

Pick-Operation

Gesucht

Zu jeder Pick- bzw. Place-Operation:• Aktualisierung des Robotermodells• Aktualisierung des Referenzbildes

Place-Operation



Seite 13


Referenzbild-Aktualisierung

U := computeObjectPixels(t0);REPEAT

R := computeRobotModelPixels(ti );E := U \ R;updateReferenceImageTiles(E);U := U \ E;

UNTIL U = ∅;

[ROMAN’05]

RU

Neues Referenzbild:

Aktualisierungsbereich: Robotermodell:

Altes Referenzbild: Aktuelles Kamerabild:

E

Unverdeckter Bereich:



Seite 14


Problem

• Weiteres (dynamische) Objekte dürfen nicht ins Referenzbild aufgenommen werden

⇒ Fälschlicher Freiraum, falls Objekt bleibt oder

⇒ Fälschliches Hindernis, falls Objekt sich entfernt

Berücksichtigung dynamischer Objekte

U := computeObjectPixels(t0);REPEAT

R := computeRobotModelPixels(ti );E := U \ R;O := computePossibleObstaclePixels(ti);E := E \ O;updateReferenceImageTiles(E);U := U \ E;

UNTIL U = ∅;

[ROMAN’05]

R

U

E

O



Seite 15



ewegungen


egungen


[ROMAN’05]



Seite 16

Geführte Feinbewegungen (1)

Force-Following

= Roboter durch manuelle Krafteinwirkung in bestimmte Positionen verfahren

Anwendungen

• Besondere Werkstücken (heiß/kalt, schwer/leicht, verseucht, ...)

• Dritte Hand• Programmierung von Anfahrpositionen

durch Teach-In• Präzise Vermessung von Werkstücken

Probleme

→ Bewegungen von sehr unterschiedlicher Skalierung!

→ Benutzer- und Hindernis-Kontakt zu unterschieden!

[SYROCO‘03]



Seite 17


P-Regelung (Proportional)

• Robotergeschwindigkeit vP(t)proportional zur Krafteinwirkung Fuser(t)durch Benutzer:vP(t) = cv

. Fuser(t)

+ Präzise Führung möglich– Kraftaufwändig bei größeren Distanzen

N-Regelung (Trägheitsbasiert)

• Roboter wird zusätzlich als träge, frei schwebende Masse aufgefasst:

+ Trägheit erlaubt großräumiges Führen– Instabil bei Kontakt bzw. Kontaktnähe

N/P-Regelung (Hybrid)

• Kombination von N- und P-Regler:

• Gewicht r abhängig von Roboter-Geschwindigkeit v(t):

+ Vereinigt Vorteile von N- und P-Regler

ts

tvFm

tFtvtv frictuserN ∆⋅

⋅−+−=

2)()()1()(

2

)()()1()( tvrtvrtv NP ⋅+⋅−=

[SYROCO‘03]



Seite 18


Experimenteller Vergleich

• Manuelles Anfahren der Punkte Pi

Endabweichung und Zeitbedarf

0

10

20

30

40

50

0 1 2 3 4

d/[mm]

t/[s]

P-ReglerN-ReglerN/P-Regler

P-Regler

0,00

0,02

0,04

0,06

0,08

0,10

0 0,5 1 1,5

|F|/[N]

|v|/[m/ s]

N-Regler

0,00

0,02

0,04

0,06

0,08

0,10

0 0,5 1 1,5

|F|/[N]

|v|/[m/s]

N/P-Regler

0,00

0,02

0,04

0,06

0,08

0,10

0 0,5 1 1,5

|F|/[N]

|v|/[m/s]

[SYROCO‘03]



Seite 19

Schlussfolgerungen

Zusammenfassung

• Kamerabasierte, kollisionsfreie Transferbewegungen bei dynamischen 3D-Hindernissen möglich

• Umweltveränderung durch Pick&Place-Bewegungen berücksichtigbar

• N/P-Regelung erlaubt großräumige und präzise Roboterführung

Ausblick

• Erweiterung des Differenzbildansatzes auf weitere Merkmale

• Integration der vier Kooperationsformen

• Untersuchung der Übergänge zwischen den Kooperationsformen

Sicherheitsstrategien für die Mensch/Roboter-Koexistenz und Kooperation



Seite 20

Relevante Publikationen• Ebert, D., Henrich, D.: „Safe Human-Robot-Cooperation: Problem Analysis, System

Concept and Fast Sensor Fusion" In: IEEE Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI’01), pp. 239-244, Baden-Baden, Germany, August 20 - 22, 2001

• Ebert D., Henrich D. "Safe Human-Robot-Cooperation: Image-based Collision Detection for Industrial Robots". In: IEEE International Conference on Intelligent Robots and Systems, (IROS’02), Lausanne, September 30th - October 4th, 2002.

• Ebert D.: "Bildbasierte Erzeugung kollisionsfreier Transferbewegungen für Industrieroboter", Dissertation am Fachbereich Informatik der Universität Kaiserslautern, 2003

• Stolka, Ph.; Henrich, D.: „A Hybrid Force Following Controller For Multi-Scale Motions“, In: - 7th International Symposium on Robot Control (SYROCO’03), Sept 1-3, 2003 -Wroclaw/Poland

• Henrich D., Gecks T., Ebert D.: "Bildbasierte Kollisionstests für Rano-mized-Roadmap-Bahnplaner“. In: VDI Robotik 2004, München, Deutschland, June 17.-18., 2004.

• Gecks T., Henrich D.: „SIMERO: Camera Supervised Workspace for Service Robots“. In: ASER 2004 2nd International Workshop on Advances in Service Robotics, Feldafing, Germany, 20-21 May, 2004.

• Gecks T., Henrich D.: „Human-robot cooperation: Safe pick-and-place operations“. In: 14th IEEE International Workshop on Robot and Human Interactive Communication (ROMAN’05), Nashville, 13.-15. August 2005.

• Henrich D., Kuhn S.: „Modelling intuitive behavior for safe human/robot coexistence and cooperation“. Accepted for: 2006 IEEE International Conference on Robotics and Automation (ICRA’06), Orlando, May 15. – 19., 2006.

Documents

Sicherheitsstrategien für die Mensch/Roboter-Koexistenz