Intelligente Autonome Systeme – von Science Fiction zur ... · IWL Logistiktag 13 Dienstleistungsroboter Service robots as low volume specialists: floor cleaning, sewer inspection,

28. April 2006

U DNIVERSITÄT ORTMUND

1IWL Logistiktag

Intelligente Autonome Systeme– von Science Fiction zur Realität

Dr. Norbert JesseUniversität Dortmund

Fachbereich InformatikeMail: [email protected]

28. April 2006


2IWL Logistiktag

Träume und Visionen

Wo stehen wir heute ?

Die HerausforderungNavigation – Autonomie – Intelligenz

Humanoide Roboter

Roboterfußball als Testfall

Kurzes Resümee

Gliederung

28. April 2006


3IWL Logistiktag

Visionen I

28. April 2006


4IWL Logistiktag

Visionen II: I-Robot

28. April 2006


5IWL Logistiktag

Visionen III

28. April 2006


6IWL Logistiktag

Die Vision IV

„Ich glaube, dass Roboter, deren Intelligenz dermenschlichen ebenbürtig ist, in fünfzig Jahren eine ganz

alltägliche Errungenschaft sein werden.“- Hans Moravec

„And once an intelligent robot exists, it is only a smallstep to a robot species – to an intelligent robot that can

make evolved copies of itself.“- Bill Joy

„Between humans and machines won‘t exist any clear-cut distinctions.“

- Ray Kurzweil

28. April 2006


7IWL Logistiktag

Die Vision V

By mid-21st century, a team of fully

autonomous humanoid robot soccer

players shall win the soccer game,

comply with the official rule of the FIFA,

against the winner of the most recent World Cup.

The RoboCup Federation, 1998

28. April 2006


8IWL Logistiktag

Fertigungslinie in der Automobilindustrie

Roboter bei der Arbeit

28. April 2006


9IWL Logistiktag

Nietroboter für den Airbus

• Steuermodul, um die Nieten der äußerenHülle zu setzen

• Armreichweite 12 m• Kontrolliert von Kameras• Genauigkeit 2/100 mm

28. April 2006


10IWL Logistiktag

Verbundproduktion für das Bearbeiten und Pollieren

Automatic pallet store Working Cell

Pallet transport system


28. April 2006


11IWL Logistiktag


28. April 2006


12IWL Logistiktag

321,400239,700219,333198,897European Union

964,500

557,300

21,000

130,600

351,600

2005

780,600

383,000

13,000

104,700

352,800

2002

756,539

354,040

10,840

97,268

361,232

20012000

751,034Total, incl. all types of industrialrobots in Japan and Rep. Of Korea

323,605Subtotal, excl. Japan and Rep. Korea

8,900Other countries a/

....

89,880United States

389,442Japan (all types of industrial robots)

Operational stock at year-end

Country

Industrieroboter

a/ Estimated by the UNECE and IFR for some or for all the years

28. April 2006


13IWL Logistiktag

DienstleistungsroboterService robots as low volume specialists: floor cleaning, sewer inspection, entertainment

Robots as household appliances for large volume markets: Lawn-mover, Vacuum cleaner and tennis ball collectors

Service robot systems based on conventional robot arms: refueling, orthopedic surgery, automated drink terminal

28. April 2006


14IWL Logistiktag

1,3501,000

680550

Robots in agriculture and forestry, of whichAutomated milking systems

...

...

1,12050Refuelling robots1,83070Surveillance robots; Security robots

3,0003,300Underwater robots - Inspection; Work class robots

Installations 2002-05

6,0501,840Medical robots - Surgical robots; Robots-assistedsurgery

2,021,000

1,202,000

719,00

25,500

1,210

2,560

176,500Total number of units

155,010Entertainment/hobby/leisure time robots

21,500Domestic robots, e.g. vacuum cleaning; Lawn-mowing

12,400Total number of units

2,500Demolition robots

300Cleaning robots - Floor cleaning; Tank cleaning; Window and wall cleaning, cleaning aircraft, boats, etc.)

Stock at end 2002Types of robots

Dienstleistungsroboter

28. April 2006


15IWL Logistiktag

Paradigmenwechsel

• Kooperation mit Menschen und anderen Robotern

• keine bzw. geringe Kooperation

• „variable“ Programme; Computational Intelligence(Neuronale Netze, FuzzyLogik, Evolutionäre Alg.), ...

• monolithische, straight forward-Programme

• „open world“ (unerwartete Objekte und Ereignisse)

• „closed world“

• “freie” Mobilität• stationär oder mobil entlang von Koordinaten

• komplexe Tätigkeitsfolgen• repetitive Aufgaben

• Anpassung an Veränderungen in der Umwelt

• hohe Präzision

28. April 2006


16IWL Logistiktag

Agenten

Autonomie: … Unabhängigkeit, Veränderungen wahrnehmen, Handeln

Zielorientiert: … was wann wo …

Zusammenarbeit: … zw. Agenten und mit Auftraggeber

Flexibilität: … zwischen Handlungen wählen, Abfolgen planen

Self-starting: … Selbstbestimmung über Zeitpunkt der Aktionen

Zeitliche Kontinuität: … stets “wachsam”

Charakter: … eine Art “Identität”

Kommunikation: … auch über verschiedene Plattformen hinweg

Adaptivität: … Fähigkeit zu lernen

Mobilität: … zwischen Orten “wandern”

28. April 2006


17IWL Logistiktag

NavigationZum “Nest” zurück: Schlussfolgern über räumliche Beziehungen

Drei fundamentale Kompetenzen:

- Selbst-Lokalisation

- Pfadplanung

- Map-Building and –interpretation

Lokalisation: Kompetenz des Agenten, seine eigene Position innerhalb eines Bezugsrahmens zu bestimmen

Pfadplanung: Bestimmung des Weges zwischen der vorhandenen und Zielposition

Map: jede 1:1-Abbildung der realen Welt in eine interne Darstellung

28. April 2006


18IWL Logistiktag

Landmark-basierte Navigation

“Alleinstellungsmerkmale” der Umwelt

Nachbarschaftsbeziehungen zwischen bestimmten

Landmarks

Szenen-Verstehen (Was ist eine “Kirche”?)

Voraussetzung z. B.:- Möglichst weite Sichtbarkeit- Erkennbar unter verschiedenen Lichtbedingungen, Betrachtungswinkeln ….

- entweder stationär oder bekannte Bewegungsbahn

Schlußfolgerung: Multiple Info-quellen => zuverlässigeren und robusteren “Erkenntnissen”

28. April 2006


19IWL Logistiktag

Sensoren

Sensitivität - Verhältnis zw. Output- und Input-Veränderung

Linearität – Maß für Konstanz des I/O-Verhältnisses

Messbereich - Unterschied zw. Min und Max

Antwortzeit – Zeit zw. Umsetzung des Inputs zum sichtbaren Output

Genauigkeit - tatsächliche u. gemessene Werte

Wiederholbarkeit – Unterschiede bei wiederholten Messungen

Auflösung – kleinste beobachtbare Veränderungen

Messen physikalische Eigenschaften der Umwelt: Temperatur, Helligkeit, Widerstand bei Berührung, Gewicht, Größe, Umfang etc.

28. April 2006


20IWL Logistiktag

“If we are able to explain and predict its behavior or if there seems to be little underlying plan, we have little temptation to imagine intelligence.” Alan Turing, 1947

oder

We consider ourselves intelligent, therefore any machine that does what we do has to be considered “intelligent” too.

Intelligenz ist “what humans do, pretty much all the time” –R. Brooks

“The question of intelligence is the last great terrestrial frontier of science.” – Jeff Hawkins

Intelligenz

28. April 2006


21IWL Logistiktag

Intelligenz

Offensichtlich leichte Aufgaben im Zentrum menschlicher Intelligenz

Fokus auf den Prozess von Adaptation und Lernen in der realen Welt – “biologische” Typen von Intelligenz (Bienen, Ameisen, …)

„Embodiment“: Verstehen simpler Bauprinzipien und Materialien: Masse, Steifheit, Elastizität, Viskosität …(dynamic walker, Muskeln)

Intelligenz entsteht durch die Interaktion des Agenten mit der realen Welt

28. April 2006


22IWL Logistiktag

Funktionaler Ansatz

Wahrnehmung

Modellbildung

Aufgaben-Ausführung

Planung

Motorsteuerung

Sensoren

Aktuatoren

28. April 2006


23IWL Logistiktag

Verhaltensbasierter A.

Plane Handlungen

Identifiziere Objekte

Bilde Umgebungspläne

Beobachte Veränderungen

Erkunde

Sensoren Aktuatoren

Vermeide Objekte

Wandere umher

Schlußfolgere ü. Verh. von O.

28. April 2006


24IWL Logistiktag

Humanoide Roboter

28. April 2006


25IWL Logistiktag

Control System

IR sensor motor

Camera motor

Digital compass

Video-camera

IR sensor

Tilt sensor

Force sensors

High level control

DSP

Walking control

DSP

PWM

Serial port

PWM

PWM

SPI

A/D

A/D

A/D

DC servo motors for legs and arms

28. April 2006


26IWL Logistiktag

ATR‘s Robovie-III

Ziel: Fahren auf unebenem Grund (erster zweirädriger humanoider Roboter) und Kommunikation Mensch -Robotermultimodale Kommunikation (Sprachverarbeitung, Skin Sensor)100 Verhaltensweisen, zeigt Reaktionbehält die Balance auch bei Widerstand (invertiertes Pendel)Finger-Pointing Funktion

28. April 2006


27IWL Logistiktag

Fujitsu‘s HOAP-1

Ziel: Testbed für die Forschung zur Mensch-Roboter-Kommunikation

Humanoid for Open ArchitecturePlatform (HOAP)48 cm / 6 kg / 45 T€zur Entwicklung von Algorithmen zur BewegungskontrolleLernen mittels dynamisch rekonfigurierbarem neuronalen Netz (auch Struktur …)RT-Linux / USB-Schnittstellen

28. April 2006


28IWL Logistiktag

Honda‘s ASIMO

Ziel: Entwicklung von Interaktion und Sensomotorik

1,20 m / 43 kgnatürliche, fließende Bewegungs-abläufeversteht 100 Wörter und spricht Sätzeerkennt bis zu 25 Gesichter und 12 verschiedene Gesten50 Zurufe, Grüße und FragenBetriebssystem VxWorks –bewährt in Industrierobotern

28. April 2006


29IWL Logistiktag

Sony‘s QUIROZiel: Sony’s technologische Führerschaft demonstrieren58 cm high / 7 kg1.000 versch. Bewerbungen, Tanzen, Balance, FußballSprachverarbeitung >20.000 Worte, 200 programmierte PhrasenLangzeit Gedächtnis, nachhaltigere Kommunikation mit Menschen2 CCD Farbkameras für Bildverarbeitung (Gesichtererkennung)Open-R Architectur (AIBO)

28. April 2006


30IWL Logistiktag

Cog Project – MIT AI

“Humanoid intelligence requireshumanoid interactions with the

world”• Ziel: Entwicklung von Intelligenz

durch Lernfähigkeit• Beweglichkeit in Rumpf, Kopf und

Armen, bislang nicht in Beinen und Rückgrat

• Visuelle Wahrnehmung ist erreicht, auditive und taktile angestrebt

• Funktion: Einheitliche Hardware-Plattform, die die verschiedenen Bereiche der AI integriert

28. April 2006


31IWL Logistiktag

Kismet – MIT AI Lab

“Humanoid intelligence requires humanoid interactions with the world”

• Ziel: Entwicklung von Intelligenz durch Lernfähigkeit

• Beweglichkeit in Rumpf, Kopf und Armen, bislang nicht in Beinen und Rückgrat

• Visuelle Wahrnehmung ist erreicht, auditive und taktile angestrebt

• Funktion: Einheitliche Hardware-Plattform, die die verschiedenen Bereiche der AI integriert

28. April 2006


32IWL Logistiktag

Edutainment Robotics

„We are creating a new industry out of electronic dogs and cats, and toys that can serve both as a technology playground and, potentially, as a platform for consumerelectronics.

Entertainment Robots offer a proving ground whereengineers in software, computers, sensors, communication– all things electrical and mechanical – can test, developand apply their latest technology!“

- Toshi Doi, Vice President Sony Corp.

28. April 2006


33IWL Logistiktag

NEC PaPeRo

Ziel: Entwicklung von Interaktion und Sensomotorik385 mm / 5 kgnatürliche, fließende Bewegungsabläufeversteht 100 Wörter und spricht Sätzeerkennt bis zu 25 Gesichter und 12 verschiedene Gesten50 Zurufe, Grüße und FragenBetriebssystem VxWorks – bewährt in Industrierobotern

28. April 2006


34IWL Logistiktag

ZMP‘s PINO

Ziel: Roboter für das eigene Heim• Emotionen: singt, spricht• Charakter: Freundlich, scheu oder

widerborstig• Basis für die Entwicklung von

„Produkten“• Stabil mit einem Fuß auf dem

Boden• 70 cm hoch, 26 Motoren• Lernfähigkeit mit Genetischen

Algorithmen• 65,000 $

28. April 2006


35IWL Logistiktag

Fitness

Finesse

Team Geist

Genialer Geistesblitz

Taktische Disziplin

Kreative Flexibilität

Faszination Fußball

www.fira.net - www.robocup.org

28. April 2006


36IWL Logistiktag

selbständige Entscheidungen, auch bei unscharfen oder unvollständigen Infos (Kontrollautonomie)

effiziente Kommunikation (Kommunikationskompetenz)

Teamfähigkeit (Kooperation)

geplantes Verhalten über längere Zeit (Planungskompetenz)

schnelle Reaktion auf unerwartete Veränderungen der Umwelt (Adaptionsfähigkeit)

lernen aus Erfahrungen und Anpassungsfähigkeit (Lern- und Generalisierungsfähigkeit)

Intelligente Software für ...

28. April 2006


37IWL Logistiktag

Overall System

Hardware Komponenten: Kamera – Host – Kommunikation – RoboterSoftware Module: Bildverarbeitung – Strategie –Robotersteuerung

28. April 2006


38IWL Logistiktag

Einige HW-Daten

Texas Instruments TMS320F240 DSP16 bit architecture, 20 MIPS16 kWord flash memory32 kWord data + 32 kWord code RAM2 PWM output channels for DC motors16 A/D conversion channels1 serial port (for Radiometrix radio module)JTAG interface (debugging, flashing)Analog Devices Acceleration Sensor:

ADXL202 (x: 2 g, y: 2 g)

28. April 2006


39IWL Logistiktag

Bildverarbeitung

Blob Set

Patch Set

Camera frame • Discard irrelevant Pixel• Color ClassificationPixelclassif.

Pixel Set

• Combination of equal coloredpixels to common area: “blob“Blobfinder

Position data

• Combination of blobs torobot patchesPatchfinder

• Assign patches to robots• Plausibility checkTracking

• Calculation of robot positions• Fisheye-/Parallax-CorrectionCalculations

Robot Set

28. April 2006


40IWL Logistiktag

Mehr oder weniger absichtlich komplexe Designs gegnerischer Patches

BV- Probleme

28. April 2006


41IWL Logistiktag

Pixel + Blobs finden

28. April 2006


42IWL Logistiktag

BV-Probleme

Dummy1

28. April 2006


43IWL Logistiktag

BV-Probleme

Dummy1

Dummy2

28. April 2006


44IWL Logistiktag

Problems

Verdeckung von ObjektenParallaxen Effekt

Bildebene

Roboter

Roboterebene - echter RobotermittelpunktSpielfeldebene -projizierter underrechneter Mittelpunkt

Spielfeld

Fehler

BV-Probleme

28. April 2006


45IWL Logistiktag

Tracking + Verschmelzung

28. April 2006


46IWL Logistiktag

N-Kamera-Ansatz

28. April 2006


47IWL Logistiktag

Lokale BV

Agilent ADCM-1650 CMOS:352 x 244 pixelBis 15 Frames/Sek.50 MHz Dual-port-frame-buffer als Schnittstelle zw. DSP und Kamera

28. April 2006


48IWL Logistiktag

Simulator

28. April 2006


49IWL Logistiktag

Strategie

Taktik

Rollen

Aktionen

Drei-Schichten-Konzept

Entscheidungen Top-Down

Neue Taktik-Komponenten können leicht hinzugefügt werden

28. April 2006


50IWL Logistiktag

Strategie

actual situation

Tactic1

Tactic2

Tacticn

Maximizer

...

Taktikebene

7 Taktiken, 9 StandardsituationenJedes Taktikmodul berechnet Erfolgswahrscheinlichkeit für jede aktuelle SpielsituationFaktoren für die Berechnung sind z. B.: Position und Aktivität des Balles, Richtung und Geschwindigkeit der eigenen Roboter, des Gegners, ...Der Maximizer wählt Taktik mit der größten Erfolgs-wahrscheinlichkeit

28. April 2006


51IWL Logistiktag

Strategie

actual situation

...(analog)

Robot nRobot 1

...

Action 1 ...Action 2

Role 2Role 1

Tactic1

Tactic2

Maximizer

...Tactic

n

Rollenebene

Jede Roboter hat alle Rollen zur Verfügung, führt aber nur die ihm zugewiesene Rolle aus

Jeder Rolle stehen bestimmte Handlungen zur Verfügung (insgesamt 14 Handlungen)

Gewählte Rolle wählt autonom eine geeignete Handlung aus (Kriterien z. B. „Ball an Bande ?“, „Schussfeld frei ?“

28. April 2006


52IWL Logistiktag

Strategie

desired situation

actual situation

...(analog)

Robot nRobot 1

...

Action 1 ...Action 2

Role 2Role 1

Tactic1

Tactic2

Maximizer

...Tactic

n Handlungsebene

Die ausgewählten Aktionen werden ausgeführt Umsetzung der Aktionen in konkrete Befehle (Solldaten) zur Robotersteuerung

28. April 2006


53IWL Logistiktag

28. April 2006


54IWL Logistiktag

Pfadplanung

Pfad wird so berechnet, dass das Ball zu gewünschte Richtung gekickt wird.

28. April 2006


55IWL Logistiktag

Prinzip:

Pfadplanung

28. April 2006


56IWL Logistiktag

Der „Versenker“

● Phase 1:● Positionierung● Ausrichtung● Freier Schusskanal

● Phase 2:● Schnittpunktberechnung● Auf den optimalen Zeitpunkt

zum Versenken warten● Phase 3:

● Losfahren● Geschwindigkeit regulieren● Beschleunigen bei

Ballkontakt● Abbremsen vor Bande

28. April 2006


57IWL Logistiktag

FIRA WM 2006

28. April 2006


58IWL Logistiktag

Kurzes Resumée

Beträchtliche Fortschritte in der Technologie

Fortschritte in der Entwicklung intelligenter Software

Aber: noch weit von dem entfernt, was für Menschen selbstverständliche Alltagstätigkeiten sind

Nicht robust, nicht sicher im Alltag

Weit von der Komplexität menschlicher Akteure entfernt

Die Zukunft hat begonnen, aber sie kommt mit

behutsamen Schritten !

28. April 2006


59IWL Logistiktag

Danke für Ihre Aufmerksamkeit !

Documents

Intelligente Autonome Systeme – von Science Fiction zur ... · IWL Logistiktag 13 Dienstleistungsroboter Service robots as low volume specialists: floor cleaning, sewer inspection,