30
70. BHT - FREIBERGER UNIVERSITÄTSFORUM 2019 KOLLOQUIUM 3 KOLLEGE ROBOTER (?) DIGITALISIERUNG IN DER BOHRTECHNIKAM 6. UND 7. JUNI 2019 Lösch, Robert (TU Bergakademie Freiberg) “DESIGN OF AN AUTONOMOUS ROBOT FOR MAPPING, NAVIGATION, AND MANIPULATION IN UNDERGROUND MINES” Untertägige Bergwerke sind gefährliche Arbeitsumgebungen und daher könnten Roboter da- bei helfen weniger Menschen dieser Gefahr auszusetzen. Konventionelle Roboter, Sensoren und Software funktionieren aufgrund der erschwerten Umgebungsbedingungen untertage oft nicht zuverlässig. Die Präsentation analysiert kurz diese Umgebungsbedingungen und die dar- aus resultierenden Anforderungen und zeigt schließlich ein Roboterdesign, welches untertage in der Lage ist autonom zu navigieren und Objekte mit einem Arm zu manipulieren. Die Basis bildet eine robuste Plattform mit elektrischen Vier-Rad-All-Rad-Antrieb. Der Roboter ist mit Farb- und Tiefenkameras, Beleuchtung, Laserscannern, einer inertialen Messeinheit und ei- nem robotischem Arm ausgerüstet. Zahlreiche Videos und Bilder veranschaulichen die Mani- pulations- und Navigationsfähigkeiten des Roboters. Es werden zwei verschiedene Navigati- onsansätze vorgestellt und abschließend auf die Aufgabe des Roboters im Projekt ARIDuA eingegangen.

Design of an Autonomous Robot for Mapping, Navigation, and ... · Since 1. July 2017, this junior research group investigating „Autonomous Robots and Internet of Things in Underground

  • Upload
    others

  • View
    5

  • Download
    0

Embed Size (px)

Citation preview

  • 70. BHT - FREIBERGER UNIVERSITÄTSFORUM 2019 KOLLOQUIUM 3 „KOLLEGE ROBOTER (?) – DIGITALISIERUNG IN DER BOHRTECHNIK“ AM 6. UND 7. JUNI 2019

    Lösch, Robert (TU Bergakademie Freiberg)

    “DESIGN OF AN AUTONOMOUS ROBOT FOR MAPPING, NAVIGATION, AND MANIPULATION IN UNDERGROUND MINES”

    Untertägige Bergwerke sind gefährliche Arbeitsumgebungen und daher könnten Roboter da-bei helfen weniger Menschen dieser Gefahr auszusetzen. Konventionelle Roboter, Sensoren und Software funktionieren aufgrund der erschwerten Umgebungsbedingungen untertage oft nicht zuverlässig. Die Präsentation analysiert kurz diese Umgebungsbedingungen und die dar-aus resultierenden Anforderungen und zeigt schließlich ein Roboterdesign, welches untertage in der Lage ist autonom zu navigieren und Objekte mit einem Arm zu manipulieren. Die Basis bildet eine robuste Plattform mit elektrischen Vier-Rad-All-Rad-Antrieb. Der Roboter ist mit Farb- und Tiefenkameras, Beleuchtung, Laserscannern, einer inertialen Messeinheit und ei-nem robotischem Arm ausgerüstet. Zahlreiche Videos und Bilder veranschaulichen die Mani-pulations- und Navigationsfähigkeiten des Roboters. Es werden zwei verschiedene Navigati-onsansätze vorgestellt und abschließend auf die Aufgabe des Roboters im Projekt ARIDuA eingegangen.

  • Design of an Autonomous Robot for Mapping, Navigation,

    and Manipulation in Underground Mines

    M.Sc. Robert Lösch, Institute of Computer Science, TU Bergakademie Freiberg

  • 2

    Autonome Roboter und Internet der Dinge in untertägigen Anlagen

    ARIDuA

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 1. Environmental Conditions and Requirements

    2. Research Robot Julius

    3. Manipulation Tasks

    4. Robot Navigation

    5. Future Work

    3

    Design of an Autonomous Robot for Mapping, Navigation, and Manipulation in Underground Mines

    Table of Contents

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 4TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 5

    Design of an Autonomous Robot for Mapping, Navigation, and Manipulation in Underground Mines

    • Darkness• High Humidity• Spaciousness• Manipulation of SSBs• No GNSSs• Dimensional Constraints

    • Light + Camera• Depth cameras• Protection against water

    ingress• High battery capacity• Manipulator

    Conditions Requirements Realization

    1 Environmental Conditions and Requirements

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 2D LIDAR

    Lighting

    Control Panel

    RobotiqGripper

    UR5

    RGB-D Camera

    Computer

    3D LIDAR

    6

  • • Innok Robotik Heros 444 FG

    • 138 kg, 0.65 × 1.42 × 1.3 m (w×l×h)

    • Electric 4-wheel differential drive

    • IP67 upgrade

    • 4 – 6 h operating time

    • 4 LED spotlights

    • 2 PCs7

    2.1 Robot Platform

    2 Research Robot Julius

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 8

    2.2 Optical Sensors

    2 Research Robot Julius

    Name Range[m]FOV[°]

    (Angular)Resolution

    [°] or [px x px]

    Depthaccuracy

    [cm]Rate

    Datarate

    [MB/s]

    Connec-tion

    MicrosoftKinect One

    (ToF)0.5 – 4.5 70 H60 V

    1920×1080 RGB512×424 D ±1.8 30 fps 190 USB 3.0

    Asus XtionPro Live 0.8 – 3.5

    58 H45 V

    1280×1024 RGB640×480 D ±0.2 30 fps 130 USB 2.0

    Velodyne PuckVLP-16 0.5 – 300

    360 H30 V

    0.1 – 0.4 H2.0 V ±3.0 10 Hz 8.5

    GigabitEthernet

    SICK LMS 111 0.5 – 20 270 V 0.5 ±0.3 50 Hz 0.2 Ethernet

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 9

    2.2 Optical Sensors

    2 Research Robot Julius

    Name Range[m]FOV[°]

    (Angular)Resolution

    [°] or [px x px]

    Depthaccuracy

    [cm]Rate

    Datarate

    [MB/s]Connection

    MicrosoftKinect One (ToF) 0.5 – 4.5

    70 H60 V

    1920×1080 RGB512×424 D ±1.8 30 fps 190 USB 3.0

    Asus XtionPro Live 0.8 – 3.5

    58 H45 V

    1280×1024 RGB640×480 D ±0.2 30 fps 130 USB 2.0

    Velodyne PuckVLP-16 0.5 – 300

    360 H30 V

    0.1 – 0.4 H2.0 V ±3.0 10 Hz 8.5

    GigabitEthernet

    SICK LMS 111 0.5 – 20 270 V 0.5 ±0.3 50 Hz 0.2 Ethernet

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • Manipulation unit with:

    • Universal Robots UR5

    • Robotiq 3 Finger Gripper

    • (Asus Xtion Pro Live)

    • Rubber sleeve

    • (Rubber) glove

    10

    2.3 Manipulators

    2 Research Robot Julius

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • • 2 PCs: i7 (4 cores), 2.7 GHz, 16 GB RAM, 256 GB SSD• Time synchronized• Ubuntu 16.04, ROS Kinetic

    11

    2.4 Computation

    2 Research Robot Julius

    • Main• Basic

    functions

    • Utility• High

    computational processes

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • • Battery:• Li-ion (NMC), 48 V, 20 Ah capacity

    • Possible to change battery on site within seconds (minutes)

    12

    2.5 Power supply

    2 Research Robot Julius

    underground 4 h

    office6 h

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • • SSDs store maps and sensor data

    • Sensors easily exchangeable

    • Second, redundant, remote controller safeguards against failures

    • WiFi and Bluetooth(-like) communication possible

    • Communication limited to line-of-sight

    13

    2.6 Miscellaneous

    2 Research Robot Julius

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 14

    2.7 Simulation

    2 Research Robot Julius

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 15

    2.7 Simulation

    2 Research Robot Julius

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 16

    2.7 Simulation

    2 Research Robot Julius

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • Target-PoseTeleoperation allows theminer to pick the targetpose for the sensor box

    Grasped Sensor Box Box is autono-mously picked upand ready to be setinto the mine

    Water Sample Station

    autonomous waterprobe extractionvia static routine

    3 Manipulation Tasks

    17TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 18

    Localization• Via SLAM• Afterwards

    Obstacle Avoidance• Dynamic Objects• Real-time

    Mapping•Via SLAM•Beforehand

    Path Planning•Global•Local

    4 Robot Navigation

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 4. Robot Navigation

    1. Absolute Navigation: Waypoint Navigation

    2. Reactive Navigation

    3. Mapping with IoT

    19

    Design of an Autonomous Robot for Mapping, Navigation, and Manipulation in Underground Mines

    Table of contents

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 20

    4 Robot Navigation - Absolute Navigation

    Mapping• RTAB-Map

    (Real-Time Appearance Based)• Graph based• Graph optimization by loop

    closure detection• Occupancy Grid Map

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 21

    4 Robot Navigation - Absolute Navigation

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 22

    4 Robot Navigation - Absolute Navigation

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

    https://youtu.be/rgeveCOBxzk

  • 23

    90°-90°

    -60°

    -30°30°

    60°

    Velodyne Pointcloud

    Pointcloud compressed to Laser Scan

    Distance Measures

    Steering angle = 𝑎 σ𝑖=16 𝛼𝑖𝑟𝑖 w/ 𝛼 = angle, 𝑟 = distance

    𝑎 unknown, but 𝑎 = 𝑓 ሶ𝑥

    4 Robot Navigation - Reactive Navigation

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 24

    4 Robot Navigation - Reactive Navigation

    Separately Driving And Mapping

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 25

    Mapping

    4 Robot Navigation - Mapping with IoT

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 26

    Error Minimization

    4 Robot Navigation - Mapping with IoT

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • Future Work?

    27

    5 Future Work

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • 28

    Lösch, Robert, et al. "Design of an Autonomous Robot forMapping, Navigation, and Manipulation in UndergroundMines." 2018 IEEE/RSJ International Conference onIntelligent Robots and Systems (IROS). IEEE, 2018.

    TU Bergakademie Freiberg | ESF junior researcher group ARIDuA | Project leader: Prof. Dr.-Ing. Helmut Mischo | Autonome Roboter und Internet der Dinge in untertägigen Anlagen | aridua.tu-freiberg.de | Robert Lösch | BHT | 06.06.2019

  • Since 1. July 2017, this junior research group investigating „Autonomous Robots and Internet of Things in Underground Facilities“ led by Prof. Dr. Ing. Helmut Mischo, Institute for Mining of Raw Materials and Special Methods Underground at TU BergakademieFreiberg, is funded by the state of Saxony with funds of the European Social Fund (ESF).

    Connect with us

    .com/in/loeschrobert

    tu-freiberg.de/en/aridua

    [email protected]