Seminar Robotfußball, SoSe 2003 Selbstorganisation und Lernen Carsten Keßler

•

Seminar Robotfußball, SoSe 2003

Selbstorganisation und Lernen

Carsten Keßler

Carsten Keßler: Selbstorganisation und Lernen 2 von 50Seminar Robotfußball, SoSe 2003

Überblick

• Einleitung

• Künstliche neuronale Netze

• Das Modell

• Roboter mit Eigeninitiative

• Visuelle Sensoren

• Zusammenfassung


Überblick

• Einleitung


• Das Modell



• Zusammenfassung


Einleitung

• Anpassungs- / Lernfähigkeit ist ein Hauptaugenmerk bei autonomen Agenten

• Der Lernprozess besteht häufig aus einer indirekten Programmierung des Agenten („Reinforcement Learning“)


Einleitung

• Engere Definition von Selbständigkeit:

• Echte Selbständigkeit muss Eigeninitiative beinhalten


Einleitung – die „Vision“

• Startzustand: • Roboter, gesteuert durch ein neuronales Netz

• das neuronale Netz ist in einem „Tabula rasa“ Zustand

• der Roboter reagiert nicht auf seine Sensor-Messwerte

• Aktivitäten sind rein zufällig• die Umgebung enthält statische und dynamische Objekte


Einleitung – die „Vision“

• Die Aufgabe:• komplett internes Ziel für den Roboter definieren, damit:

• er anfängt, sich zu bewegen

• während der Bewegung ein Bild von seiner Umgebung entwickelt

• dies sollte unabhängig von den Sensoren und der Fortbewegungsart des Roboters sein


Überblick

• Einleitung


• Das Modell




Künstliche neuronale Netze

• Die Nervenzelle als biologisches Vorbild

Quelle: Prof. Lippe, Skript „Softcomputing“



• Schematische Darstellung eines künstlichen Neurons

Quelle: Dan Patterson – Künstliche neuronale Netze


Künstliche Neuronale Netze

• Formal: Tupel, bestehend aus

• Eingabevektor

• Gewichtsvektor

• Aktivierungsfunktion

• Ausgabefunktion









• Typen des Lernens• Entwicklung neuer Verbindungen

• Löschen existierender Verbindungen

• Modifikation der Gewichte

• Modifikation des Schwellenwertes

• Modifikation der Aktivierungs- / Ausgabefunktion

• Entwickeln neuer Zellen

• Löschen bestehender Zellen



• Lernstrategien• überwacht (supervised learning)

• bestärkend (reinforcement learning)

• unüberwacht (unsupervised learning)



• Anwendungen• Diagnostik• Vorhersage• Mustererkennung• Optimierung• Risikoabschätzung• Steuerung• ..........


Überblick

• Einleitung


• Das Modell



• Zusammenfassung


Das Modell

• Der Ansatz:

• der Agent überwacht selbst seinen eigenen Lernprozess


Das Modell

• Problem:

• die Sensorwerte müssen mit einem Modell vorausberechenbar sein, um im nächsten Schritt die gemessenen mit den vorausberechneten Werten zu vergleichen


Das Modell

• Ausgabe des Controllers:

• xt є Rn: Vektor der Sensorwerte zum Zeitpunkt t

• c: Parameter Vektor


Das Modell

• Das adaptive Modell soll xt+1 berechnen:


Das Modell

• der Fehler dabei beträgt:


Das Modell

• Lernregeln:• für das Modell:

• für den Controller:


Das Modell

• Der Khepera Roboter• 8 IR-Sensoren

• 2 Motoren

• max. 1m/s

• erweiterbar

Quelle: http://www.k-team.com


Das Modell

• Beispiel

• der Roboter bewegt sich mit konstanter Geschwindigkeit

• der Output des Controllers gibt nur die Drehgeschwindigkeit an

• Modellierung durch ein einzelnes Neuron:


Quelle: Der / Liebscher: True autonomy from self-organized adaptivity






Überblick

• Einleitung


• Das Modell



• Zusammenfassung


Roboter mit Eigeninitiative

• Das Problem:

• Bislang war die Geschwindigkeit gegeben

• Das Modell strebt möglichst konstant bleibende Sensorwerte an

Das ist gegeben, wenn der Roboter nichts tut



• Die Lösung:

• Der Roboter bekommt einen Anreiz zur Aktivität

• Dazu wird im Vorhersagemodell „die Zeit umgedreht“



• Die Zeitschleife:



• Dabei entsteht der Fehler

mit

Der Fehler ist klein, wenn das aktuelle Verhalten des Roboters gut durch das Modell repräsentiert wird



• Berücksichtigung der Dynamik, die nicht durch das Modell

beschrieben ist (Störung, Messfehler, „Rauschen“):



• Daraus folgt:

• Der Fehler durch das Rauschen pflanzt sich in der Zeit „rückwärts“ fort

• Der Modellfehler wird minimiert, wenn die Roboter-Sensormesswerte instabil sind

Anreiz zur Aktivität



• Verhalten des Roboters:

• Der Roboter zeigt sofort Aktivität, wenn er im Tabula rasa Zustand gestartet wird

• Beim Aufprall auf Hindernisse wird der Messfehler sprunghaft so groß, dass der Roboter sofort umdreht


Überblick

• Einleitung


• Das Modell



• Zusammenfassung


Visuelle Sensoren

Quelle: Der / Liebscher: True autonomy from self-organized adaptivity.


Visuelle Sensoren

• Eingabevektor:

x=(vl, vr, s1,…sK)

• vl, vr: Geschwindigkeiten der Räder

• si: Pixelwerte der Kamera im R3


Visuelle Sensoren

• Preprocessing:

• Binäre Klassifizierung der Pixel, ob sie der Farbe des Balles entsprechen oder nicht

• Herunterskalieren des Bildes auf 32 * 32 Pixel in Graustufen

• Erzeugen eines Bewegungsvektors im R2 für den Ball aus 2 aufeinander folgenden Bildern


Visuelle Sensoren

• Der Controller besteht aus 2 Neuronen

• Neuron 1 regelt die Geschwindigkeit

• gefüttert mit der Geschwindigkeit des Balles in Fahrtrichtung sowie den Sensormesswerten von den Rädern

Funktioniert wie eben gesehen


Visuelle Sensoren

• Der Controller besteht aus 2 Neuronen

• Neuron 2 regelt die Lenkung

• wird gefüttert mit den Pixelwerten aus dem vorher aufbereiteten Bild

• Annahme: die Komponente g2 des Bewegungsvektors g soll sich nicht ändern


Visuelle Sensoren

• Fehlerberechnung


Visuelle Sensoren

• Ausgabefunktionen


Visuelle Sensoren

• Lernregeln


Visuelle Sensoren

• Ergebnisse:

• Anpassung der Geschwindigkeit funktioniert beim Pioneer ähnlich gut wie beim Khepera

• Anpassung der Richtung aufgrund der Kameradaten bereitet noch Probleme, die allerdings technischer Natur sind


Überblick

• Einleitung


• Das Modell



• Zusammenfassung


Zusammenfassung

• Wir haben gesehen, wie:• Roboter mit Hilfe von neuronalen Netzen lernen können

• Sie mit Hilfe von neuronalen Netzen dazu gebracht werden können, Aktivität zu entwickeln

• Wie die Verarbeitung von visuellen Informationen in dieses Modell integriert werden kann


Zusammenfassung

• Bezug zum Roboterfußball:

• Zur Zeit noch keine praktische Anwendung der hier vorgestellten Ergebnisse

• In der Anwendung dominiert noch die klassische KI

• Ergebnisse sind noch sehr frisch, daher wahrscheinlich in Zukunft auch relevant für die Praxis


Vielen Dank für die Aufmerksamkeit!

Documents

Seminar Robotfußball, SoSe 2003 Selbstorganisation und Lernen Carsten Keßler