• Home

  • Documents

  • Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik...
52
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Embed Size (px)

Citation preview

Page 1: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Universität PotsdamInstitut für Informatik

Lehrstuhl Maschinelles Lernen

Reinforcement Learning 2Uwe Dick

Page 2: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Inhalt

Erinnerung: Bellman-Gleichungen, Bellman-Operatoren Policy Iteration

Sehr große oder kontinuierliche Zustandsräume Monte-Carlo Sampling, UCT Diskretisierung Approximate Policy Iteration

Bellman Residual Minimization Least Squares Temporal Difference

Page 3: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Literatur

Reinforcement Learning. An Introduction.von Richard S. Sutton und Andrew G. Bartohttp://www.cse.iitm.ac.in/~cs670/book/the-book.html

Tutorials auf videolectures.net z.B. von Csaba Szepesvari oder Satinder Singh

http://www.cse.iitm.ac.in/~cs670/book/the-book.html�
Page 4: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Lernen aus Interaktionen

Umgebung

AgentController

Aktionen•Reward•Beobachtung

Page 5: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Markov Decision Processes Markov-Entscheidungsprozess (S,A,R,P)

S : endliche Zustandsmenge

A : endliche Aktionsmenge

P : Übergangswahrscheinlichkeiten

R : Erwarteter Reward. Beschreibt den sofort erzielten Gewinn.

Discount factor .

Page 6: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

MDP

Eine deterministische stationäre Policy bildet Zustände auf Aktionen ab.

Stochastische Policy: Funktion von Zuständen auf eine Verteilung von Aktionen.

Ziel: Finde Policy ¼, die den erwarteten kumulativen (discounted) Gewinn maximieren.

Page 7: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Value Functions – Bewertungsfunktionen Value function V¼(s) für einen Zustand s und Policy ¼

beschreibt den erwarteten kumulativen Gewinn der von diesem Zustand aus erreicht wird.

Bewertungsfunktion für Zustand-Aktions-Paar:

Page 8: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Bellman-Gleichungen

Für Bewertungsfunktionen gelten die Bellman-Gleichungen (durch Markov-Eigenschaft):

Zustand-Aktions-Bewertungsfunktion:

Page 9: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Bellman-Operatoren

In (linearer) Operatorschreibweise:

Mit linearem Operator T¼:

Q¼ ist ein Fixpunkt des Bellman-Operators T¼ .

Iteration:

Page 10: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Bellman-Gleichungen

Optimale Value Function:

Optimale Policy:

Rekursive Beziehung:

Page 11: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Bellman-Optimalitätsgleichungen

Bellman-Gleichungen für das Kontrollproblem.

Rekursive Beziehungen der optimalen Value Functions.

Page 12: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Policy Iteration

Allgemeines Verfahren zum Bestimmen der optimalen Policy.

Iteriere: Policy Evaluation:

Gegeben Policy ¼k, bestimme

Policy Improvement: Inferiere verbesserte Policy ¼k+1 aus z.B. greedy Policy:

Page 13: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Value Iteration

Iteratives Verfahren zur Berechnung von V¼

bzw. Q¼

Konvergiert gegen V¼ bzw. Q¼ für k→1

Page 14: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Value Iteration

Value Iteration für das Kontrollproblem. Für V *:

für Q* :

Konvergiert gegen V* bzw. Q* für k→1

Page 15: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

TD(¸)

Updateregel:

TD(¸) Update:

0·¸·1 interpoliert zwischen 1-step und MC.

Page 16: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Eligibility Traces

Algorithmische Sicht auf TD(¸) Einführung eines zusätzlichen Speichers e(s) für

jeden Zustand s2S. Nach Beobachtung <st,at,Rt,st+1>, berechne

Update für alle Zustände

Page 17: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Problemstellungen

Lernen einer optimalen Policy. Oder bestmögliche Approximation.

Optimales Lernen: Möglichst wenige Fehler während des Lernen. Exploration / Exploitation Problem.

Page 18: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Exploration / Exploitation Problem

Tradeoff zwischen

Verfolgen der derzeit besten Policy, um den (greedy) Gewinn zu maximieren. (Exploitation)

und Erkunden derzeit suboptimaler Aktionen, über deren Wert noch Unsicherheit besteht, um eine potentiell bessere Policy zu finden. (Exploration)

Page 19: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Bandit Problem

n-armed bandit Problem: n Aktionen (Hebel) . Jede Aktion anderen erwarteten Gewinn. Erwartete Gewinne unbekannt. Problem: Finde beste Aktion durch Ausprobieren,

ohne dabei zu viel zu verlieren.

Erwarteter Gewinn für Aktion a ist Q*(a). Schätzung des erwarteten Gewinns nach t

Versuchen:

Page 20: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Greedy und ²-greedy Policies

Greedy:

²-greedy

²-greedy lässt zufällige Explorationsschritte zu.

Page 21: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

²-greedy Policies

10-armed bandit 2000 Wiederholungen Zufälliges Ziehen von

Q*(a) für alle a:

Rewards werden gezogen aus

Page 22: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Stochastische Policy: Softmax ¼ stochastische Policy. Schätzungen sollen Einfluss auf

Auswahlwahrscheinlichkeit haben.→ Softmax

Beispiel: Gibbs-Verteilung:

¿t ist Temperaturparameter.

Page 23: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Optimismus bei Unsicherheit

Ein Prinzip zur Auflösung des Exploration/Exploitation Dilemmas ist „Optimismus bei Unsicherheit“.

Existieren auch Umgebungen, in denen Performance schlecht ist.

Implementierbar z.B. über sehr hohe Initialisierungswerte von Q.

Page 24: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Optimismus bei Unsicherheit

Upper Confidence Bound (UCB): [Auer et al. 02 ] Angenommen, Rewards sind in [0,1].

Für stationäre Umgebungen und iid Rewards sehr gute Ergebnisse.

Page 25: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Problemstellungen P,R bekannt. P(s‘|s,a) können abgefragt werden.

P,R nicht explizit bekannt. Aber aus den Verteilungen P(s‘|s,a) kann gesamplet werden. Annahme: Generatives Modell von P und R.

P,R nicht oder teilweise bekannt. Es kann Erfahrung gesammelt werden durch Interaktion mit der Umgebung. → Reinforcement Learning.

Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden.

Page 26: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Große und unendliche Zustandsräume

In realistischen Anwendungen sind Zustandsräume i.A. sehr groß bzw. kontinuierlich.

Bisherige Annahme: tabellarische Repräsentation der Value Function.

Mögliche Lösungen: Planen:

Monte-Carlo Sampling Diskretisierung und anschließend z.B. Value Iteration

Approximation der Value Function durch Funktionsapproximationsmethoden.

Direktes Lernen der Policy.

Page 27: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Monte-Carlo Sampling Angenommen, S sehr groß Ziel: Finde Q, so dass ||Q-Q*||1<².

Sparse Lookahead Trees: [Kearns et al. 02] Monte-Carlo: Samplen eines sparsen

Aktions-Zustands-Baums. Tiefe des Baums: Effektiver Horizont

H(²) = Rmax / (²(1-°)) MC unabhängig von |S| Aber exponentiell in H(²):

min. Größe des Baums

Page 28: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Upper Confidence Bounds for Trees

Besser: Nur solche Teilbäume genauer untersuchen, die vielversprechend sind.

Optimismus bei Unsicherheit! Nutze das gleiche Prinzip wie bei Bandit Problem. UCT: UCB for Trees.

[Kocsis & Szepesvári 06]

Page 29: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

UCT Performance: Go

Sehr gute Resultate in Go. 9x9 & 19x19

Computer Olympiade 2007 - 2009: 2007 & 2008: 1.-3. Platz verwenden Varianten von

UCT.

Im Allgemeinen: Monte-Carlo Search Trees (MCST).

2009: Mindestens 2. und 3. verwenden Varianten von UCT.

Page 30: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Diskretisierung Kontinuierlicher Zustandsraum S. Random Discretization Method: [Rust 97]

Sampling von Zuständen S‘ nach uniformer Verteilung über den Zustandsraum.

Value Iteration. Kontinuierliche Value Iteration:

Diskretisierung: Weighted Importance Sampling

Page 31: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Diskretisierung Berechnen der Value Function V(s) für Zustände,

die nicht in der Samplingmenge S‘ sind: Bellman-Update –Schritt

Garantierte Performance: [Rust97] Annahme: S=[0,1]d

Page 32: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Diskretisierung

Kontrollproblem:

Ähnliche Garantien. [Sze01]

Page 33: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Funktionsapproximation

Darstellen der Value Function als parametrisierte Funktion aus dem Funktionsraum F mit Parametervektor µ.

Vorhersageproblem: Finde Parametervektor µ, so dass V¼, bzw. Q¼ am besten approximiert wird.

Page 34: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Fitted Value Iteration mit Samples

[Szepesvári & Munos 05] V = 0. Ziehe N Zustände s aus ¹(s). Für jedes s und a2A, Ziehe M Nachfolgezustände

s‘ aus P(¢|s,a) und Rewards R(s,a). Iteriere:

Mit diesen Samples <s, a, R, s‘> wird ein Bellman-Update-Schritt durchgeführt:

Dann least-squares Fitting:

Page 35: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Fehlerabschätzung

Page 36: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

FA für Reinforcement Learning

Das Reinforcement Learning Problem: Beispiele <st, at, Rt, st+1> aus Interaktion mit der

Umgebung. Annahme: Interaktion folgt der zu lernenden Policy On-policy-Verteilung von Zuständen ¹(s).

Vorhersageproblem: Finde

Page 37: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

FA für Reinforcement Learning Online Updates: Anpassen von µt nach jeder

Interaktion <st, at, Rt, st+1>.

Gradientenabstieg:

Page 38: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

FA für Reinforcement Learning Value Function V¼ unbekannt. Ersetze mit

Schätzung.

Monte-Carlo: Erwartungstreue Schätzung von V¼. Konvergenz zu lokalem Optimum.

(Unter Bedingungen für ®t)

Temporal Difference (TD(0)): Gebiaste Schätzung. keine Konvergenz zu lokalem Optimum beweisbar.

Spezialfall: lineare Methoden.

Page 39: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

FA für Reinforcement Learning TD(¸)

Eligibility traces:

Lineare Methode: Konvergenzgarantie nur für on-policy.

Fehlerabschätzung:

Page 40: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

SARSA(¸) Kontrollproblem: SARSA(¸) (On-Policy)

Off-policy kann divergieren.

Page 41: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

SARSA(¸)

Page 42: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

SARSA(¸)

Page 43: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Approximate Policy Iteration

Im Folgenden: lineares Modell.

Approximate Policy Evaluation: Lernen der optimalen state-action value function

von Interaktion fester Trainingsmenge

Policy Improvement

Page 44: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Approximate Policy Iteration

Falls Samples von Q¼(s,a) bekannt, lerne Q¼ vom Trainingssample mit Hilfe eines überwachten Regressionsmethode.

Problem: Oft off-policy, d.h. Trainingsbeispiele werden beobachtet während einer Verhaltenspolicygefolgt wird. Sample Selection Bias (Unterschiedliche Training-

und Testverteilungen)

Page 45: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Bellman-Residuen-Minimierung

Temporal Difference Methode.

Bellman-Gleichung als Fixpunkt-Gleichung.

Linke Seite als Fehler interpretieren: BellmanResiduum. ¹ stationäre Verteilung von Zuständen.

Empirisch:

Page 46: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Bellman-Residuen-Minimierung

Problem: Schätzer nicht erwartungstreu.

Denn

Es folgt:

Page 47: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Bellman-Residuen-Minimierung

Aber für gilt:

Es gilt aber für Erwartungswerte über Zufallsvariablen X:

Page 48: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Bellman-Residuen-Minimierung

Anwendung auf inneren Erwartungswert:

Der Varianzterm wirkt ähnlich wie ein Regularisierer→ Bias.

Page 49: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

BRM

Vorschlag: [Antos et. al. 07]Erwartungstreue durch Einführung einer Hilfsfunktion h2F.

Page 50: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Least-Squares Temporal Difference Q ist aus Funktionsraum F. T¼Q aber nicht notwendigerweise. LSTD minimiert den quadratischen Abstand

zwischen Q und der Projektion von T¼Q auf F.

Unbiased. LSTD oft bessere Ergebnisse.

Page 51: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Batch Reinforcement Learning Episode gesamplet nach ¼b

Zum Trainingszeitpunkt nur Zugang zu dieser einen Episode.

Page 52: Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Scheffer/Sawade/D

ick, Maschinelles Lernen 2

Literatur [Auer et al. 02 ]: P.Auer, N.Cesa-Bianchi and P.Fischer: Finite time analysis of

the multiarmed bandit problem. Machine Learning 47, 2002. [Kearns et al. 02]: M.J. Kearns, Y. Mansour, A.Y. Ng: A sparse sampling

algorithm for near-optimal planning in large Markov decision processes. Machine Learning 49: 2002.

[Kocsis & Szepesvári 06]: L. Kocsis and Cs. Szepesvári: Bandit based Monte-Carlo planning. ECML, 2006.

[Rust 97]: J. Rust, 1997, Using randomization to break the curse of dimensionality, Econometrica, 65:487—516, 1997.

[Szepesvári & Munos 05]: Cs. Szepesvári and R. Munos: Finite time bounds for sampling based fitted value iteration, ICML, 2005.

[Antos et. al. 07]: A. Antos, Cs. Szepesvari and R. Munos: Learning near-optimal policies with Bellman-residual minimization based fitted policy iteration and a single sample path, Machine Learning Journal, 2007


Neuronale Netze, Deep Learning - cs.uni-potsdam.de · Bias-Units auf jeder Ebene - log P(Aktivierung) ~ Energiefunktion Energiefunktion: 35 θ1 0 x 1... 0 x m 1 x 1... 1 x k 0 11001

Neuronale Netze, Deep Learning - cs.uni-potsdam.de · Bias-Units auf jeder Ebene - log P(Aktivierung) ~ Energiefunktion Energiefunktion: 35 θ1 0 x 1... 0 x m 1 x 1... 1 x k 0 11001

Documents
Reinforcement Learning for tactile-based finger gaiting · 2017. 2. 9. · folding origami or repairing a watch. On the other side tasks requiring high forces can be done as well

Reinforcement Learning for tactile-based finger gaiting · 2017. 2. 9. · folding origami or repairing a watch. On the other side tasks requiring high forces can be done as well

Documents
Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido [email protected]

Documents
SRM450 ACTIVE SOUND REINFORCEMENT MONITOR …€¦ · SOUND REINFORCEMENT MONITOR BEDIENUNGSANLEITUNG. 2 Sicherheitshinweise: 1. Lesen Sie bitte diese Anleitung - Alle Informationen

SRM450 ACTIVE SOUND REINFORCEMENT MONITOR …€¦ · SOUND REINFORCEMENT MONITOR BEDIENUNGSANLEITUNG. 2 Sicherheitshinweise: 1. Lesen Sie bitte diese Anleitung - Alle Informationen

Documents
Einführung in Eingebettete Systeme · Einführung in Eingebettete Systeme Vorlesung 3 Bernd Finkbeiner 30/10/2013 finkbeiner@cs.uni-saarland.de Prof. Bernd Finkbeiner, Ph.D. finkbeiner@cs.uni-saarland.de

Einführung in Eingebettete Systeme · Einführung in Eingebettete Systeme Vorlesung 3 Bernd Finkbeiner 30/10/2013 [email protected] Prof. Bernd Finkbeiner, Ph.D. [email protected]

Documents
Reinforcement Learning mit N-Tupel-Systemen für Vier … · Kurzfassung Reinforcement Learning mit N-Tupel-Systemen für Vier Gewinnt S e i t e | 1 Kurzfassung Die Untersuchung maschineller

Reinforcement Learning mit N-Tupel-Systemen für Vier … · Kurzfassung Reinforcement Learning mit N-Tupel-Systemen für Vier Gewinnt S e i t e | 1 Kurzfassung Die Untersuchung maschineller

Documents
Durchmesser 18 63 - g-s.dk · ISO 15835-1, 2: 2009 Steels for the reinforcement of concrete - Reinforcement couplers for mechanical splices of bars Part-1: Requirements Part-2: Test

Durchmesser 18 63 - g-s.dk · ISO 15835-1, 2: 2009 Steels for the reinforcement of concrete - Reinforcement couplers for mechanical splices of bars Part-1: Requirements Part-2: Test

Documents
Temporal Difference Learning - Universität Ulm · Temporal Difference Learning Das Temporal Difference (TD) Lernen ist eine bedeutende Entwicklung im Reinforcement Lernen. Im TD

Temporal Difference Learning - Universität Ulm · Temporal Difference Learning Das Temporal Difference (TD) Lernen ist eine bedeutende Entwicklung im Reinforcement Lernen. Im TD

Documents
Generalization and Transferability in Reinforcement Learning · Erklärung zur Abschlussarbeit gemäß § 23 Abs. 7 APB der TU Darmstadt Hiermit versichere ich, Pascal Klink, die

Generalization and Transferability in Reinforcement Learning · Erklärung zur Abschlussarbeit gemäß § 23 Abs. 7 APB der TU Darmstadt Hiermit versichere ich, Pascal Klink, die

Documents
Causal Inference & Estimands - Universitätsmedizin MainzStatistical Methods for Dynamic Treatment Regimes: Reinforcement Learning, Causal Inference and Personalized Medicine. Springer

Causal Inference & Estimands - Universitätsmedizin MainzStatistical Methods for Dynamic Treatment Regimes: Reinforcement Learning, Causal Inference and Personalized Medicine. Springer

Documents
PROSEMINAR ROBOTIK SEMINAR ... - cs.uni-potsdam.de · PROSEMINAR ROBOTIK SEMINAR REINFORCEMENT LEARNING OBERSEMINAR ADAPTIVE ROBOTERSTEUERUNG Organisation, Überblick, Themen Organisatorisches

PROSEMINAR ROBOTIK SEMINAR ... - cs.uni-potsdam.de · PROSEMINAR ROBOTIK SEMINAR REINFORCEMENT LEARNING OBERSEMINAR ADAPTIVE ROBOTERSTEUERUNG Organisation, Überblick, Themen Organisatorisches

Documents
Learning a State Representation for a Game Agent’s ... · Agent’s Reactive Behaviour ... In reinforcement learning, an agent interacts with its environment by taking actions and

Learning a State Representation for a Game Agent’s ... · Agent’s Reactive Behaviour ... In reinforcement learning, an agent interacts with its environment by taking actions and

Documents
Reinforcement Learning 2

Reinforcement Learning 2

Documents
SOFiSTiK Reinforcement Detailing · SOFiSTiK Reinforcement Detailing beschleunigt die Erstellung von 2D Bewehrungsplänen aus der 3D Bewehrung eines Revit Modelles ent-

SOFiSTiK Reinforcement Detailing · SOFiSTiK Reinforcement Detailing beschleunigt die Erstellung von 2D Bewehrungsplänen aus der 3D Bewehrung eines Revit Modelles ent-

Documents
Reinforcement Learning Kurvendurchfahrtxubicomp/projekte/master08... · Thema Einsatz von Reinforcement Learning in der Modellfahrzeugnavigation Konkreter Anwendungsfall: Einführung

Reinforcement Learning Kurvendurchfahrtxubicomp/projekte/master08... · Thema Einsatz von Reinforcement Learning in der Modellfahrzeugnavigation Konkreter Anwendungsfall: Einführung

Documents
GPR-Based Periodic Monitoring of Reinforcement Corrosion ... · GPR-Based Periodic Monitoring of Reinforcement Corrosion in Chloride-Contaminated Concrete Berlin 2015 vorgelegt von

GPR-Based Periodic Monitoring of Reinforcement Corrosion ... · GPR-Based Periodic Monitoring of Reinforcement Corrosion in Chloride-Contaminated Concrete Berlin 2015 vorgelegt von

Documents
Reinforcement Learning Lecture Model-Based Reinforcement ......2013/12/06  · Wolfgang Kohler (1917)¨ Intelligenzprufungen am¨ Menschenaffen The Mentality of Apes [movie] Goal-directed

Reinforcement Learning Lecture Model-Based Reinforcement ......2013/12/06  · Wolfgang Kohler (1917)¨ Intelligenzprufungen am¨ Menschenaffen The Mentality of Apes [movie] Goal-directed

Documents
Community Reinforcement Approach (CRA) - suchthilfe.de · Community Reinforcement Approach (CRA) Dr.med.Christiane Rasmus BUSS-Jahrestagung Berlin 2010. Konzept CRA ist ein umfassendes

Community Reinforcement Approach (CRA) - suchthilfe.de · Community Reinforcement Approach (CRA) Dr.med.Christiane Rasmus BUSS-Jahrestagung Berlin 2010. Konzept CRA ist ein umfassendes

Documents
Autograft Reinforcement to Preserve Autograft Function ... · Aus der Klinik für Herzchirurgie Der Universität zu Lübeck Direktor: Prof. Dr. med. H.-H. Sievers Autograft Reinforcement

Autograft Reinforcement to Preserve Autograft Function ... · Aus der Klinik für Herzchirurgie Der Universität zu Lübeck Direktor: Prof. Dr. med. H.-H. Sievers Autograft Reinforcement

Documents
Reinforcement Learning zur Lösung multidimensionaler Yield ... · 1.1 Die Problemstellungen des Yield Management Die mangelnde Anwendbarkeit der klassischen Preistheorie liegt in

Reinforcement Learning zur Lösung multidimensionaler Yield ... · 1.1 Die Problemstellungen des Yield Management Die mangelnde Anwendbarkeit der klassischen Preistheorie liegt in

Documents
Reinforcement Learning Das Reinforcement Learning-Problem Alexander Schmid

Reinforcement Learning Das Reinforcement Learning-Problem Alexander Schmid

Documents
Reinforcement Learning in der Modellfahrzeugnavigationubicomp/projekte/master2009... · Reinforcement Learning in der Modellfahrzeugnavigation von Manuel Trittel Informatik HAW Hamburg

Reinforcement Learning in der Modellfahrzeugnavigationubicomp/projekte/master2009... · Reinforcement Learning in der Modellfahrzeugnavigation von Manuel Trittel Informatik HAW Hamburg

Documents
Reinforcement Learning · Reinforcement Learning Friedhelm Schwenker Institut für Neuroinformatik • Vorlesung/Übung: (V) Di 14-16 Uhr, (Ü) Do 12.30-14.00 jeweils im Raum O27/121

Reinforcement Learning · Reinforcement Learning Friedhelm Schwenker Institut für Neuroinformatik • Vorlesung/Übung: (V) Di 14-16 Uhr, (Ü) Do 12.30-14.00 jeweils im Raum O27/121

Documents
Bar reinforcement plus Steel Fiber reinforced Concrete Design_Germany, Gossla

Bar reinforcement plus Steel Fiber reinforced Concrete Design_Germany, Gossla

Documents
Reinforcement Learning - uni-freiburg.deml.informatik.uni-freiburg.de/_media/teaching/ws1516/rl/ue1.pdf · Reinforcement Learning LU 1 - Introduction Dr. Joschka B odecker AG Maschinelles

Reinforcement Learning - uni-freiburg.deml.informatik.uni-freiburg.de/_media/teaching/ws1516/rl/ue1.pdf · Reinforcement Learning LU 1 - Introduction Dr. Joschka B odecker AG Maschinelles

Documents
CRAFT: Community Reinforcement Ansatz und Familien · PDF fileCRAFT: Community Reinforcement Ansatz und Familien-Training Dr. Gallus Bischof Universität zu Lübeck Klinik für Psychiatrie

CRAFT: Community Reinforcement Ansatz und Familien · PDF fileCRAFT: Community Reinforcement Ansatz und Familien-Training Dr. Gallus Bischof Universität zu Lübeck Klinik für Psychiatrie

Documents
Reinforcement Learning in der Schachprogrammierung Marco Block... n x x x o oo x xx x o x oo d4c4 a5a6 30%50% 40%20%

Reinforcement Learning in der Schachprogrammierung Marco Block... n x x x o oo x xx x o x oo d4c4 a5a6 30%50% 40%20%

Documents
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Documents
Personal Learning Environments in Future Learning Scenarios€¦ · Learning scenario, personal learning environment, social networks. INTRODUCTION Presumably, learning scenarios

Personal Learning Environments in Future Learning Scenarios€¦ · Learning scenario, personal learning environment, social networks. INTRODUCTION Presumably, learning scenarios

Documents
Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Michael Schwind EUS-Übung Yield Management und Reinforcement- Learning

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Michael Schwind EUS-Übung Yield Management und Reinforcement- Learning

Documents