16.07.2013 1

Fakultät Technik und Informatik Studiendepartment Informatik

Ivan Demin

1. Motivation 2. RLRadio 4. R-Learning for Undiscounted Tasks 3. Zusammenfassung

16.07.2013 2

16.07.2013 3

[1]

16.07.2013 4

[1]

[2]

Was haben diese Dienste gemeinsam?

16.07.2013 5

[1]

[2]

[3]

Benutzer weiß, dass sein Verhalten für die Bewertung relevant ist

Liedbewertungen Favorisierung

16.07.2013 6

Benutzer weiß nicht, dass sein Verhalten als relevante Resonanz interpretiert wird

Klickraten Hördauer

16.07.2013 7

16.07.2013 8

[4]

Zwei Varianten: RLRadio P und RLRadio RL RLRadio P: Radiosenderauswahl nur anhand

des expliziten Feedbacks RLRadio RL: Radiosenderauswahl anhand des

expliziten und impliziten Feedbacks

16.07.2013 9

16.07.2013 10

[5]

Repräsentiert die Radiosender-Vorlieben des Benutzers

Beschränkung des Zustandsraums durch Aufzeichnung von zwei Radiosendern

Weitere Einschränkungen durch Präferenzen: tief(<15%), fair(15-40%), hoch(40%-60%) und sehr hoch(> 60%)

56133 mögliche Zustände

16.07.2013 11

Neun mögliche Radiosender-Empfehlungen Keine Musikstück-Empfehlung möglich

16.07.2013 12

Blues

Jazz Fusion

Pop Top

Hits

Metal

Relax

Classic

Rock

Opera

Baroque

Belohnung anhand der Hörlänge eines Musikstücks

Belohnung in drei Stufen eingeteilt:

<15% - null Punkte

15-60% - ein Punkt

>60% - zwei Punkte

16.07.2013 13

Zustandswechsel anhand:

angegebenen Radiosender Präferenz

Prozentsatz der letzter zwei Musikstücke

Aktueller Zustand

16.07.2013 14

Optimal Policy für RLRadio P mit Policy Iteration berechnet

Berechnete Strategie aus RLRadio P wird Startstrategie von RLRadio RL

Optimal Policy von RLRadio RL mit Hilfe R-Learning for Undiscounted Tasks verbessert

16.07.2013 15

Off-Policy Verfahren Ohne Discountrate Bestrebung nach jedem Zeitschritt maximale

Belohnung zu erreichen

16.07.2013 16

16.07.2013 17

Lernraten: 𝛼&𝛽 Belohnung: 𝑟 Durchschnittliche Belohnung: 𝑝 E. a. Belohnungen: 𝑄 𝑠, 𝑎 M. E. a. Belohnungen: 𝑚𝑎𝑥a𝑄(𝑠, 𝑎)

16.07.2013 18

Blues

Jazz Fusion

Pop Top

Hits

Metal

Relax

Classic

Rock

Opera

Baroque

16.07.2013 19

16.07.2013 20

1,5 0,5 1,1

1,2 1,9 0,6

1,3 0,7 0,9

16.07.2013 21

1,5 0,5 1,1

1,2 1,9 0,6

1,3 0,7 0,9

16.07.2013 22

𝑝 = 1,4 𝑟 = 2

16.07.2013 23

16.07.2013 24

1,5 0,5 1,1

1,2 1,975 0,6

1,3 0,7 0,9

16.07.2013 25

r p Q(s,a)

0 1,76 1,6552

0 1,056 1,465

16.07.2013 26

1,5 0,5 1,1

1,2 1,465 0,6

1,3 0,7 0,9

16.07.2013 27

Radiosenderwechsel

Vorteile:

Kein Terminaler Zustand notwendig

schlechte Belohnungen führen zum sofortigen Radiosenderwechsel

für kontinuierliche Aufgaben geeignet

Nachteil:

Höhere Gefahr die „Klippe“ runterzufallen

16.07.2013 28

16.07.2013 29

[6]

Radiovorschlagssystem anhand explizitem und implizitem Feedback

R-Learning for Undiscounted Tasks eignet sich für diese Problemstellung

Transkription des Systems in andere Bereiche möglich

16.07.2013 30

16.07.2013 31

Vielen Dank Für Ihre

Aufmerksamkeit

Fragen?

[Bortz u. Lienert 2008] Bortz, Jürgen ; Lienert, Gustav A.: Kurzgefasste Statistik für die klinische Forschung -. Berlin : Springer DE, 2008. – ISBN 978–3–540–75738–2

[Jawaheer u. a. 2010] Jawaheer, Gawesh ; Szomszor, Martin ; Kostkova, Patty: Comparison of implicit and explicit feedback from an online music recommendation service. In: Proceedings of the 1st International Workshop on Information Heterogeneity and Fusion in Recommender Systems - HetRec ’10 (2010), 47–51.

[Lee 2005] Lee, Mark: 6.7 R-Learning for Undiscounted Continuing Tasks. http://webdocs.cs.ualberta.ca/~sutton/book/ebook/node67.html. Version: 2005

[Moling u. a. 2012] Moling, Omar ; Baltrunas, Linas ; Ricci, Francesco: Optimal radiochannel recommendations with explicit and implicit feedback. In: Proceedings of the sixthACMconference on Recommender systems - RecSys ’12 (2012), 75.

[Richard S. Sutton 1998] Richard S. Sutton, Andrew G. B.: Reinforcement Learning: An Introduction.http://webdocs.cs.ualberta.ca/~sutton/book/ebook/. Version: 1998

16.07.2013 32

[1] spotify – Abruf:14.07.2013 http://www.smartdroid.de/wp-content/uploads/2012/03/spotify-logo.png

[2] Last.fm – Abruf:14.07.2013 http://sysout.be/wp-content/uploads/2013/01/last-fm-logo.png

[3] pandora - Abruf:14.07.2013 http://a1.mzstatic.com/us/r1000/033/Purple4/v4/16/38/4e/16384e69-3263-9d3f-484b-7c06488658ca/mzl.qpnxgmrs.png

[4] RLRadio & [5] Radio Präferenzen: Optimal radio channel recommendations with explicit and implicit feedback. In: Proceedings of the sixth ACMconference on Recommender systems - RecSys ’12 (2012), 75. http://dx.doi.org/10.1145/2365952.2365971. – DOI 10.1145/2365952.2365971. ISBN 9781450312707

[6] how i met your mother – Abruf:15.07.2013 http://images3.wikia.nocookie.net/__cb20110701174449/how-i-met-your-mother/de/images/b/b3/Future-Barney-how-i-met-your-mother-2590507-1280-720.jpg

16.07.2013 33