Humboldt-Universität zu Berlin - Mathematisch-Naturwissenschaftliche Fakultät - Künstliche Intelligenz - 2009

---

Fr. 09:00-11:00 Uhr, RUD 26, Raum 1.307
Leitung: Dipl.-Inf. Ralf Berger

---

Inhalt

Organisatorisches

Termine

Themen

Literatur

Hinweise

---

Inhalt

Reinforcement Learning (RL) ist eine Klasse unüberwachter maschineller Lernverfahren, bei der ein Agent durch Belohnung und Bestrafung lernt, ein Problem zu lösen (trial and error learning). Der Reiz beim Reinforcement Learning besteht vor allem in seiner einfachen mathematischen Struktur, den Parallelen zu neurologischen und kognitiven Modellen der Lernens und seiner breiten Anwendbarkeit. In den letzten Jahren hat das Verfahren wieder zunehmend an Popularität gewonnen und ist insbesondere auch im Bereich der Robotik gefragt.

In diesem Seminar sollen aktuelle und besonders interessante Entwicklungen im RL bearbeitet und vorgestellt werden. Dabei geht es unter anderem um neue Lernalgorithmen, elegante Verfahren zur Problemrepräsentation, Shaping, Hierarchiches RL und Multi-Agenten RL. Eine praktische Erprobung ausgewählter Themen an spannenden Problemen ist am Ende des Seminars geplant.

---

Organisatorisches

• LV-Nr.: 32 251
• Ort: RUD 26, 1’307   RUD 25, 3.408
• Zeit: Fr. 09-11
  Das Seminar wird als Blockseminar am 25.01.2008 durchgeführt. Uhrzeit: 10:00 st.
• 
  
• Die Veranstaltung ist als Seminar in der praktischen Informatik anrechenbar.
• Die Anmeldung erfolgt über Goya.

Voraussetzungen für die Teilnahme

• abgeschlossenes Grundstudium
• Vorkenntnisse im Bereich Reinforcement Learning (KI, MMKI) sind nützlich, aber keine Vorraussetzung
• Lesen englischer Texte
• Verständnis einfacher mathematischer Standardverfahren

Voraussetzungen für den Scheinerwerb

• Vortrag über das bearbeitete Thema
• Erstellung einer schriftl. Seminararbeit bzw. praktische Umsetzung des Themas in einem vorher festgelegten Rahmen
• Regelmäßiger Besuch und aktive Teilnahme am Seminar

---

Termine

• 19.10. : fällt aus
• 26.10. : organisatorische Vorbesprechung und Themenvergabe
• 02.11. : Einführung / Wiederholung Reinforcement Learning
• 25.01. : Blocktermin mit Vorträgen / Präsentation der praktischen Arbeiten

---

Themenvorschläge

Batch Reinforcement Learning
Oliver Welter	(Neural) Fitted Q Iteration	Timmer, Riedmiller : Fitted Q Iteration with CMACs Riedmiller : Neural Fitted Q Iteration - Fist Experiences ... Kalyanakrishnan, Stone : Batch Reinforcement Learning in a Complex Domain (zum Vergleich) weitere Literatur zu FQI und Grundlagen (sofern benötigt) gibt's insbesondere bei D.Ernst
*	Experience Replay
Adaptive Repräsentationen
*	(Improved) Partigame Algorithmus
*	kd-Q-Learning
Martin Schröder	Adaptive Tile-Codings	Sherstov, Stone : Function Approximation via Tile Coding: Automating Parameter Choice S. A. Whiteson : Phd Thesis: Adaptive Representations for Reinforcement Learning (Kapitel 7)
*	adaptive RBF-Netze (GSBFN / AE-GSBFN)
Sascha Ebel	Temporal Neighborhoods	Kretchmar, Anderson : Using Temporal Neighborhoods to Adapt Function Approximators in Reinforcement Learning
	Hidden Unit Restarting
Modellbasiertes Reinforcement Learning
Marc Bux	Prioritized sweeping	Moore, Atkeson : Prioritized Sweeping: Reinforcement Learning with Less Data and Less Real Time (Erstartikel) Andre, Friedman, Parr : Generalized Prioritized Sweeping Dearden : Structured Prioritized Sweeping Einführungen gibt es in den (online)Büchern von Sutton/Barto und Kaelbling. Auch zum Vergleich mit Dyna etc. findet man einiges.
*	Dyna-Q
*	Explicit Explore or Exploit algorithm
Hierarchisches Reinforcement Learning
Sören Wenzlaff	MaxQ	Dietterich : Hierarchical Reinforcement Learning with the MAXQ Value Function Decomposition Dietterich : State abstraction in MAXQ hierarchical reinforcement learning Dietterich : An Overview of MAXQ Hierarchical Reinforcement Learning Hier gibt es sicherlich noch eine ganze Reihe weiterer Literatur. (ggf. mit mir absprechen)
	options
	HAM
Multi-Agenten Reinforcement Learning
Lech Aleksandrowicz	RoboCup keepaway (survey)	Literaturliste per email
*	Distributed Q-Learning
*	Payoff Propagation
RL in Kombination mit anderen KI-Verfahren
	Case-Based-Reasoning
	Evolutionäre Algorithmen (NEAT+Q)
Anwendungen
Phillip Weiß	RL und mind games (TD-Gammon, Go, Poker, Schach, ...)	Literaturliste per email
	RL in der Robotik (RoboCup, biped walking, ...)
	RL für Job-Shop Scheduling
Direct Policy Learning
	Policy Search methods
	Policy Gradient Reinforcement Learning (GPOMDP, GSEARCH, CONJPOMDP, PEGASUS)

---

Empfohlene Literatur

Als allgemeinen Einstieg in die Thematik empfehle ich vor allem folgende Quellen:

• Richard S. Sutton, Andrew G. Barto. : Reinforcement Learning: An Introduction
• Leslie P. Kaelbling et.al. : Reinforcement Learning: A Survey
• V. Heidrich-Meisner et.al. : Reinforcement Learning in a Nutshell
• M. Harmon, S. Harmon : Reinforcement Learning: A Tutorial
• Satinder Singh : An (Almost) Tutorial on Reinforcement Learning
• Satinder Singh : Reinforcement Learning: A Tutorial (gute Folien vom ICML06)

Weitere Einstiegspunkte in verschiedenste Bereiche des RL finden sich u.a. hier:

• Scholarpedia: Reinforcement Learning
• Reinforcement Learning Tutorials
• The Reinforcement Learning Repository
• Reinforcement Learning and Artificial Intelligence

Themenspezifische Literatur folgt.

---

Hinweise

Dieses Seminar ist sicher nicht das "leichteste". Es richtet sich vor allem an jene, die von RL oder maschinellem Lernen schon etwas gehört haben (KI oder MMKI Vorlesung) und an Studenten, die einen breiteren Einblick in das Thema gewinnen möchten. Viele Inhalte des Seminars lassen sich sicher auch zu Qualifikationsarbeiten ausbauen sowie in die aktuellen Projekte (Robotik, Multi-Agenten-Systeme, Maschinelles Lernen) des KI-Lehrstuhls einbringen.

Weitere Hinweise zu Literaturrecherche, Vortrag, Besprechungen, Ausarbeitungsformat und mehr ... folgen später.

---

Kontakt

Bei Fragen wenden Sie sich bitte an Ralf Berger, RUD25, III.422.