RLLab

RLLab ist ein Framework für die Entwicklung und Evaluierung von Reinforcement-Learning-Algorithmen. Es bietet eine breite Palette an kontinuierlichen Steuerungsaufgaben und Implementierungen von verschiedenen Algorithmen, darunter REINFORCE, Truncated Natural Policy Gradient, Reward-Weighted Regression und viele mehr.

Das Framework ist vollständig kompatibel mit OpenAI Gym und ermöglicht die Ausführung von Reinforcement-Learning-Experimenten auf einem EC2-Cluster, sowie die Visualisierung der Ergebnisse. RLLab unterstützt Python 3.5+ und bietet eine umfassende Dokumentation online.

Geschichte von RLLab

RLLab wurde ursprünglich von Rocky Duan, Peter Chen, Rein Houthooft, John Schulman und Pieter Abbeel entwickelt. Das Framework wird weiterhin von Menschen bei OpenAI und der University of California, Berkeley, gemeinsam entwickelt.

RLLab vs. OpenAI Gym

RLLab und OpenAI Gym sind beide Frameworks für die Entwicklung und Evaluierung von Reinforcement-Learning-Algorithmen. OpenAI Gym bietet eine breitere Palette an unterstützten Umgebungen und einen Online-Scoreboard für die Veröffentlichung von Trainingsresultaten. RLLab bietet dagegen eine Implementierung von RL-Algorithmen und ermöglicht die einfache Integration mit OpenAI Gym.

RLLab++

RLLab++ ist eine Erweiterung von RLLab, die weitere Implementierungen von Algorithmen wie Q-Prop, IPG, DQN und DDPG bietet. Die Codes sind experimentell und können Anpassungen oder Feinabstimmungen erfordern, um die beste Leistung zu erzielen.

Installation und Verwendung

Die Installation von RLLab und RLLab++ erfolgt nach den Anweisungen in der Dokumentation. Beispiele für die Verwendung von RLLab und RLLab++ finden sich in den Beispielordnern.

Zitation

Wenn Sie RLLab oder RLLab++ für akademische Forschung verwenden, werden Sie gebeten, die folgenden Paper zu zitieren:

• Yan Duan, Xi Chen, Rein Houthooft, John Schulman, Pieter Abbeel. "Benchmarking Deep Reinforcement Learning for Continuous Control". Proceedings of the 33rd International Conference on Machine Learning (ICML), 2016.
• Shixiang Gu, Timothy Lillicrap, Zoubin Ghahramani, Richard E. Turner, Bernhard Schoelkopf, Sergey Levine. "Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning". arXiv:1706.00387 [cs.LG], 2017.
• Shixiang Gu, Timothy Lillicrap, Zoubin Ghahramani, Richard E. Turner, Sergey Levine. "Q-Prop: Sample-Efficient Policy Gradient with an Off-Policy Critic" Proceedings of the International Conference on Learning Representations (ICLR), 2017.