Self-Play bezeichnet ein Lernparadigma, bei dem ein Agent A in einer Umgebung E gegen sich selbst oder gegen historische Versionen A' spielt, um durch Interaktion optimale Strategien zu entwickeln.
Formell lässt sich Self-Play als ein mehrstufiges, iteratives Optimierungsverfahren im Rahmen von Markov-Entscheidungsprozessen (MDPs) oder Spielen mit mehreren Agenten modellieren, wobei der Agent seine Politik \( \pi \) durch Interaktion mit \( \pi' \) aktualisiert.
Bekannte Anwendungen sind AlphaGo (Silver et al., 2016), wo Deep Reinforcement Learning mit Monte-Carlo-Tree-Search und Self-Play kombiniert wurde, um übermenschliche Spielstärke zu erreichen.
Self-Play ermöglicht das Erreichen von Gleichgewichtszuständen (z.B. Nash-Gleichgewichten) in mehrspielerischen Szenarien und ist besonders effektiv in Umgebungen ohne vorhandene Trainingsdaten.
Die zentrale Herausforderung besteht darin, Stabilität und Diversität der Strategien zu gewährleisten, um das Lernen nicht in suboptimale Zyklen zu führen.
Definition:
„Self-Play ist ein Lernverfahren, bei dem ein Agent durch das Spielen gegen sich selbst oder gegen historische Versionen eigene Strategien verbessert, um optimale Verhaltensweisen in einer Umgebung zu erlernen.“
Quelle:
Silver, D., Huang, A., Maddison, C. J., et al. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529(7587), 484–489.