Self-Play обозначает парадигму обучения, при которой агент A в среде E играет против самого себя или против исторических версий A', чтобы через взаимодействие развивать оптимальные стратегии.
Формально Self-Play можно смоделировать как многоступенчатый итеративный процесс оптимизации в рамках марковских процессов принятия решений (MDP) или игр с несколькими агентами, при этом агент обновляет свою политику \( \pi \) через взаимодействие с \( \pi' \).
Известные применения включают AlphaGo (Silver et al., 2016), где глубокое обучение с подкреплением было объединено с Монте-Карло поиском по дереву и Self-Play для достижения сверхчеловеческого уровня игры.
Self-Play позволяет достигать равновесных состояний (например, равновесий Нэша) в многопользовательских сценариях и особенно эффективен в средах без доступных обучающих данных.
Основная задача заключается в обеспечении стабильности и разнообразия стратегий, чтобы обучение не заходило в субоптимальные циклы.
Определение:
«Self-Play — это метод обучения, при котором агент улучшает собственные стратегии, играя против самого себя или против исторических версий, чтобы выучить оптимальное поведение в среде.»
Источник:
Silver, D., Huang, A., Maddison, C. J., et al. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529(7587), 484–489.