Постоянное обучение (Continual Learning, CL), также известное как обучение на протяжении всей жизни (Lifelong Learning), обозначает процесс, при котором модель изучает последовательность задач T_1, T_2, ..., T_n, не теряя знания о предыдущих задачах при обучении новым.
Формально решается проблема «катастрофического забывания» (Catastrophic Forgetting), при которой оптимизация под новые задачи ухудшает производительность на предыдущих задачах.
Подходы к постоянному обучению можно классифицировать на: (1) методы на основе регуляризации, вводящие штраф за изменение важных параметров (например, Elastic Weight Consolidation от Kirkpatrick и др., 2017), (2) методы воспроизведения (Replay), использующие прежние данные или сгенерированные псевдо-данные для сохранения памяти, и (3) архитектурные методы, применяющие отдельные подсети или модульную структуру.
Основная задача заключается в решении дилеммы стабильность-пластичность, то есть баланса между сохранением старых знаний и интеграцией новых.
Постоянное обучение является важным для адаптивных систем, работающих в динамичных средах, и активно исследуется в таких областях, как робототехника, персонализированные ассистентские системы и автономные транспортные средства.
Определение:
«Постоянное обучение — это парадигма обучения, при которой модель последовательно изучает задачи, сохраняя знания о предыдущих задачах, чтобы избежать катастрофического забывания.»
Источник:
Kirkpatrick, J., Pascanu, R., Rabinowitz, N., et al. (2017). Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, 114(13), 3521-3526.