Оптимизация гиперпараметров для экспертов

Оптимизация гиперпараметров (HPO) — это процесс поиска набора гиперпараметров \( \lambda \in \Lambda \), которые минимизируют производительность алгоритма обучения \( A_{\lambda} \) на функции валидации \( L_{val} \):

\[ \lambda^* = \arg\min_{\lambda \in \Lambda} L_{val}(A_{\lambda}(D_{train})) \]

Здесь \( D_{train} \) обозначает обучающую выборку, а \( \Lambda \) — пространство гиперпараметров, которое может содержать дискретные и непрерывные параметры.

Распространённые методы оптимизации включают:

• Grid Search: систематический, но вычислительно затратный полный перебор.
• Random Search: выборочный поиск, часто более эффективный при высокой размерности.
• Байесовская оптимизация: основанный на моделях поиск, который исследует пространство с помощью вероятностных суррогатных моделей (например, гауссовских процессов).
• Градиентные методы и метаобучение: новые подходы к адаптивной оптимизации.

Оптимизация гиперпараметров необходима для улучшения обобщающей способности и эффективности сложных моделей, особенно в глубоком обучении.

Определение:
«Оптимизация гиперпараметров — это процесс систематического поиска оптимальных настроек параметров, которые не обучаются во время тренировки, с целью максимизации производительности алгоритма обучения на валидационных данных.»

Источник:
Feurer, M., & Hutter, F. (2019). Hyperparameter Optimization. In Automated Machine Learning (pp. 3-33). Springer.