面向专家的超参数优化解释

超参数优化（HPO）是寻找一组超参数 \( \lambda \in \Lambda \) 的过程，这组超参数使得学习算法 \( A_{\lambda} \) 在验证函数 \( L_{val} \) 上的性能最小化：

\[ \lambda^* = \arg\min_{\lambda \in \Lambda} L_{val}(A_{\lambda}(D_{train})) \]

其中 \( D_{train} \) 表示训练数据集，\( \Lambda \) 表示包含离散和连续参数的超参数空间。

常见的优化方法包括：

• 网格搜索（Grid Search）：系统但计算量大的穷举搜索。
• 随机搜索（Random Search）：抽样搜索，在高维空间中通常更高效。
• 贝叶斯优化（Bayessche Optimierung）：基于模型的搜索，利用概率代理模型（如高斯过程）探索搜索空间。
• 基于梯度的方法和元学习：用于自适应优化的新方法。

超参数优化对于提升复杂模型的泛化能力和效率至关重要，尤其是在深度学习中。

定义：
“超参数优化是系统地搜索那些在训练过程中不被学习的参数的最优设置，以最大化学习算法在验证数据上的性能的过程。”

来源：
Feurer, M., & Hutter, F. (2019). Hyperparameter Optimization. In Automated Machine Learning (pp. 3-33). Springer.