面向专家的贝叶斯优化与不确定性量化解释

贝叶斯优化是一种基于模型的序贯优化方法，它通过概率代理函数 \( f \) 建模，通常采用高斯过程（GP），并使用采集函数 \( \alpha \) 来确定下一个评估点。

不确定性量化通过 GP 预测在点 \( x \) 处的方差 \( \sigma^2(x) \) 实现，该方差表达了模型的认知不确定性。

形式上，下一个评估点选择为

\[ x^* = \arg\max_x \alpha(x; \mu(x), \sigma(x)) \]

其中 \( \mu(x) \) 和 \( \sigma(x) \) 分别是预测的期望值和标准差。

采集函数的示例包括：

• 期望改进（EI）：最大化相对于当前最优值的期望收益。
• 上置信界（UCB）：结合均值和不确定性，并通过参数控制探索程度。

不确定性量化从而实现了在复杂且代价高昂的搜索空间中的高效搜索。

定义：
“贝叶斯优化与不确定性量化是一种迭代优化方法，利用概率模型同时估计预测值和不确定性，并有针对性地利用这些不确定性来选择新的评估点。”

来源：
Snoek, J., Larochelle, H., & Adams, R. P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. Advances in Neural Information Processing Systems (NeurIPS).