贝叶斯优化是一种迭代的概率优化方法，用于最小化一个未知函数 f: X → ℝ，该函数的评估代价较高。
该方法通过高斯过程（Gaussian Process，GP）对 f 进行建模，作为代理模型，为每个点 x ∈ X 提供均值 μ(x) 和方差 σ²(x) 的正态分布。
下一个评估点 x_{n+1} 的选择通过最大化基于已有数据 D_n = {(x_i, y_i)} 的采集函数 α(x; D_n) 实现。
例如，期望改进（Expected Improvement，EI）定义为：
EI(x) = 𝔼[max(0, f_{best} - f(x))]
其中 f_{best} 是迄今为止观察到的最佳值。
通过迭代更新 GP 模型并有针对性地选择 x_{n+1}，评估被高效利用以寻找函数 f 的最优值。
定义：
贝叶斯优化是一种概率优化方法，利用代理模型和采集函数高效地全局优化代价高昂的黑箱函数。
来源：
Shahriari, B., Swersky, K., Wang, Z., Adams, R. P., & de Freitas, N. (2016). Taking the Human Out of the Loop: A Review of Bayesian Optimization. Proceedings of the IEEE, 104(1), 148-175.