贝叶斯优化是一种用于全局优化昂贵的黑箱函数的方法，这些函数的导数不可用。

它结合了一个概率代理模型，通常是高斯过程（GP），与一个采集函数，该函数决定接下来选择哪些输入点来评估函数。

代理模型近似未知的目标函数，并提供不确定性估计，用于最大化信息增益。

采集函数在探索（探索未知区域）和利用（利用已知良好区域）之间进行平衡，例如通过期望改进或上置信界。

贝叶斯优化特别适用于诸如机器学习模型的超参数调优或实验设计过程等评估成本高的应用。