Контрастивное расхождение — это приближённый метод оценки параметров в Energy-Based Models, особенно в Restricted Boltzmann Machines, который аппроксимирует градиент логарифма правдоподобия через разность между распределениями данных и модели.
Формально обновление параметров основано на градиенте
\[ \nabla_\theta \log p(x; \theta) = -\mathbb{E}_{p(h|x)}\left[\nabla_\theta E(x,h;\theta)\right] + \mathbb{E}_{p(x,h)}\left[\nabla_\theta E(x,h;\theta)\right] \]
который аппроксимируется заменой второго ожидания короткой цепочкой Гиббса с k шагами, начинающейся с точек данных (CD-k):
\[ \Delta \theta \propto -\left( \mathbb{E}_{p(h|x)}\left[\nabla_\theta E(x,h;\theta)\right] - \mathbb{E}_{p(h|\tilde{x})}\left[\nabla_\theta E(\tilde{x},h;\theta)\right] \right) \]
где \( \tilde{x} \) — примеры, сгенерированные с помощью Гиббс-сэмплинга.
Этот метод позволяет эффективно обучать модель, так как требуется всего несколько шагов сэмплинга для получения хороших аппроксимаций.
Однако приближение приводит к смещению, которое на практике допустимо и может быть улучшено с помощью вариантов, таких как Persistent Contrastive Divergence (PCD).
Определение:
«Контрастивное расхождение — это приближённый метод обучения для эффективной оценки параметров модели в Energy-Based Models, при котором градиент логарифма правдоподобия аппроксимируется через разность между распределениями данных и модели, причём распределение модели аппроксимируется короткими цепочками Гиббса.»
Источник:
Hinton, G. E. (2002). Training products of experts by minimizing contrastive divergence. Neural Computation, 14(8), 1771–1800.