23、高斯分布相关知识解析

高斯分布相关知识解析

1. 边缘和条件高斯分布

在概率分布中，我们常常会遇到边缘高斯分布和条件高斯分布的情况。假设我们有变量 (x) 的边缘高斯分布，其形式为：
[p(x) = \mathcal{N}(x|\mu, \Lambda^{-1})]
同时，给定 (x) 时变量 (y) 的条件高斯分布为：
[p(y|x) = \mathcal{N}(y|Ax + b, L^{-1})]
那么，(y) 的边缘分布和给定 (y) 时 (x) 的条件分布分别为：
- (y) 的边缘分布：
[p(y) = \mathcal{N}(y|A\mu + b, L^{-1} + A\Lambda^{-1}A^T)]
- 给定 (y) 时 (x) 的条件分布：
[p(x|y) = \mathcal{N}(x|\Sigma{A^TL(y - b) + \Lambda\mu}, \Sigma)]
其中，(\Sigma = (\Lambda + A^TLA)^{-1})。

这些公式在处理多变量高斯分布的边缘和条件情况时非常有用，它们帮助我们在已知部分信息的情况下，推断其他变量的分布情况。

2. 高斯分布的最大似然估计

假设我们有一个数据集 (X = (x_1, \ldots, x_N)^T)，其中观测值 ({x_n}) 被假设为独立地从一个多元高斯分布中抽取。我们可以通过最大似然估计来估计该分布的参数。

最大似然估计的对数似然函数为：
[\ln p(X|\mu, \Sigma) = -\frac{ND}{2}\ln(2\pi) - \frac{N}{2}\ln|\Si