条件高斯分布

写在前面

对于条件高斯分布的推导，主要抓住的是对于二次型系数的把握，这样的推导在形式上帮助我们证明了高斯分布的条件分布仍然是高斯分布.

多元高斯分布的一个重要性质是，如果两组变量是联合高斯分布，那么以其中一组变量为条件，另一组变量同样是高斯分布.这个性质在贝叶斯网络中经常被用到.假设$x$是一个服从高斯分布$\mathcal{N}(\mu ,\mathbf{\Sigma })$的随机变量，其中$\mu$是均值向量，$\mathbf{\Sigma }$是协方差矩阵.我们可以将$x$分为两部分：$x=\left[\begin{array}{c}{x}_a\\ x_b\end{array}\right]$，其中$x_a$是我们要求的变量，$x_b$是我们已知的变量.我们可以将$x$的概率密度函数写成如下形式：

$$p(x)=\mathcal{N}\left(\left[\begin{array}{c}{x}_a\\ x_b\end{array}\right]\right|\left[\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right],\left[\begin{array}{cc}{\mathrm{\Sigma }}_{aa}& {\mathrm{\Sigma }}_{ab}\\ {\mathrm{\Sigma }}_{ba}& {\mathrm{\Sigma }}_{bb}\end{array}\right])$$

其中${\mu }_a$和${\mu }_b$分别是$x_a$和$x_b$的均值，${\mathrm{\Sigma }}_{aa}$、${\mathrm{\Sigma }}_{ab}$、${\mathrm{\Sigma }}_{ba}$和${\mathrm{\Sigma }}_{bb}$分别是$x_a$和$x_b$之间的协方差矩阵.从协方差矩阵的对称性质，我们可以得到${\mathrm{\Sigma }}_{ab}={\mathrm{\Sigma }}_{ba}^T$.

精度矩阵

我们定义精度矩阵$\mathrm{\Lambda }$为协方差矩阵的逆：

$$\mathrm{\Lambda }={\mathrm{\Sigma }}^{-1}$$

有些性质使用协方差来描述很方便，有些性质使用精度来描述很方便.例如，对于多元高斯分布的指数部分，使用精度矩阵来描述更方便：

$$-\frac{1}{2}(x-\mu {)}^T{\mathrm{\Sigma }}^{-1}(x-\mu )=-\frac{1}{2}{x}^T\mathrm{\Lambda }x+x^T\mathrm{\Lambda }\mu +\text{const}$$

接下来我们可以推导出条件概率分布$p(x_a|x_b)$.条件分布可以根据联合分布$p(x)=p(x_a,x_b)$和边缘分布$p(x_b)$的关系得到.通过把$x_b$固定为观测值，然后对得到的表达式进行归一化，我们可以得到$x_a$的一个合法的概率分布.

我们可以通过以下步骤来推导条件概率分布：

$$\begin{array}{rl}p(x_a|x_b)& =\frac{p(x_a,x_b)}{p(x_b)}\\ & =\frac{\mathcal{N}\left(\left[\begin{array}{c}{x}_a\\ x_b\end{array}\right]\right|\left[\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right],\left[\begin{array}{cc}{\mathrm{\Sigma }}_{aa}& {\mathrm{\Sigma }}_{ab}\\ {\mathrm{\Sigma }}_{ba}& {\mathrm{\Sigma }}_{bb}\end{array}\right])}{\mathcal{N}\left(x_b\right|{\mu }_b,{\mathrm{\Sigma }}_{bb})}\\ & =\frac{1}{Z}\exp \{-\frac{1}{2}{\left[\begin{array}{c}{x}_a-{\mu }_a\\ x_b-{\mu }_b\end{array}\right]}^T{\left[\begin{array}{cc}{\mathrm{\Sigma }}_{aa}& {\mathrm{\Sigma }}_{ab}\\ {\mathrm{\Sigma }}_{ba}& {\mathrm{\Sigma }}_{bb}\end{array}\right]}^{-1}\left[\begin{array}{c}{x}_a-{\mu }_a\\ x_b-{\mu }_b\end{array}\right]\}\\ & =\frac{1}{Z}\exp \{-\frac{1}{2}{(x_a-{\mu }_a)}^T{\mathrm{\Lambda }}_{aa}(x_a-{\mu }_a)+{(x_a-{\mu }_a)}^T{\mathrm{\Lambda }}_{ab}(x_b-{\mu }_b)+\text{const}\}\end{array}$$

我们知道一个高斯分布的二阶系数应该是${\mathrm{\Sigma }}^{-1}$， 一阶项系数是${\mathrm{\Sigma }}^{-1}\mu$. 基于这个条件，我们可以继续推导出条件概率分布的均值和协方差：

$$\begin{array}{rl}{\mathrm{\Sigma }}_{a|b}& ={\mathrm{\Lambda }}_{aa}^{-1}\\ {\mu }_{a|b}& ={\mathrm{\Sigma }}_{a|b}[{\mathrm{\Lambda }}_{aa}{\mu }_a-{\mathrm{\Lambda }}_{ab}(x_b-{\mu }_b)]\\ & ={\mu }_a-{\mathrm{\Lambda }}_{aa}^{-1}{\mathrm{\Lambda }}_{ab}(x_b-{\mu }_b)\end{array}$$

舒尔补

我们可以利用舒尔补来计算分块矩阵的逆.假设我们有一个分块矩阵$M=\left[\begin{array}{cc}A& B\\ C& D\end{array}\right]$，其中$A$和$D$是方阵.我们可以得到$M$的逆：

$$M^{-1}=\left[\begin{array}{cc}K& -KB{D}^{-1}\\ -D^{-1}CK& D^{-1}+D^{-1}CKB{D}^{-1}\end{array}\right]$$

其中$K=(A-B{D}^{-1}C{)}^{-1}$. 因此我们可以有以下公式：

$$\begin{array}{rl}{\mathrm{\Lambda }}_{aa}& =({\mathrm{\Sigma }}_{aa}-{\mathrm{\Sigma }}_{ab}{\mathrm{\Sigma }}_{bb}^{-1}{\mathrm{\Sigma }}_{ba}{)}^{-1}\\ {\mathrm{\Lambda }}_{ab}& =-({\mathrm{\Sigma }}_{aa}-{\mathrm{\Sigma }}_{ab}{\mathrm{\Sigma }}_{bb}^{-1}{\mathrm{\Sigma }}_{ba}{)}^{-1}{\mathrm{\Sigma }}_{ab}{\mathrm{\Sigma }}_{bb}^{-1}\end{array}$$

这个公式可以用来计算${\mathrm{\Sigma }}_{a|b}$.

这个结果表明，如果我们知道$x_b$的值，那么$x_a$的条件分布是一个高斯分布，均值是${\mu }_a+{\mathrm{\Lambda }}_{aa}^{-1}{\mathrm{\Lambda }}_{ab}(x_b-{\mu }_b)$，协方差是${\mathrm{\Lambda }}_{aa}^{-1}$.

结合上述的推导，我们可以得到条件概率分布$p(x_a|x_b)$的均值和协方差.

$$\begin{array}{rl}p(x_a|x_b)& =\mathcal{N}\left(x_a\right|{\mu }_{a|b},{\mathrm{\Sigma }}_{a|b})\\ {\mu }_{a|b}& ={\mu }_a+{\mathrm{\Sigma }}_{ab}{\mathrm{\Sigma }}_{bb}^{-1}(x_b-{\mu }_b)\\ {\mathrm{\Sigma }}_{a|b}& ={\mathrm{\Sigma }}_{aa}-{\mathrm{\Sigma }}_{ab}{\mathrm{\Sigma }}_{bb}^{-1}{\mathrm{\Sigma }}_{ba}\end{array}$$

我们可以看到，对于条件概率分布，使用精度矩阵来描述更方便.