贝叶斯网络：因果图模型的前身

Mon, 20 Dec 2021 00:00:00 +0000

贝叶斯网络（Bayesian Network），作为一种图形化模型，早在20世纪末便广为流传，其主要用以描述随机变量之间的条件独立性与概率分布关系。它以有向无环图（Directed Acyclic Graph, DAG）为基础，将复杂的概率系统分解为易于处理的子结构。

在这一框架下，每个节点代表一个随机变量，每条有向边则表示变量间的条件依赖。例如，在贝叶斯网络中，若变量 $X$ 指向 $Y$，这仅表示给定 $X$ 的条件下，$Y$ 的概率分布被决定。

条件独立性的理论基础

考虑我们将要进行建模的分布为 $P(x_1,x_2,\dots,x_n)$，根据链式法则（chain rule），对其进行分解：

$$ \begin{aligned} P(x_1,x_2,\dots,x_n)&=P(x_n|x_{n-1},\dots,x_1)P(x_{n-1}|x_{n-2},\dots,x_1)\cdots P(x_2|x_1)P(x_1)\\&=P(x_1)\prod_iP(x_i|x_{i-1},\dots,x_1) \end{aligned} $$

假设 $x_i$ 均为二元变量（binary），其中 $i=1,2,3,\dots,n$。当考虑 $3$ 个变量时（$n=3$），需要建模的因子 $P(x_3|x_2,x_1)$ 有 $4$ 个参数（parameters）：

$x_1$	$x_2$	$P(x_3\\|x_2,x_1)$
0	0	$a_1$
0	1	$a_2$
1	0	$a_3$
1	1	$a_4$

当考虑 $4$ 个变量时（$n=4$），参数为 $8$ 个。

$x_1$	$x_2$	$x_3$	$P(x_4\\|x_3,x_2,x_1)$
0	0	0	$a_1$
0	0	1	$a_2$
0	1	1	$a_3$
0	1	0	$a_4$
1	1	1	$a_5$
1	1	0	$a_6$
1	0	0	$a_7$
1	0	1	$a_8$

也就是说，对 $P(x_n|x_{n-1},\dots,x_1)$ 进行建模必要的参数为 $2^{n-1}$ 个，随着 $n$ 的增加呈指数型增长。

Conditional-Independence on TouchingFish.top

贝叶斯网络：因果图模型的前身

条件独立性的理论基础