ベイズ統計学を学んでみた。（その7）

前回は確率変数が複数ある場合の確率分布や確率を定義した。

そこから派生する議論を今回からはしていく。

周辺化と周辺確率分布

確率変数 $X, Y, Z$ の同時確率分布 $P\langle X, Y, Z\rangle : X \times Y \times Z \rightarrow \mathbb{R}_{\ge 0}$ に対して、関数 $P\langle X, Y\rangle : X \times Y \rightarrow \mathbb{R}_{\ge 0}$ を次のように定義する：

$P\langle X, Y\rangle(x, y) = P\langle X, Y, 2^Z\rangle (x, y, Z) = \int_{z \in Z} P\langle X, Y, Z\rangle (x, y, z) dz$

つまり、 $z$ に関して積分して元の関数（同時確率分布）から $z$ を取り除いた関数。

命題
$P\langle 2^X, 2^Y\rangle (X, Y) = 1$

証明

$\begin{align} P\langle 2^X, 2^Y\rangle(X, Y) &= \underset{x \in X, y \in Y}{\int\!\int} P\langle X, Y \rangle (x, y) \, dx \, dy \\ &= \underset{x \in X, y \in Y, z \in Z}{\int\!\int\!\int} P\langle X, Y, Z\rangle (x, y, z) \, dx \, dy \, dz \\ &= 1 \end{align}$

よって示された。 $\Box$

この命題から、関数 $P\langle X, Y \rangle$ は確率変数 $X, Y$ に関する同時確率分布になっていることが分かる。（＝記法での不一致は起きていない、ということ）

このように、同時確率分布 $P\langle X, Y, Z\rangle$ から同時確率分布 $P\langle X, Y\rangle$ を得ることを、 $Z$ を周辺化するといい、 $P\langle X, Y, Z\rangle$ に対して $P\langle X, Y\rangle$ を周辺確率分布と呼ぶ。

一つ注意したいのは、この周辺確率分布というのは相対的なものだということ。

たとえば、この $P\langle X, Y\rangle$ に対して同様に $Y$ を周辺化した確率分布 $P\langle X\rangle$ を考えることができるけど、 $P\langle X, Y, Z\rangle$ から見たとき $P\langle X, Y\rangle$ は周辺確率分布になっているのに対し、 $P\langle X\rangle$ から見たとき $P\langle X, Y\rangle$ は周辺確率分布にはなっていない。

複数変数の周辺化 vs 複数回の周辺化

さて、同様にして、同時確率分布 $P\langle X, Y, Z\rangle$ から $Y$ と $Z$ を周辺化した周辺確率分布 $P\langle X\rangle$ も定義できる：

$P\langle X\rangle (x) = P\langle X, 2^Y, 2^Z\rangle (x, Y, Z) = \underset{y \in Y, z \in Z}{\int\!\int} P\langle X, Y, Z\rangle (x, y, z) \, dy \, dz$

また、同時確率分布 $P\langle X, Y, Z\rangle$ から $Z$ を周辺化した周辺確率分布 $P\langle X, Y\rangle$ は同時確率分布でもあるので、さらに $Y$ を周辺化して周辺確率分布 $P\langle X\rangle$ を得ることもできる。

となると、問題となるのは、この2つの確率分布 $P\langle X\rangle$ が一致するのかどうか。

幸いにも、次の命題でこの2つは一致することが示される：

命題
同時確率分布 $P\langle X, Y, Z\rangle$ に対して、 $Y, Z$ を周辺化した確率分布 $P_1\langle X\rangle$ と、 $Z$ を周辺化した $P\langle X, Y\rangle$ に対して $Y$ を周辺化した確率分布 $P_2\langle X\rangle$ は等しい。

証明
まず、

$P_1\langle X\rangle (x) = \underset{y \in Y, z \in Z}{\int\!\int} P\langle X, Y, Z\rangle (x, y, z)\, dy \, dz$

そして、

$P_2\langle X\rangle (x) = \int_{y \in Y} P\langle X, Y \rangle (x, y) dy = \underset{y \in Y, z \in Z}{\int\!\int} P\langle X, Y, Z\rangle (x, y, z) \, dy \, dz$