前回は条件付き確率分布を定義した。 今日は、後回しにしていた分母が0の場合について議論しておきたい。 分母が0になる場合に関して あらかじめ断っておくと、これに関しては自分もまだ明快な答えが出せていない。 そのうえで、どんなことを考えているか書…

前回は周辺確率分布を定義した。 今回は条件付き確率分布を定義する。 固定化と条件付き確率分布 確率変数の同時確率分布に対して、をある値に固定したときのとの同時確率分布を条件付き確率分布と呼び、次のように定義する： なお、だが、ここではとなるで…

前回は確率変数が複数ある場合の確率分布や確率を定義した。 そこから派生する議論を今回からはしていく。 周辺化と周辺確率分布 確率変数の同時確率分布に対して、 関数を次のように定義する： つまり、に関して積分して元の関数（同時確率分布）からを取り…

前回までで確率変数が1つの場合の確率を定義した。 今回からはそれを複数の確率変数がある場合に拡張していく。 確率変数の数 実際に議論していく前に、確率変数の数について少し言及しておきたい。 複数の確率変数に話を拡げる場合、よくあるのは2つの確率…

前回は確率分布を定義した。 今回は確率を定義する。 確率 まず、集合の部分集合をすべて集めた集合を冪集合といい、で表すことにする： そして、確率変数の部分集合に対して、関数を次のように定義する： この関数を確率と呼ぶ。 確率分布は引数が「確率変…

前回は分布を定義した。 その中で、分布の値は比例尺度であり、本質的に同じ分布が複数あることに言及した。 今回はその対処を考えることで確率分布を定義する。 相似な分布 「分布が本質的に同じである」ということをもう少しちゃんと定義するために、相似…

前回は確率変数を定義した。 今回は分布を定義する。 分布 確率変数は起こりうる事象の集合だった。 となると、それぞれの事象がどれくらい起こりやすいかが問題となる。 そこで、確率変数の要素がどれくらい起こりやすいかを関数で表すことにし、この関数を…

前回はイントロで、今回から具体的な内容に入っていく。 確率論 ベイズ統計学を考えていくのに必要となるのが、確率論。 まずはこの確率論の基本的なところを押さえていきたい。 なお、高校数学の確率論だと、集合の要素数を使って確率を定義していく。 また…

機械学習をやってると、なにかと耳にするのがベイズ統計学。 数理最適化をやってきた身としては、正直どうなの？と思うんだけど、理解もせずに批判するのもアレなんで、ちょっと勉強して自分なりにまとめていきたいと思う。 一応、参考にした本は以下： しく…