ベイズ統計学を学んでみた。（その1）

機械学習をやってると、なにかと耳にするのがベイズ統計学。 数理最適化をやってきた身としては、正直どうなの？と思うんだけど、理解もせずに批判するのもアレなんで、ちょっと勉強して自分なりにまとめていきたいと思う。

一応、参考にした本は以下：

しくみがわかるベイズ統計と機械学習

他、次のような本も眺めてる（※全部は読んでない）：

実践Ｄａｔａ　Ｓｃｉｅｎｃｅシリーズ　ＲとＳｔａｎではじめる　ベイズ統計モデリングによるデータ分析入門 (ＫＳ情報科学専門書)

機械学習スタートアップシリーズ　ベイズ推論による機械学習入門

ベイズモデリングの世界

岩波データサイエンス 全6巻セット

パターン認識と機械学習 上

パターン認識と機械学習 下 (ベイズ理論による統計的予測)

ただ、この本に限らず、ベイズ統計で使われる記法は雑すぎて理解に苦しむので、この一連の記事では独自の記法を使うことにする。 また、話や理論の流れについても、分かりやすくなるように独自で整理している。 これまでベイズ統計をやってきた人は違和感を覚えるかもしれないけど、普通に数学をやってきた人には逆に分かりやすいはず。

ここがダメだよベイズ統計

あらかじめ書いておくと、先にも述べたとおり、自分はベイズ統計については現時点でかなり懐疑的。

まず、なんかベイズ統計の人たち、狂信的なイメージあるのよね・・・

「ベイズ統計はすごい！　最高！　他の方法はダメだ！」みたいなのを見ると、「うわぁ・・・」って正直思っちゃう。 まぁ、そういう人はかなり限られてるとは思うけど。 ただ、そこまでいかなくても、みんなベイズ統計はいいものだと思ってて、批判的な意見を見ることが少ない。

そして、「じゃあ、そんなにいいものなら、なんでみんな使わないの？」と聞くと、「数学が分かってないと使えないから」という答えが返ってくる。

いや、自分のような人間ならともかく、深層学習の最先端をやってるような研究者とかは数学分からないなんてことはないわけで。 だから、使われてない理由は単に「使い物にならない」からでしょ。 あと、ベイズ統計学での記法が雑すぎて、数学つよつよの人には逆によく分からないという可能性はあるけど。

結局、ベイズ統計では生成モデルを考えるけど、その想像力の限界がモデルの限界として現れてくることになる。 人間の理解の限界が、モデルの限界。 だから、出来たモデルはもちろん人間にも理解可能なものになるけど、人間の理解を超えた性能を出すことはできない。

一方、深層学習とかは、そのよく分からないものをよく分からないまま扱うので、出来たモデルが理解可能とは限らないけど、人間の理解を超えた性能を出すことができる。

もちろん、ベイズ統計の結果を使って深層学習などのモデルの説明をしようとしてたりするわけだけど、それって批評家があとから「それが上手くいったのはこれこれこういった理由なので当たり前ですよね」みたいにドヤる感じに似ていて、それなら「お前が最初にやれよ」って感じ。 それができないなら、後付けで説明が与えられても、正直どうなのとしか言えないと思う。

記法が雑？

ちなみに、これまで何度も「記法が雑」と書いてきたけど、これがベイズ統計を分かりにくくしている一番の原因だと思う。 雑だと思えない？ そういう人は残念ながら数学やるのにあまり向いてない。

たとえば、当たり前のようにみたいな書き方をするけど、冷静に考えると意味分からないよね。

「えっ、確率変数の値が2であるような確率でしょ？」と思うかもしれないけど、それならは？ 確率変数の確率密度関数（もしくは確率質量関数）？

じゃあ、はどうかというと、確率変数が2以下である確率だと思うけど、ひるがえって考えるとは「確率密度関数でが2のときの値」なの？　「確率変数が2のときの確率の値（確率変数が連続なら0になる）」なの？

そもそもの話をすると、の定義域ってどこ？ 確率変数と確率変数が独立なら、って書いたりするけど、この式をじっと見るとって一体何なんだとなってくる。

本によっては、は関数ではなくて確率を関数っぽく表現した記法なんて書いてあったりして、なんじゃそりゃって感じ。

この辺りのカオスな記法運用についても、整理していきたいと思う。

今日はここまで！